الليلة التي أصلح فيها قاموس البحث نفسه: إغلاق عنق زجاجة توجيه المهارات بحلقة غير مأهولة

إذا سبق لك تشغيل نظام وكلاء إنتاجي يوجّه أكثر من 1600 مهارة ووكيل فرعي عبر البحث، أو كنت تصمم بنية تخدم مكتبة كبيرة من المهارات أو الأدوات باستخدام محرك استرجاع واحد، فستجد المشكلة التي يتناولها هذا المقال مألوفة. فيما يُعرف بـ”توجيه المهارات التركيبي” (compositional skill routing)، حيث يُقسَّم طلب المستخدم إلى عدة مهام فرعية ويُطابَق كل منها مع المهارة المناسبة لتشكيل سلسلة، كان الافتراض السائد هو أنه “إذا تم التفكيك بشكل جيد، يكاد البحث يكون صحيحاً دائماً”. يواصل هذا البحث ما توقفت عنده دراسة سابقة أظهرت أن هذا الافتراض ينهار في بيئة إنتاجية حقيقية تختلط فيها الكورية والإنجليزية، ويختبر تجريبياً ما إذا كان بالإمكان فعلاً إصلاح هذه المشكلة عبر حلقة تعمل بلا مراقبة طوال الليل بدلاً من إنسان.

المشكلة: تم إصلاح التفكيك، لكن محرك الاسترجاع كان الاختناق الحقيقي

يرى البحث السابق الذي يمثله SkillWeaver أن الاختناق في توجيه المهارات التركيبي يكمن في التفكيك. فالتفكيك القياسي بنماذج اللغة الكبيرة لا يصل إلا إلى استدعاء 34.2% على مستوى فئة المهمة الفرعية، بينما يُعامَل محرك الاسترجاع نفسه كمشكلة محلولة تقريباً بمعدل استدعاء top-1 يبلغ نحو 99.5%. غير أن الدراسة التي سبقت هذا البحث مباشرة أجرت نفس معيار الاثنتي عشرة حالة على نظام إنتاجي يضم أكثر من 1600 مهارة وطلبات حقيقية تمزج الكورية والإنجليزية، وتوصلت إلى استنتاج معاكس تماماً. فحتى في ظروف ORACLE، حيث فكّك إنسان كل مهمة فرعية يدوياً وبشكل مثالي، لم تتجاوز تغطية الخطوات 63.6%. أي أن التفكيك المثالي نفسه يفوّت نحو ثلث المهارات المطلوبة فعلياً، ويعود السبب إلى أن بيانات وصف المهارات (metadata) كُتبت بالإنجليزية فقط بينما وردت الطلبات الفعلية بالكورية. وخلصت الدراسة السابقة إلى أن جسر المفردات عبر اللغات في محرك الاسترجاع يشارك التفكيك في هذا الاختناق. والمشكلة أنه بعد هذا التشخيص، ظلت يد الإنسان هي التي أصلحت القاموس فعلياً.

المساهمة الأساسية: إصلاح القاموس دون نموذج لغوي، ودون إنسان، بالاعتماد فقط على النجاح أو الفشل في المعيار

يطرح هذا البحث سؤالاً حول الرافعة الوحيدة التي حددها التشخيص السابق، وهي قاموس المرادفات من الكورية إلى الإنجليزية الخاص بمحرك الاسترجاع: هل يمكن إصلاحه بحلقة حتمية دون أي تدخل بشري على الإطلاق؟ الحلقة عبارة عن عملية بايثون واحدة لا تستدعي أي نموذج لغوي إطلاقاً، وتدور عبر أربع مراحل: الملاحظة (Observe)، التعلم (Learn)، الفعل (Act)، والتكرار (Repeat). على معيار تركيبي من 12 حالة، تسترجع الحلقة كل مهمة فرعية على حدة، وتكتشف حالات “الإخفاق” (miss) حيث لا تظهر المهارة الصحيحة ضمن أفضل 8 نتائج (Learn)، ثم تستخرج أطول سلسلة متتالية من الأحرف الكورية من عبارة المهمة الفرعية التي أدت إلى الإخفاق، وتضيف إلى القاموس تعييناً يربط هذه السلسلة باسم المهارة الصحيحة بعد استبدال الشرطات بمسافات (Act). ويُحسم القرار بشأن المكافأة والتقارب حصراً بإشارة خارجية واحدة، وهي ما إذا كان اختبار العضوية ضمن أفضل 8 في المعيار قد نجح، دون أي دور على الإطلاق للتقرير الذاتي من النموذج.

جاءت النتائج واضحة: ارتفعت تغطية الخطوات من 57.1% إلى 71.2%، أي بزيادة 14.1 نقطة، وتضاعف معدل إتمام السلسلة الكاملة من 25.0% إلى 50.0%. وتقاربت الحلقة خلال تكرارين اثنين بالضبط: من أصل 11 حالة إخفاق اكتُشفت في الجولة الأولى، طُبِّقت تصحيحات على 9 منها، وفي الجولة الثانية لم يتمكن النظام من تصحيح أي من حالات الإخفاق الست المتبقية، فتوقفت الحلقة تلقائياً بموجب شرط “صفر تصحيحات جديدة”. ولم تقترب أبداً من الحد الأقصى للتكرار البالغ 5 مرات.

تغطية الخطوات المقاسة قبل تطبيق الحلقة وبعدها على المعيار التركيبي (n=12، استراتيجية SINGLE، top_k=8). ارتفعت من 57.1% إلى 71.2%، أي بزيادة 14.1 نقطة، دون أي تدخل بشري.

تتضمن الحلقة أيضاً آلية أمان مدمجة: سياسة “الأولوية للكتابة الأولى” (first-write-wins) التي لا تسمح أبداً بالكتابة فوق مفتاح في القاموس إذا كانت هناك رمز كوري (token) مسجّل مسبقاً يشير إلى هدف مختلف. في هذا التشغيل، تم تجميع 19 حدث تعارض خام في 11 زوجاً مميزاً من (الرمز، الهدف المتنافس)، وشمل أحدها غموضاً داخل الحالة نفسها لا يمكن لبنية قاموس مسطحة حلّه على الإطلاق: كلمة واحدة هي “논문” (بحث/ورقة علمية) كان يجب أن تشير إلى مهارتين مختلفتين، academic-paper وacademic-paper-reviewer، ضمن الحالة ذاتها. وبفضل هذه السياسة المتحفظة، ظلت جميع المقاييس الخمسة لمعيار انحدار مستقل يضم 63 حالة (الاستدعاء، الاستدعاء المشروط، الدقة top-1، معدل الهلوسة، ومعدل تجنّب الرفض) متطابقة تماماً بت لبت قبل تشغيل الحلقة وبعده. ولأن القاموس لا يكتسب سوى إدخالات جديدة ولا يمس التعيينات القائمة إطلاقاً، فإن احتمال إفساد استعلام كان يعمل بشكل جيد مسبقاً محظور بنيوياً.

معدل إتمام السلسلة الكاملة المقاس على نفس المعيار (نسبة الحالات التي تُسترجع فيها كل مهارة صحيحة دفعة واحدة بلا أي إخفاق)، والذي تضاعف من 25.0% إلى 50.0% بعد تكرارين فقط للحلقة.

أما أحدّ نتائج البحث فتكمن في مكان آخر. بقيت ست حالات إخفاق حتى بعد التقارب، واثنتان منها لم تدخلا ضمن أفضل 8 نتائج رغم حصولهما على التصحيح الصحيح تماماً: الرمز الكوري الصحيح، والهدف الإنجليزي الصحيح، والمهارة الصحيحة. فمثلاً، كانت المهمة الفرعية “아이디어 딥리서치” (بحث معمّق للفكرة) تملك رمزاً واحداً فقط قابلاً للتصحيح، وقد صُحِّح بدقة إلى deep-research دون أي تعارض إطلاقاً، ومع ذلك لم يظهر في نتائج الاسترجاع. والسبب أن الترتيب القائم على BM25/IDF يُحدَّد بتوزيع الدرجات عبر المجموعة الكاملة من الوثائق، لا بوجود أو غياب رمز واحد بعينه. بعبارة أخرى، تغطية المفردات شرط ضروري لكنه ليس كافياً، وهو ما يعيد تأكيد تشخيص الدراسة السابقة بأن محرك الاسترجاع نفسه اختناق مشترك.

مسار التقارب المقاس يُظهر تغطية الخطوات عبر التكرارات. حدث كل التحسن في الجولة الأولى، وتوقفت الجولة الثانية بموجب شرط التوقف دون تطبيق أي تصحيح جديد.

المساهمة في الأعمال والمجتمع والعلم

من الناحية التجارية، تؤكد هذه الدراسة بخط أنابيب قابل لإعادة الإنتاج أنه عند صيانة نظام مهارات يضم أكثر من 1600 مهارة، يمكن لحلقة ليلية غير مأهولة تستخدم معيار استرجاع كإشارة مكافأة أن ترفع فعلياً دقة التوجيه دون أي ضبط يدوي من إنسان. ومن الناحية المجتمعية، تقدم نمطاً تجريبياً يُظهر أن نظام مهارات وكلاء كبير يمكن أن يشفي نفسه بمرور الوقت بدلاً من أن يتدهور، حتى دون وجود طاقم صيانة مخصص. الحلقة بأكملها هي عملية بايثون واحدة لا تستدعي أي نموذج ولا تستغرق سوى تكرارين لإنهاء عملها، وهذا دليل على أن فريقاً صغيراً أو مشغلاً واحداً يمكنه تشغيل نظام أدوات ذكاء اصطناعي بشكل مستدام. أما من الناحية العلمية، فتقدم الدراسة حالة يُطبَّق فيها نمط “هندسة الحلقة” (Act إلى Observe إلى Learn إلى Repeat)، الذي يتكرر حتى التقارب باستخدام مترجم أو مجموعة اختبارات كإشارة مكافأة، لا على إصلاح الشيفرة المصدرية بل على نظام استرجاع وتوجيه. كما أن اختيار استخدام إشارة خارجية بحتة فقط، أي النجاح أو الفشل في معيار محدد، كمكافأة بدلاً من التقرير الذاتي للنموذج، يتقاطع مع نتائج حديثة تفيد بأن الإشارات الخارجية القابلة للتحقق تمنع بشكل جذري ظاهرة “اختراق المكافأة” (reward hacking).

القيود

يصف المؤلفون هذه النتيجة أنفسهم بأنها “إثبات مفهوم ضيق النطاق يقوم على رافعة واحدة”. أولاً، جميع القياسات مستمدة من منظمة واحدة ومجموعة بيانات واحدة، ولم يُتحقق من إمكانية تعميمها على مكتبات مهارات أخرى. ثانياً، لا تعدّل الحلقة سوى قاموس المرادفات من الكورية إلى الإنجليزية، ولا تمس صيغة تسجيل النقاط في BM25 أو الفهرس أو التضمينات (embeddings) (علماً أن محرك الاسترجاع هذا لا يستخدم أصلاً أي تضمينات)، ولا استراتيجية التفكيك، ولا محتوى نص المهارة نفسه. ثالثاً، بما أن حجم المعيار صغير (12 حالة فقط)، فإن نتيجة تضاعف معدل إتمام السلسلة تعتمد على 6 حالات فقط من أصل 12، ويجب قراءتها كاتجاه عام لا كنتيجة قاطعة. رابعاً، تتبع منطق التصحيح قاعدة ثابتة هي “ربط أطول سلسلة متتالية من الأحرف الكورية باسم المهارة الصحيحة”، وهذا لا يحل حالات الغموض حيث يجب أن تشير كلمة واحدة مثل “논문” إلى مهارات مختلفة ضمن الحالة نفسها. خامساً، يقيّم محرك الاسترجاع الاسم والوصف والبيانات الوصفية فقط ولا ينظر إلى نص المهارة، وتُظهر أبحاث ذات صلة أن نص المهارة يحمل إشارة تصل قيمتها إلى 29-44 نقطة، مما يترك مجالاً للتحسين خارج نطاق هذه الرافعة. سادساً، لم يُستخدَم معيار الانحدار المستقل إلا كتقرير بعدي، ولم يُدمَج بعد كبوابة تمنع النشر. سابعاً، صياغة “ليلي غير مأهول” تصف شكل النشر المستهدف فقط، أما الأرقام المذكورة هنا فمستمدة من قياس واحد محلي ومضبوط وليس من تشغيل مجدول (cron) فعلي مباشر. وأخيراً، تقتصر هذه الدراسة على اتجاه الترجمة من الكورية إلى الإنجليزية، ولا تتناول تصنيفاً أدق للإخفاقات، أي التمييز بين الإخفاقات الدلالية وإخفاقات تفضيل اللغة.

صفحة تفاصيل البحث: https://huggingface.co/datasets/thaki-AI/daily-paper-2026-07-10-autonomous-skill-router-repair-loop