لا الاسترجاع ولا التفكيك: تشخيص ceiling-gap لتحديد عنق الزجاجة في توجيه المهارات

إذا كنت تشغّل نظام عميل (agent harness) يدير مئات أو آلاف المهارات كملفات منفصلة ويوجّه الطلبات باللغة الطبيعية إلى المهارة المناسبة في كل مرة، أو تخطط لبناء نظام كهذا، فإن السؤال الذي تتناوله هذه الورقة لن يبدو غريباً عليك. حين تقصر جودة التوجيه عمّا هو متوقع، هل يجب أن يذهب الاستثمار القادم إلى طبقة التفكيك (decomposition) التي تقسّم الطلب المعقّد إلى أجزاء أصغر، أم إلى إصلاح المسترجِع (retriever) والفهرس الذي يستخرج المرشحين أصلاً؟ تقدّم هذه الورقة طريقة لتحديد أي جانب يستحق الاستثمار أولاً، برقمين اثنين فقط، دون الحاجة لبناء خط أنابيب جديد ومكلف للتفكيك عبر نموذج لغوي كبير. وحين طبّق الباحثون هذا التشخيص فعلياً على كوربَسهم الخاص، تبيّن أن الإجابة لم تكن التفكيك ولا المسترجِع.

ملاحظة تنقيح: ذكرت النسخة الأولى من هذا المقال أن ورقة المقارنة SkillWeaver أفادت بأن “recall أعلى-1 الأوراكل (oracle top-1) بلغ 99.5 بالمئة”، وهذا كان سوء قراءة للمصدر الأصلي. رقم الـ99 بالمئة في SkillWeaver يقيس توفير السياق (context savings) لا دقة الاسترجاع؛ والأداء الفعلي للاسترجاع في الورقة يتراوح بين 34 و41 بالمئة category recall@1. تصحّح هذه النسخة المنقّحة إطار المقارنة وتعيد بناء الاستنتاج تبعاً لذلك.

إعادة النظر في افتراض “أن الاسترجاع قد حُلّ بالفعل”

تشير الأبحاث الحديثة حول توجيه المهارات إلى أنه مع نمو مكتبات المهارات إلى مئات أو آلاف المدخلات، لم يعد بإمكان النماذج رؤية كل مرشّح في كل جولة. والاستجابة القياسية الناشئة هي تضييق النطاق إلى حفنة من المرشحين عبر الاسترجاع، وتقسيم الطلبات المركّبة التي تمتد عبر عدة مهارات إلى مهام فرعية تُوجَّه كل واحدة منها على حدة. وتؤكد ورقة SkillWeaver (arXiv:2606.18051)، وهي عمل مرجعي يصوغ هذا التوجه، أن جودة التفكيك هي عنق الزجاجة السائد. وحجّتها أن مفكِّكاً قياسياً قائماً على نموذج لغوي كبير يحقق فقط 34.2 بالمئة category recall على مستوى الخطوة، وأن إصلاح التفكيك يرفع recall الاسترجاع من 34 إلى 41 بالمئة، وبالتالي فإن إصلاح التفكيك هو المفتاح الذي يحلّ الاسترجاع.

والسؤال الذي تطرحه هذه الورقة هو ما إذا كانت تلك الآلية تصمد في بيئة مختلفة. بيئة الاختبار هي نظام الإنتاج الخاص بالباحثين أنفسهم: 1898 مهارة قائمة على ملفات لدى منظمة واحدة، ومسترجِع معجمي حتمي من عائلة BM25، وطلبات تمزج الكورية والإنجليزية في لغة طبيعية. فبدلاً من اختبار الادّعاء على مقياس مرجعي نظيف يتمحور حول الإنجليزية، جرى اختباره على كوربَس حي، أقل تنقيحاً، ومتعدد اللغات فعلياً. والإجابة المختصرة أن آلية SkillWeaver لم تنتقل إلى هذه البيئة، وأن عنق الزجاجة كان في مكان أسبق من كلٍّ من التفكيك والاسترجاع.

المساهمة الأساسية: تشخيص ceiling-gap

فكرة الورقة المركزية بسيطة: حساب فجوة السقف (ceiling gap)، أي الفارق في التغطية بين حدّ أعلى يفترض تفكيكاً كاملاً (ORACLE) والاسترجاع أحادي المرور (SINGLE) الجاري تشغيله فعلياً حالياً. يُحصَل على ORACLE بتغذية مهام فرعية معيارية (gold) قسّمها إنسان بعناية مسبقاً مباشرةً إلى المسترجِع دون أي بوابة تصفية، وبالتالي لا يتطلب أي استدعاء جديد لنموذج لغوي ولا خط أنابيب تفكيك للإنتاج. كل ما يلزم هو مجموعة تحقّق صغيرة مُعدَّة يدوياً.

وما يقرأه هذا التشخيص ليس رقماً واحداً بل العلاقة بين رقمين. فإذا كان ORACLE نفسه قريباً من 100 بالمئة وكانت الفجوة مع SINGLE كبيرة، فأنت في النظام (regime) نفسه الذي قاسته SkillWeaver، والاستثمار في التفكيك هو الخيار الصحيح. أما إذا كان ORACLE نفسه أقل بكثير من 100 بالمئة، فإن أي تفكيك مثالي مهما كان لن يستطيع سدّ الفجوة المتبقية، وهذا يعني أن المسترجِع والفهرس، وفي النهاية الكوربَس نفسه، هي ما يستحق الاهتمام أولاً.

القياس الفعلي: لا هذه الرافعة ولا تلك رفعت السقف

على مقياس مرجعي مركّب من 12 حالة، بلغت تغطية الخطوات (step coverage) لـ SINGLE نسبة 52.9 بالمئة، بينما بلغ ORACLE، أي التفكيك مع إزالة كل بوابات التصفية، نسبة 63.6 بالمئة. وكانت فترات الثقة bootstrap 95 بالمئة [34.0, 72.2] و[42.8, 83.5] على التوالي، وفجوة السقف البالغة 10.7 نقطة لها فترة ثقة [2.1, 20.8]، وهي بالكاد تتجاوز الصفر. ومع وجود 12 عينة فقط، ينبغي قراءة كل الأرقام كدراسة حالة لا كتعميم واسع. ومع ذلك، فإن الحاسم هو المستوى المطلق لـ ORACLE. فرقم 63.6 بالمئة يعني أنه حتى مع تفكيك مثالي، لا يزال أكثر من ثلث المهارات المطلوبة غير موجود، وهذه إشارة إلى أن التفكيك ليس الرافعة المهيمنة في هذا النظام.

فهل يساعد استبدال المسترجِع بآخر أفضل؟ هنا يفترق هذا التنقيح بشكل حاد عن المسودة الأولى. فقد سجّل التفكيك القائم على قواعد (SAD، 35.0 بالمئة)، ونسخته المحسّنة لإعادة التقسيم (ISAD، 37.1 بالمئة)، ونسخة من التفكيك المعياري مع بوابة تصفية (SAD-AGENT، 41.9 بالمئة)، جميعها أقل من SINGLE. واستبدال الموجِّه بمسترجِع تضمين (embedding) متعدد اللغات خفض ORACLE فعلياً إلى 45.4 بالمئة، بينما وصل هجين يجمع BM25 مع الاسترجاع الكثيف (RRF) إلى 64.0 بالمئة، وهو ما لا يختلف إحصائياً عن نسبة BM25 البالغة 63.6 بالمئة. أي أن نموذج استرجاع أفضل لم يرفع السقف.

يُظهر الجزء الأيسر أن جميع استراتيجيات التفكيك تقع دون SINGLE (الخط المنقّط)، بينما يُظهر الجزء الأيمن أن المسترجِعات الكثيفة والهجينة لا تتفوق على BM25 الحي. لا هذه الرافعة ولا تلك رفعت سقف ORACLE.

عنق الزجاجة الحقيقي: تكرار كوربَس المهارات

للكشف عمّا يُبقي السقف منخفضاً، صنّف الباحثون ترتيب كل مهارة معيارية (gold) فوّتها ORACLE حتى دون بوابة تصفية. فمن أصل 35 إشارة معيارية عبر الحالات الـ12، جرى استرجاع 23 منها، وانقسمت الحالات الـ12 المفقودة إلى نوعين من الإخفاق، كلاهما يعود ليس إلى خوارزمية البحث أو التفكيك بل إلى كوربَس مكرَّر وغير منقّح. الأول هو تشبّع الأشقاء (sibling saturation، 5 من أصل 12)؛ إذ توجد المهارة المعيارية في الكوربَس، لكن مهارات شقيقة قريبة جداً تملأ أعلى-k أولاً: احتلّت competitive-analyst المرتبة العاشرة، مزاحَمةً بـ competitive-analysis وkwp-product-management-competitive-analysis وcompetitive-archetype-matrix، بينما احتلّت trading-position-sizer المرتبة 38 مزاحَمةً بثماني مهارات شقيقة من عائلة trading-*. والثاني هو عدم تطابق الاسم بين المعياري والكوربَس (7 من أصل 12)؛ إذ توجد القدرة المطلوبة في الكوربَس فقط تحت اسم شقيق، فلا يُسترجَع الاسم المعياري الدقيق نفسه على الإطلاق. سجّلت deep-research وnaver-news-search وacademic-paper جميعها صفراً، فيما احتلّت عائلة القدرة (deep-research-pipeline و199-deep-research وmarket-researcher وغيرها) ذلك الموضع بدلاً منها. وكلا النوعين يعودان إلى الجذر نفسه: القدرة الواحدة مجزّأة عبر عدة أسماء، بحيث لا يوجد مدخل معياري واحد يمكن ترتيبه أولاً.

والأهم أن هذه المهارات الشقيقة لم تُميَّز حتى بمسترجِع تضمين (embedding). فالمسترجِع الكثيف أيضاً فشل في رفع deep-research قريباً من القمة ووضع competitive-analyst في المرتبة 33، لأن المهارات الشقيقة يصعب تمييزها عملياً عن المعياري بالاعتماد على الوصف وحده. فأيّها “المعياري” ليس مسألة معنى بل مسألة تسمية، وبالتالي لا يستطيع أي مسترجِع أن يرفع مدخلاً معيارياً عشوائياً إلى المرتبة الأولى. عملياً، دمج 46 نسخة مطابقة تماماً خاصة ببيئات معينة فعلياً (من 1898 إلى 1852) ترك ORACLE دون تغيير عند 63.6 بالمئة، وحتى احتساب الجيران القريبين من المعياري كبدائل مقبولة (تشابه جيب تمام TF-IDF أعلى من 0.6، وتشابه جيب تمام كثيف أعلى من 0.7) لم يحرّك ORACLE أكثر من نقطتين، لأن التشابه الآلي لا يستطيع تجميع هذه المهارات الشقيقة القصيرة والعامة. التكرار حقيقي وهو عنق الزجاجة، لكن لا يمكن حله آلياً؛ بل يتطلب تنقيحاً بشرياً على مستوى القدرة.

أداء المسترجِع كان أثراً ناتجاً عن قاموس مرادفات معدّ يدوياً

تعتمد القدرة عبر-اللغوية للموجّه الحي كلياً على قاموس مرادفات كوري-إنجليزي معدّ يدوياً. وحين أُزيل هذا القاموس، انهار ORACLE من 63.6 بالمئة إلى 20.8 بالمئة، وانهار SINGLE من 52.9 بالمئة إلى 18.8 بالمئة. أي أن نحو ثلثي التغطية المقيسة لم يأتِ من خوارزمية الاسترجاع بل من قاموس يُصان يدوياً.

إزالة قاموس المرادفات الكوري-الإنجليزي المُعدّ يدوياً تُنهار به التغطية (ORACLE من 63.6 إلى 20.8). القدرة عبر-اللغوية أثرٌ ناتج عن التنقيح لا خاصية متأصلة في المسترجِع.

وهذه الحقيقة تغيّر التفسير. تُظهر السجلات الداخلية أن توسيعاً واحداً سابقاً لقاموس المرادفات، دون المساس بمنطق التفكيك إطلاقاً، رفع سقف ORACLE من 42.5 بالمئة إلى 63.6 بالمئة، أي بزيادة 21.1 نقطة. وقد قدّمت المسودة الأولى هذه القفزة كدليل إيجابي على أن “عمل المسترجِع، لا التفكيك، هو ما أحدث الفرق.” لكن ذلك التوسيع أضاف بالضبط المصطلحات الكورية التي احتاجها المعيار المرجعي (deep research وfact check وSlack وغيرها). ولأن سوء التطابق هذا هو ما دفع إلى ذلك التوسيع أصلاً، فإن الزيادة البالغة 21.1 نقطة قِيست على الحالات نفسها التي عُدّل القاموس على أساسها، أي أنها تعكس ملاءمة لمجموعة الاختبار نفسها (overfitting). تسحب هذه النسخة المنقّحة هذا الرقم من الأدلة. فالمسترجِع الذي تستند قدرته عبر-اللغوية إلى قاموس مضبوط على المعيار المرجعي لا يقدّم سقفاً قابلاً للتعميم ولا تحسّناً قابلاً للتعميم.

الفائدة الحقيقية للتفكيك: ترتيب التنفيذ

تغفل تغطية الخطوات (step coverage) عن القيمة الفعلية التي يقدّمها التفكيك. فحين قورن الترتيب الذي تُخرج فيه كل استراتيجية المهارات المعيارية بترتيب التنفيذ المعياري (Kendall tau على الأزواج المغطاة)، استعاد SAD-AGENT ترتيباً كاملاً بقيمة tau تساوي 1.0 (عبر 4 حالات تضمّ مهارتين معياريتين مغطّاتين أو أكثر)، بينما كان ترتيب SINGLE في الواقع معكوساً بقيمة tau تساوي سالب 0.22 (عبر 6 حالات). فالاسترجاع أحادي المرور يُعيد حزمة من النتائج ذات الصلة دون أي دلالة تنفيذية، بينما يستعيد التفكيك الترتيب الذي يجب أن تُنفَّذ فيه المهارات. أي أن التفكيك في هذا النظام لا يرفع التغطية، لكنه الاستراتيجية الوحيدة التي تستعيد الترتيب.

المساهمة الحقيقية للتفكيك هي استعادة ترتيب التنفيذ (tau يساوي 1.0). الاسترجاع المرتَّب أحادي المرور معكوس فعلياً (tau يساوي سالب 0.22)، وهو فرق لا تراه مقاييس التغطية وحدها.

المساهمة تجاه الشركات والمجتمع والعلم

بالنسبة للشركات، هذا التشخيص هو إجراء شبه مجاني لتحديد أولوية الاستثمار قبل بناء أي شيء، وقابل للتطبيق مباشرة على نظامها الخاص. لكن بخلاف المسودة الأولى، الاستنتاج ليس “استثمر في المسترجِع” بل “شخِّص عنق الزجاجة قبل اختيار الرافعة.” فإذا كان ORACLE أقل بكثير من التغطية الكاملة وكان السبب تكرار الكوربَس، فالحل الصحيح هو توحيد كوربَس المهارات وتقييمه بحسب فئات التكافؤ (equivalence classes)، بدلاً من إعادة بناء طبقة تفكيك جديدة أو استبدال نموذج الاسترجاع. ومن اللافت أن استنتاج المسودة الأولى نفسه، القائل بأن المسترجِع هو عنق الزجاجة، تبيّن أنه مثال بذاته على الخطأ الذي يسعى هذا التشخيص إلى منعه: اختيار رافعة قبل تشخيص عنق الزجاجة.

اجتماعياً، هذا يحرّر الفرق من الإفراط في هندسة طبقات تفكيك غير ضرورية والإفراط في الاستثمار بنماذج استرجاع. فحين يكون عنق الزجاجة الحقيقي مكتبة مهارات مكررة وغير منقّحة، فإن تحسين نظافة الكوربَس يخفّض تكلفة الحوسبة وعبء الإشراف معاً. وهذا يعني أن المؤسسات الصغيرة التي لا تملك فرق بنية تحتية ضخمة للتعلّم الآلي يمكنها تشغيل مكتبة مهارات كبيرة وموثوقة بسهولة أكبر.

علمياً، تقدّم هذه الورقة حالة لا تنتقل بسلاسة إلى أيٍّ من الفرضيتين السائدتين مؤخراً، سواء أن “الاسترجاع قد حُلّ فعلياً” أو أن “التفكيك هو عنق الزجاجة الوحيد.” فبإظهار أن عنق الزجاجة في كوربَس واقعي أقل تنقيحاً ومختلط كورياً-إنجليزياً ينتقل إلى ما هو أسبق من التفكيك والاسترجاع معاً، أي نظافة الكوربَس، تكشف الورقة أن هيمنة رافعة معينة ليست خاصية متأصلة في الاسترجاع أو التفكيك نفسهما بل خاصية في الكوربَس والفهرس. وتؤكد الورقة أن إجراء تشخيص ceiling-gap نفسه، أي قراءة المستوى المطلق لـ ORACLE إلى جانب فجوته مع SINGLE، يُعمَّم كمنهج قابل للتطبيق على أبحاث توجيه المهارات عموماً.

مع 12 عينة فقط، تكون فترات الثقة واسعة وتكاد إشارة فجوة السقف تكون ذات دلالة بالكاد. يجب قراءة كل الأرقام هنا كقياسات دراسة حالة.

القيود

لا يخفي الباحثون قيود عملهم بل يذكرونها صراحة. المعيار المرجعي المركّب يضم 12 حالة فقط، لذا يجب قراءة كل رقم كدراسة حالة مصحوبة بفترة ثقة bootstrap. ولا يدّعي الباحثون أن أرقاماً محددة من كوربَس منظمة واحدة تتعمّم إلى بيئات أخرى؛ وما يتعمّم هو إجراء التشخيص نفسه. وقد أُجريت تجارب المسترجِع الكثيف بنموذج تضمين متعدد اللغات صغير فقط، لذا تبقى نماذج الاسترجاع الكبيرة ذات مليارات المعاملات غير مختبَرة، والاستنتاج بأن “الاسترجاع الكثيف لا يساعد” يقتصر على النماذج ذات الحجم القياسي وهذا الكوربَس تحديداً. سقف قابلية الاستبدال لا يُقاس بدقة بالتشابه الآلي، وتحديد السقف الحقيقي كمّياً يتطلب فئات تكافؤ ينقّحها البشر. جرى تناول زوج اللغتين الكورية-الإنجليزية فقط، بينما تبقى أزواج اللغات الأخرى غير مختبَرة، ولم يُجرَ اختبار A/B حي للتشخيص نفسه. وكون هذه الدراسة أُجريت على كوربَس خاص هو بحد ذاته قيد ومهمة مستقبلية، وإنتاج نسخة عامة قابلة لإعادة الإنتاج تحافظ على بنية التكرار هو الناتج التالي.

يمكن الاطلاع على صفحة تفاصيل الورقة البحثية هنا: https://huggingface.co/datasets/thaki-AI/daily-paper-2026-07-09-retriever-vs-decomposition-skill-routing