مقبرة المهارات: كيف تُلغى المهارات (skills) بأمان في بيئة تشغيل وكيل (agent harness) تجاوزت الألفي وحدة

إذا كنت مهندس سحابة أو ذكاء اصطناعي واصلت إضافة مهارات (skills) أو وكلاء فرعيين (subagents) أو أدوات MCP إلى بيئة تشغيل الوكيل (agent harness) الخاصة بك، فمن المرجح أنك مررت بتجربة يبدأ فيها الموجّه (router) باختيار مهارة خاطئة أو يعجز تماماً عن اختيار أي مهارة، بمجرد أن يتجاوز الكتالوج بضع مئات من العناصر. تتناول الورقة البحثية المقدَّمة في هذا المقال هذه الظاهرة من الاتجاه المعاكس لتحسين أداة الاسترجاع (retriever)، أي من خلال تقليص المجموعة (corpus) نفسها. إنها دراسة حالة تصمّم وتقيس تجريبياً سياسة لتقليم المهارات بأمان، مستهدفةً بيئة تشغيل إنتاجية فعلية تضم 2,164 وحدة مسجَّلة.

كلما زادت المهارات، ازداد تخبط الموجِّه

لم تعد منصات الوكلاء توزّع القدرات كنص توجيه (prompt) واحد ضخم، بل كمكتبة من وحدات مهارات قابلة لإعادة الاستخدام ولها أسماء (تدفقات عمل، وكلاء فرعيون، أوامر شرطة مائلة (slash commands)، تعريفات أدوات). تكمن المشكلة في أنه كلما كبرت هذه المكتبة، انخفضت معها دقة الموجّه في العثور على المهارة الصحيحة. تسمّي الورقة هذه الظاهرة “مشكلة ضوضاء SRA” (SRA Noise Problem)، باستخدام المصطلح ذاته الذي كانت بيئة تشغيل المؤلفين تستخدمه بالفعل. وتصف كيف أنه كلما زاد عدد المرشحين المشتِّتين (distractors)، انخفض احتمال وصول المهارة الصحيحة إلى أعلى الترتيب.

تتصل هذه الورقة مباشرة بتقريرين تقنيين سابقين للمؤلفين أنفسهم. فصّل التقرير الأول فشل التوجيه باعتباره مشكلة تحليل الاستعلام (query decomposition)، ووجد أنه حتى مع تحليل استعلام مثالي بمستوى العليم المطلق (oracle)، لم تسترجع أداة الاسترجاع سوى 63.6% من الخطوات الصحيحة. وبنى التقرير الثاني حلقة إصلاح (repair loop) تحسّن معاً توسيع المرادفات (synonym expansion) وتحليل الاستعلام في أداة الاسترجاع، لكن ذلك أيضاً لم يُشبع دقة التوجيه. اقتصر كلا التقريرين على جانب “تحسين قدرة أداة الاسترجاع على الإيجاد داخل مجموعة ثابتة الشكل لكنها تستمر في النمو”. أما هذه الورقة فتختبر الرافعة المعاكسة: تقليص المجموعة نفسها.

حين كبرت المجموعة 21.6 ضعفاً، انخفضت دقة أفضل نتيجة (Top-1) إلى النصف

قاس المؤلفون تجريبياً العلاقة بين حجم المجموعة ودقة الاسترجاع على بيئة تشغيل Claude Code التي تشغّلها ThakiCloud فعلياً في الإنتاج (2,164 وحدة مسجَّلة، منها 1,930 تعريف مهارة صِرف). أخذوا عينات فرعية من المجموعة على ست مراحل بدءاً من 100 وحتى الإجمالي البالغ 2,164، وقاسوا في كل مرحلة مقياس Recall@5، ومقياس Recall@5 الذي يجتاز بوابة التحقق (gate)، ودقة أفضل نتيجة (Top-1).

تباينت النتائج بشدة بين المقاييس. انهارت دقة أفضل نتيجة بمقدار 42.2 نقطة مئوية، من 0.778 إلى 0.356، خلال نمو المجموعة 21.6 ضعفاً. وفي المدى نفسه، انخفض مقياس Recall@5 بمقدار 17.8 نقطة مئوية فقط (من 0.978 إلى 0.800)، بينما لم ينخفض مقياس Recall@5 الذي اجتاز بوابة الامتناع (abstain gate) سوى 4.4 نقطة مئوية (من 0.711 إلى 0.667)، وظل شبه ثابت بعد أن بلغ حجم المجموعة 250. وهذا يعني أن الموجِّه الذي يختار مرشحاً واحداً فقط وينفذه فوراً يعتمد على المقياس الذي ينهار أولاً.

يصوغ المؤلفون هذه الظاهرة في مفهوم “نصف عمر المهارة” (skill half-life). فإذا عرّفنا نصف عمر أي مقياس بأنه حجم المجموعة الذي يهبط عنده هذا المقياس إلى أقل من نصف قيمته المرجعية عند مجموعة صغيرة، فإن نصف عمر مقياس أفضل نتيجة يقع بالفعل ضمن نطاق أحجام المجموعة المستخدمة حالياً في الإنتاج. في المقابل، لم تبلغ مقاييس من نوع Recall@5 نصف عمرها بعد ضمن نطاق هذا القياس.

نتائج تجربة أخذ العينات الفرعية بحسب حجم المجموعة، مقيسة على بيئة تشغيل Claude Code الإنتاجية لدى ThakiCloud (مجموعة اختبار من 63 حالة). بينما تنهار دقة أفضل نتيجة بمقدار 42.2 نقطة مئوية عبر نطاق نمو المجموعة 21.6 ضعفاً، يبقى مقياس Recall@5 الذي اجتاز بوابة التحقق ثابتاً نسبياً.

أعِد البحث دائماً قبل الحذف

بناءً على هذه الملاحظة، تقترح الورقة سياسة إلغاء ذاتية (autonomous deprecation) تجمع بين إشارتين. الإشارة الأولى هي القياس عن بُعد للاستخدام (usage telemetry)، التي تنظر إلى تكرار الاستدعاء وحداثته وسجل الإخفاقات. أما الإشارة الثانية فهي التكرار الدلالي (semantic redundancy)، التي تحسب التشابه بين نصوص وصف المهارات لإيجاد عناقيد شبه متطابقة. والجدير بالذكر أن هذا التشابه هو الإشارة ذاتها التي كان الموجِّه يستخدمها أصلاً في الاسترجاع.

لو اكتفينا بهاتين الإشارتين لاختيار مرشحي الحذف من بين المهارات قليلة الاستخدام والمكرَّرة، لبقي خطر إيجابيات كاذبة (false positives) خطير، لأن مهارة قليلة الاستخدام قد تكون الوحيدة التي تغطي استعلاماً معيَّناً. لذلك تضيف الورقة ضمانة أمان إضافية وقت التنفيذ. فقبل حذف أي مرشح فعلياً، تُعيد الورقة محاكاة الاسترجاع على مجموعة اختبار موسومة (labeled suite) من 63 حالة (45 حالة إيجابية لها مهارة صحيحة معروفة، و10 حالات أصلية (native) يجب معالجتها مباشرة دون أي مهارة، و8 حالات سلبية تبدو معقولة لكن يجب ألا تُختار أبداً)، بافتراض غياب تلك المهارة. فإذا تعذّر استرجاع أي حالة إيجابية أو أصلية بعد ذلك، تُحكَم على تلك المهارة بأنها غير قابلة للاستبدال وتُستبعد من مرشحي الحذف، وتصبح المهارة المكرَّرة التالية الأقل استخداماً ضمن العنقود نفسه هدف الحذف بدلاً منها. وإذا استُنفدت جميع المرشحين داخل العنقود دون وجود مهارة بديلة، لا تُجبر السياسة على تحقيق هدف التقليص المحدَّد، بل تسجّل العجز كما هو.

أُزيلت 160 مهارة، ولم يحدث أي تراجع قابل للقياس

عُثر في المجموعة الفعلية على 131 عنقوداً من التكرار الدلالي، وحدَّدت كلتا السياستين، بوجود الضمانة أو بدونها، المهارات الـ160 نفسها كمرشحين للإلغاء. ولو نُفِّذ الحذف دون الضمانة، لكانت 4 من هذه المهارات ستُحذف خطأً، لأنها قليلة الاستخدام لكنها المهارة الوحيدة في عنقودها التي تغطي حالة إيجابية أو أصلية معيَّنة. وبتفعيل الضمانة، ينخفض عدد الحذوفات الخاطئة هذه من 4 إلى صفر. والمثير للاهتمام أن الضمانة تبدّل فقط أي مهارة داخل العنقود تُحذف دون أن تقلّل من إجمالي هدف الحذف، لذلك تبقى نسبة تقليص المجموعة ثابتة تماماً عند 7.39% (160 من أصل 2,164) سواء وُجدت الضمانة أم لا.

مقارنة بين سياستين تقلّصان المجموعة بالنسبة ذاتها 7.39%. يؤدي التنفيذ بلا ضمانة أمان إلى 4 حذوفات خاطئة، بينما تُخفّض الضمانة هذه الحذوفات الخاطئة إلى صفر عبر استبدال المهارة المكرَّرة التالية الأقل استخداماً داخل العنقود.

بعد تطبيق الضمانة وإزالة المهارات الـ160، أعيد التقييم على مجموعة الاختبار المعيارية نفسها المكوَّنة من 63 حالة، فجاءت جميع المقاييس الخمسة مطابقة تماماً لما كانت عليه قبل الإزالة: Recall@5 (0.822)، وRecall@5 عند بوابة التحقق (0.667)، وأفضل نتيجة (Top-1) (0.378)، ومعدل الهلوسة (hallucination rate) (0.0)، ومعدل تجنّب الحالات السلبية (0.375). بعبارة أخرى، أُزيل 7.39% من المجموعة دون أي تراجع قابل للقياس على الإطلاق.

ماذا يعني هذا للشركات والمنظومة، وما الحدود التي رسمها المؤلفون بأنفسهم

على مستوى الشركة، هذه النتيجة عملية. فهي تعني إمكانية تقليص المجموعة بأمان باستخدام القياس عن بُعد وحساب التشابه اللذين كانت بيئة التشغيل تمتلكهما أصلاً لأغراض التوجيه والمراجعة الرجعية (retrospection)، دون إعادة تدريب أداة الاسترجاع أو إعادة بنائها. ومن المرجح أيضاً أن يخفّض تقليص المجموعة تكلفة رموز الإعداد (onboarding token cost) الناتجة عن تحميل قائمة المهارات في كل دورة، لكن المؤلفين يوضحون صراحة أنهم لم يقيسوا تلك التكلفة مباشرة في هذه التجربة.

لا تعتمد الإشارتان اللتان تستخدمهما هذه السياسة، أي القياس عن بُعد للاستخدام والتكرار الدلالي، على أي ميزة فريدة تقتصر على مستودع ThakiCloud. لذلك يتوقّع المؤلفون أن يكون بالإمكان، من حيث المبدأ، نقل هذا النهج إلى منصات وكلاء أخرى تواصل توسيع خوادم MCP أو أدواتها عبر نموذج سوق مفتوح. وإلى جانب ذلك، يوفّر مفهوم “نصف عمر المهارة” بحد ذاته مفردات مشتركة لمقارنة مدى اختلاف انهيار المقاييس المختلفة عندما تنمو مجموعة الاسترجاع، كما يُشكّل هذا العمل نقطة تقاطع مع الأبحاث ذات الصلة بكونه أول من ينشر بيانات تجريبية لسياسة إلغاء آمنة تجمع بين الاستخدام والتكرار الدلالي.

غير أن المؤلفين يوضحون أيضاً حدود هذه النتيجة نقطة نقطة. أهم نقطة هي أن مجموعة الاختبار الموسومة التي تستشيرها الضمانة وقت التنفيذ هي نفسها مجموعة الـ63 حالة المستخدَمة لتقييم التراجع. لذلك، لا تُعد هذه النتيجة ضماناً عاماً على توزيع الاستعلامات الكامل في الإنتاج، بل تُظهر فقط أن الحالات التي صُمِّمت الضمانة لحمايتها لم تنكسر فعلياً. ويميّز المؤلفون هذا بدقة بوصفه نتيجة “نسبية إلى معيار الحكم على التراجع نفسه”. ويضيفون أيضاً أن هذه دراسة حالة تقتصر على مستودع واحد ومجموعة واحدة؛ وأن تجربة أساس (baseline) تقارن هذه السياسة بالحذف العشوائي أو بالحذف باستخدام إشارة الاستخدام وحدها غائبة، ولذلك لم يثبت بعد أن سياسة الإشارتين هذه أكثر أماناً فعلياً من طرق أبسط؛ وأن سجلات كل عنقود على حدة، التي تُظهر أي مهارة استبدلتها الضمانة فعلياً داخل كل عنقود، لم تُنشر، فلم تتأكد آلية الاستبدال إلا من خلال الأرقام الإجمالية. كما يشيرون بشكل منفصل إلى أن معدل تجنّب الحالات السلبية، الذي بلغ 3 من أصل 8 فقط (0.375)، هو نقطة ضعف كانت بيئة التشغيل تحملها أصلاً بمعزل عن سياسة الإلغاء هذه.

والأهم من ذلك أن هذه التجربة لم تعكس انخفاض الدقة الناتج عن نمو المجموعة أصلاً، بل اقتصرت على إظهار عدم حدوث تراجع إضافي أثناء عملية تقليص المجموعة. أما عكس منحنى النمو فعلياً، والتحقق من هذه الضمانة عبر مراقبة مستمرة تتجاوز مجموعة الاختبار المكوَّنة من 63 حالة، فيبقيان مهمّتين للعمل المستقبلي.

يمكن الاطلاع على تفاصيل الورقة البحثية في صفحة مجموعة البيانات على Hugging Face.

Skill Graveyard: Safe Autonomous Deprecation in Growing Agent Skill Ecosystems