التحقق الأقل أكثر أماناً: قياس منحنى التكلفة والجودة لبوابات التحقق في الأنظمة متعددة الوكلاء

إذا كنت تشغّل أو تفكر في اعتماد خط أنابيب (pipeline) من نوع fan-out حيث تعمل عدة وكلاء بالتوازي ثم تُجمَّع نتائجهم، فمن المرجح أنك اخترت في مرحلة ما نموذج تحقق وعدداً من الأفراد لمرحلة التحقق بناءً على العرف السائد فقط. يقدّم هذا المقال دراسة قاست ما تكلفه هذه الممارسة فعلياً وما الأمان الذي تحققه فعلياً. والجواب المختصر هو أن استخدام نماذج أغلى وبأعداد أكبر في مرحلة التحقق لا يجعل النظام أكثر أماناً دائماً.

المشكلة: مبدأ للتحقق موجود، لكن لا قياس فعلياً له

في الأنظمة متعددة الوكلاء حيث ينتج كل وكيل عامل (worker) نتائجه بشكل مستقل، هناك دائماً خطر أن ينتج نموذج عامل منخفض التكلفة نتيجة تبدو معقولة لكنها في الواقع غير مدعومة بأساس حقيقي. لمواجهة هذا الخطر، استقر العمل الفعلي على مبدأ “كل عملية fan-out يجب أن تُغلَق بتحقق عدائي (adversarial verification)”. بموجب هذا المخطط، يحاول عدة وكلاء مستقلين يلعبون دور المشكك (skeptic) دحض كل نتيجة ينتجها العامل، وعندما تتجاوز حالات الدحض عتبة محددة مسبقاً، يقوم الكود تلقائياً بإسقاط تلك النتيجة.

المشكلة أن متغيرين داخل هذا المبدأ، وهما مستوى نموذج التحقق المكلَّف بدور المشكك وعدد المشككين الذين سيُعيَّنون، إضافة إلى قاعدة الأغلبية المستخدَمة، ظلوا في معظمهم مثبَّتين بالعرف دون قياس فعلي. الافتراض بأن استخدام نموذج تحقق أغلى يعني أماناً أكبر، وأن زيادة عدد المشككين تعني أماناً أكبر، يبدو منطقياً بشكل حدسي، لكن لم تُقدِّم أي دراسة سابقة تأكيداً لهذا الافتراض على نظام تشغيل حقيقي متعدد الوكلاء مقابل معيار مرجعي (benchmark) ذي حقيقة أرضية معروفة قبل هذه الورقة البحثية.

المساهمة الأساسية: إعادة بناء 27 تهيئة من 12 نتيجة و180 استدعاء فعلي لواجهة برمجة التطبيقات

بنى الباحثون معياراً مرجعياً محكوماً فوق نظام تنسيق فعلي متعدد الوكلاء بمستوى إنتاجي حقيقي. أعدّوا 12 نتيجة (finding) إجمالاً، 6 منها صحيحة فعلاً و6 مُصطنَعة عمداً، وجمعوا 5 أحكام (verdicts) مستقلة من مشككين لكل نتيجة عبر كل من مستويات التحقق الثلاثة: Haiku وSonnet وOpus. بلغ عدد استدعاءات واجهة برمجة التطبيقات الفعلية المجموعة بهذه الطريقة 180 استدعاءً، بلا أي فشل، وبتكلفة إجمالية قدرها 96.91 دولاراً. المنهجية الأساسية هنا هي أن هذه العينة الواحدة (draw) قُطِّعت لاحقاً (post-hoc slicing): جميع التهيئات الـ27 التي تجمع بين عدد المشككين N (1/3/5) وثلاث قواعد عتبة، وهي الأغلبية والإجماع ونقض الفرد الواحد (strict veto)، أُعيد بناؤها بشكل حتمي دون أي استدعاءات إضافية لواجهة برمجة التطبيقات.

نتائج قياس معدل بقاء الهلوسة (hallucination survival rate) مقابل التكلفة، موزّعة حسب المستوى وعدد المشككين. باستثناء تهيئات Opus التي استخدمت قاعدتي الأغلبية أو الإجماع بعدد 3 إلى 5 مشككين، حجبت جميع التهيئات المُحقَّقة الهلوسة بالكامل (0.0)، بينما سمح خط الأساس غير المُحقَّق بمرور جميع النتائج كما هي (1.0). كانت تهيئة مشكك واحد من Haiku (3.46 دولار) هي النقطة المثلى الوحيدة على منحنى باريتو (Pareto).

أول ما تأكد هو أن نقطة مثلى واحدة فقط من بين التهيئات الـ27 كانت على منحنى باريتو، وكانت هي الأرخص. بلغت تكلفة التحقق من كامل النتائج الـ12 باستخدام مشكك واحد فقط من Haiku 3.46 دولار، وحققت هذه التهيئة في الوقت نفسه معدل بقاء هلوسة قدره 0.0 ومعدل بقاء نتائج صحيحة قدره 1.0. جميع التهيئات الـ26 المتبقية كانت أقل من هذه التهيئة في واحد على الأقل من المحاور الثلاثة: التكلفة وحجب الهلوسة والحفاظ على النتائج الصحيحة.

النتيجة الثانية اللافتة هي أن Opus لم تكن أبداً على منحنى باريتو المثالي، ولا مرة واحدة. مشكك واحد فقط من Opus طابق جودة مشكك واحد من Sonnet تماماً بينما كانت تكلفته أعلى بمقدار 1.68 مرة، وعند استخدام Opus بعدد 5 مشككين مع قاعدة الأغلبية، كانت التكلفة أعلى بمقدار 15.66 مرة من النقطة المثلى بينما ساء معدل بقاء الهلوسة فعلياً ليصل إلى 0.167. الحدس العملي القائل بأن رفع مستوى نموذج التحقق يشتري أماناً أكبر لم يصمد على هذا المعيار المرجعي.

نتائج قياس معدل بقاء النتائج الصحيحة (true-finding survival rate) موزّعة حسب المستوى. لم يفقد Sonnet وOpus أي نتيجة صحيحة واحدة عبر أي مزيج من عدد المشككين والقواعد (1.0)، لكن Haiku تحت قاعدة نقض الفرد الواحد بعدد 3 و5 مشككين أسقط خطأً نتيجة صحيحة واحدة بسبب حكم خاطئ من أحد المشككين (0.833).

كان الاكتشاف الأكثر إثارة للاهتمام هو أن زيادة عدد المشككين ليست دائماً أكثر أماناً. تحت تهيئة Opus مع قاعدة الأغلبية، أدى رفع عدد المشككين من 3 إلى 5 إلى تدهور معدل بقاء الهلوسة فعلياً، من 0.0 إلى 0.167. عند تتبع السبب، تبين أن نتيجة مصطنعة واحدة محددة لم يدحضها بشكل صحيح سوى 2 من أصل 5 مشككين، أي بمعدل دقة 40 بالمئة. في عينة الـ3 مشككين، شكّل هذان التصويتان الصحيحان 2/3، أي 67 بالمئة، متجاوزَين عتبة الأغلبية فأُسقِطت تلك النتيجة. أما في عينة الـ5 مشككين، فشكّل التصويتان الصحيحان أنفسهما 2/5 فقط، أي 40 بالمئة، وهو ما لم يبلغ الأغلبية فبقيت النتيجة على حالها. هذا شكل من أشكال تخفيف الأصوات (vote dilution) يشبه بنيوياً مفارقة كوندورسيه (Condorcet)، حيث تصبح قواعد الأغلبية النسبية هشة بنيوياً في العناصر الصعبة حين تنخفض دقة المشكك الفردي عن 50 بالمئة.

رسم بياني تحليلي يوضح الأثر غير الرتيب (non-monotonic) الذي تنخفض فيه سلامة التحقق فعلياً كلما زاد عدد المشككين. تحت قاعدة Opus/الأغلبية، كان معدل بقاء الهلوسة 0.0 عند N=1 ثم ارتفع إلى 0.167 عند N=5، بما يتسق مع أثر تخفيف على طراز كوندورسيه حيث يفقد تجميع الأغلبية أمانه بنيوياً بمجرد أن تنخفض دقة المشكك الفردي لكل عنصر عن 50 بالمئة.

تكشف هذه النتيجة أيضاً أهمية اختيار القاعدة. تبدو قاعدة “الإجماع” من اسمها الأكثر حذراً، لكنها في الواقع كانت الأكثر هشاشة، إذ سجّلت معدل بقاء هلوسة قدره 0.167 عند كل من N=3 وN=5 تحت مستوى Opus. في المقابل، كانت قاعدة نقض الفرد الواحد (strict veto)، التي تُسقِط النتيجة فوراً إذا دحضها ولو مشكك واحد فقط، القاعدة الوحيدة التي حققت معدل بقاء هلوسة صفراً عبر جميع المستويات وجميع تهيئات عدد المشككين. غير أن هذه القاعدة لم تكن بلا ثمن، فعند مستوى Haiku منخفض التكلفة، تسببت أحكام خاطئة ناتجة عن الضجيج (noise) لدى المشككين في حالات قليلة أُسقِطت فيها نتيجة صحيحة عن طريق الخطأ (معدل بقاء نتائج صحيحة قدره 0.833).

المساهمة على مستوى الشركة والمجتمع والعلم

كانت ThakiCloud تعمل بالفعل بموجب قاعدة داخلية مفادها أن “عملية fan-out تُغلَق بالتحقق”، لكن التوليفة المثلى بين مستوى نموذج التحقق وعدد المشككين وقاعدة الأغلبية ظلّت مجرد مبدأ وصفي لم يُقَس فعلياً من قبل. تقدّم هذه الدراسة منحنى باريتو مستمداً من نظام تشغيل إنتاجي حقيقي وسكربت تجميع حتمي، ما يوفر أساساً قائماً على التكلفة لتحسين إعدادات بوابة التحقق في مسارات العمل متعددة الوكلاء الجارية بالفعل، مثل مراجعة المهارات (skill review) وعمليات fan-out البحثية وخط أنابيب الأوراق البحثية.

وعلى نطاق أوسع، تُثبت هذه الدراسة أن حتى الفرق الصغيرة التي لا تملك ميزانية تحقق واسعة يمكنها بناء خط أنابيب موثوق لتدقيق الوكلاء بتكلفة منخفضة. كما أنها أول دراسة تُقدِّم قياساً كمياً، على معيار مرجعي محكوم بحقيقة أرضية معروفة، لتأثير مستوى نموذج التحقق وعدد المشككين وعتبة الأغلبية على معدل بقاء الهلوسة في خط أنابيب متعدد الوكلاء من نمط fan-out. لقد رفعت ممارسة التحقق العدائي، التي ظلت حتى الآن على مستوى المبدأ الوصفي، إلى منحنى قابل للقياس.

القيود

يوضح الباحثون بصراحة حدود هذه النتائج. المعيار المرجعي نفسه تجربة صغيرة النطاق قائمة على 12 نتيجة وعينة واحدة، لذا تتحرك النسب المئوية بخطوات خشنة من الأسداس. وعلى وجه الخصوص، فإن حالتي N=3 وN=5 ليستا تجربتين مستقلتين أُعيد سحبهما بشكل منفصل، بل بُنيتا عبر تقطيع العينة نفسها المكوّنة من 5 محاولات لاحقاً، ما يعني أن قيمة شاذة واحدة قد تؤثر في عدة خلايا في آن واحد، ولهذا السبب لم يُجرَ أي اختبار دلالة إحصائية بسبب حجم العينة. اختُبِرت فقط ثلاثة مستويات ضمن عائلة Claude، وهي Haiku وSonnet وOpus، لذا لا يوجد أساس لافتراض أن هذا الترتيب بين المستويات ينتقل إلى عائلات نماذج أخرى، كما تعكس أرقام التكلفة أسعار واجهة برمجة التطبيقات كما كانت في 10 يوليو 2026، وقد تتغير التهيئة المسيطرة إذا تغيرت الأسعار. يشدد الباحثون على أن آلية تخفيف كوندورسيه نفسها سليمة رياضياً، لكن هذا المعيار المرجعي الصغير وحده لا يمكنه الإجابة عن مدى تكرار وقوع العناصر الصعبة في نطاق دقة مشكك أقل من 50 بالمئة في ظروف التشغيل الفعلية، ويقترحون كخطوة تالية معياراً مرجعياً أكبر حجماً ذا بذور محددة (seeded) مع إعادة سحب مستقلة لكل خلية.

يمكن الاطلاع على تفاصيل الورقة البحثية كاملة على صفحة مجموعة بيانات Hugging Face: https://huggingface.co/datasets/thaki-AI/daily-paper-2026-07-11-verify-gated-fanout-pareto

شرائح ذات صلة

هذه الشرائح تلخّص محتوى هذا المقال باستخدام نمط cinematic_infographic في NotebookLM.