تقييم لا يثق برقم واحد: بناء خدمة حكم سيادية للنماذج اللغوية الكبيرة عبر التفكيك الثنائي وبوابات حتمية

لمن هذا المقال

هذا المقال موجه للمهندسين الذين يشغّلون خطوط تقييم آلية تصحّح مخرجات النماذج اللغوية الكبيرة، أو الذين يسعون لتقديم تقييم النماذج كخدمة فوق عنقود GPU مشترك بين عدة فرق داخلية. يتناول المقال مدى هشاشة أسلوب “اطلب من النموذج اللغوي أن يعطي درجة من 1 إلى 10”، وما الذي ينبغي تركه للنموذج وما الذي يجب أن يتولاه الكود لإزالة هذه الهشاشة. الأمر وثيق الصلة بشكل خاص بالمؤسسات في الصناعات المنظّمة أو الجهات الحكومية التي لا يمكنها إرسال بياناتها خارج جدرانها، وبالتالي لا يمكنها الاعتماد على حكم عبر واجهة برمجية من نماذج طليعية.

جوهر المشكلة: قياس الجودة برقم واحد أسلوب بدأ ينهار بالفعل

مع تجاوز وتيرة تطوير النماذج ومراجعة السلامة بكثير سرعة تصحيح البشر يدوياً، أصبح أسلوب LLM-as-a-judge، حيث يقيّم نموذج لغوي كبير مخرجات نموذج آخر، ممارسة أساسية بحكم الأمر الواقع. غير أن هذه الممارسة تقوم على افتراض أن قيمة قياسية واحدة يصدرها نموذج مجمّد تتبع الدرجة التي كان سيمنحها إنسان، والأبحاث المتراكمة خلال 2026 قوّضت هذا الافتراض خطوة بخطوة. فنماذج الحكم تقلب أحكامها بناءً على إشارات سطحية مثل صياغة الطلب أو موضع الإجابة، وتضغط طرفي مقياس التصحيح نحو القيمة الوسطى فتطمس بالضبط الحالات المتطرفة التي يفترض أن تُرصد، وتفرط في الثقة بأحكامها رغم أن هذه الثقة غير معايرة، وحين يعبث فريق أحمر بالمدخل قليلاً يصبح الحكم أقرب إلى رمي العملة. أدوات كشف التحيّز الآلية والتشخيصات المبنية على نظرية استجابة البند تؤكد هذا التذبذب على نطاق واسع وبشكل كمّي.

استجابة مجتمع البحث لهذه المشكلة تنقسم عموماً إلى اتجاهين. الأول يطرح على النموذج أسئلة قابلة للتفسير بنعم أو لا بدلاً من درجة، إذ يفكك بحث مثل BINEVAL معايير التقييم إلى أسئلة ثنائية ويوازي أو يتفوق على أداء الحكم القياسي أو المقارنة الثنائية، مع كشف أي معيار فرعي فشل بالتحديد. أما الاتجاه الثاني فيضيف بنية حول الحكم نفسه، مستخدماً هيئات محلّفين من عدة حكّام، ومناظرات، ووحدات تحقق، لزيادة “الحوسبة التي ينفقها الحكم” وبالتالي رفع متانته، أو يستخدم تسلسلات تقييم انتقائية تحيل فقط الحالات غير المؤكدة قدماً لضمان توافق بمستوى بشري.

المشكلة أن كلا الاتجاهين يُختبر غالباً على معايير مرجعية غير متصلة على جهاز واحد فقط. أما الواقع الذي تواجهه المؤسسات التي تهمها سيادة البيانات، مثل المستشفيات والبنوك ومعاهد البحث الحكومية، فيختلف في ثلاث نقاط. فبما أن البيانات لا يمكن أن تخرج من المنشأة، يجب أن يعمل التقييم على عنقود GPU مشترك تملكه المؤسسة وليس عبر واجهة برمجية من نموذج طليعي؛ وبما أن عدة فرق تتنافس على المسرّعات نفسها، يجب أن تلتزم خدمة التقييم بميزانيات التكلفة وزمن الاستجابة الذيلي لكل مستأجر؛ وبما أن الجهة الرقابية تسأل ليس “كم الدرجة” بل “لماذا هذه الدرجة”، فإن رقماً قياسياً غير شفاف لا يستطيع الإجابة عن هذا السؤال.

المساهمة الجوهرية: الانضباطات الأربعة التي تجمعها ABJ-Gate

بناءً على هذه الشروط الواقعية الثلاثة، يقترح فريق أبحاث ThakiCloud AI معمارية ABJ-Gate التي تجمع تيّاري البحث في واحد. جوهرها أن كل معيار تقييم يُفكّك إلى سؤال ثنائي أولي يجيب عليه نموذج عامل صغير محلي، بينما يُترك تجميع تلك الإجابات وتوحيد صيغتها ومعايرتها والاحتفاظ بسجل تدقيق كلها للكود الحتمي وليس للنموذج. أي بند يقع على حدّ فاصل متنازع عليه أو تُرصد بشأنه إشارة شك يُرسل دائماً إلى عدد فردي من عمّال متشككين مستقلين يُطلب منهم “محاولة دحض هذا”، ويُطرح للتصويت؛ ولا يصمد الحكم إلا حين تفشل الأغلبية في دحضه. وميزانية كل نداء من نداءات النموذج اللغوي هذه توزّعها جدولة قائمة على Kueue/GPU ضمن حدود التكلفة والزمن الذيلي لكل مستأجر.

نتيجة محسوبة من النموذج التحليلي بافتراض 5 معايير ثنائية، ونسبة تصعيد 10%، و3 متشككين. تشغيل الحكم الثنائي الكامل على كل بند (k=1) يرفع التكلفة إلى نحو 5.3 أضعاف تكلفة الحكم القياسي، لكن المعايرة بأسلوب conformal التي تقلّل التصعيدات وتخفض نسبة أخذ العينات k إلى 0.2 تقرّب التكلفة إلى نحو 1.06 ضعف تكلفة الحكم القياسي مع الحفاظ على قابلية التفسير والمعايرة. هذه نتيجة حسابية من المعادلة 8 وليست قياساً فعلياً من معيار مرجعي.

هذا التصميم هو أيضاً ترقية لانضباطين تلتزم بهما الشركة أصلاً بشكل دائم في بنيتها الداخلية، وهما مبدأ “الكود يملك الصيغة والنموذج يملك المحتوى”، ومبدأ إغلاق نتائج التحقق الموزّعة دائماً بتصويت عدائي، إلى واجهة منتج رسمية مشتركة بين عدة مستأجرين. مهما بدا تقرير النموذج العامل عن نفسه، من حيث طول إجابته أو عددها أو “الدرجة الإجمالية من كذا”، مقنعاً، فإن تلك القيمة تُهمل ويعيد الكود حسابها، بحيث لا تستطيع الاهتزازات الطفيفة لدى العامل تلويث النتيجة النهائية.

الوعود التي يجب أن تفي بها هذه المعمارية فعلياً تُصاغ وتُثبت كثلاث خصائص. أولاً، قابلية إعادة الإنتاج: بمعطى نفس مجموعة الإجابات الثنائية، تنتج الدرجة المجمّعة دائماً القيمة نفسها بغضّ النظر عن البذرة العشوائية أو ترتيب الطلبات. ثانياً، ضمان ضبط المخاطر: معايرة مدى تكرار اختلاف الحكم الرخيص من المرحلة الأولى عن التحقق المكلف من المرحلة الثانية عبر ضبط مخاطر conformal تُبقي معدل هذا الاختلاف تحت مستوى مستهدف بصرف النظر عن التوزيع الذي تُستمد منه البنود. ثالثاً، خاصية مفادها أنه إذا أبقت سياسة قبول معدل استخدام كل مستأجر تحت عتبة معينة، فإن نظرية الطوابير تحدّ من زمن تقييم ذلك المستأجر بقيمة منتهية.

منحنى مفاهيمي توضيحي يبيّن كيف يتصاعد زمن الانتظار مع اقتراب معدل الاستخدام من 1 في نموذج طابور M/G/c. يصوّر هذا حجة الافتراض 3 القائلة بأن التحكم في القبول يمكن أن يدير زمن الاستجابة الذيلي عبر ضبط نسبة أخذ العينات لإبقاء معدل الاستخدام تحت عتبة مستهدفة، وليس بيانات زمن انتظار فعلية مقاسة.

يوضّح البحث أيضاً بشكل كمّي متى يكون التفكيك الثنائي مفيداً فعلاً. فحين يمكن للإنسان الإجابة عن كل معيار بشكل أكثر ثباتاً من التصحيح القياسي، وتكون المعايير ضعيفة الارتباط فيما بينها بحيث تحمل معلومات مستقلة عن بعضها، يُثبت أن التفكيك الثنائي مع التحقق بالأغلبية ينتج تبايناً أقل بشكل صارم من الحكم القياسي. وفي المقابل، يوضّح البحث بالمثل أنه إذا كانت المعايير متشابكة فيما بينها، أو كانت الأسئلة الثنائية نفسها سهلة الخداع، فإن التفكيك لا يفيد بل قد يزيد التحيّز.

رسم مفاهيمي يصوّر الحجة التحليلية في القسم 4.4 من البحث. يتناقص تباين الدرجة المجمّعة تقريباً بما يتناسب مع تباين الخطأ لكل معيار مقسوماً على عدد المعايير المستقلة فعلياً، ويُظهر الاتجاه النسبي لتقليل التباين مقارنة بخط أساس (الحكم القياسي = 1 ضعف). هذه ليست أرقاماً مقاسة تجريبياً.

ما يتركه للشركة والمجتمع والعلم

من منظور الشركة، يجمع هذا البحث حكماً مفكّكاً ثنائياً يعمل فوق بنية جدولة GPU الداخلية للشركة، وبوابة تجميع حتمية، وجدولة أخذ عينات تلبّي حدود التكلفة والزمن لكل مستأجر، في تصميم واحد مكتمل. إنه رفع لانضباط داخلي كان مطبقاً أصلاً إلى واجهة منتج مشتركة بين عدة مستأجرين. أما اجتماعياً، فيفتح طريقاً أمام مؤسسات الصناعات المنظّمة التي لم تكن قادرة على استخدام خدمات تقييم عبر واجهات برمجية من نماذج طليعية بسبب عدم إمكانية إخراج بياناتها، لإجراء التحقق من السلامة والجودة قبل النشر على عتادها الخاص، بشكل دائم وقابل لإعادة الإنتاج والتدقيق. وهذا يخفّض عتبة الدخول إلى نشر ذكاء اصطناعي موثوق. أما علمياً، فيرسي إطاراً لقياس العلاقة بين موثوقية الحكم وتكلفته حين يُجمع بين فكرة التفكيك الثنائي والمعايرة وتصويت التحقق العدائي والتجميع الحتمي وأخذ العينات المقيّد بالتكلفة، ويقدّم إلى جانب ذلك الإطار بروتوكولاً مسجّلاً مسبقاً للتحقق من تلك العلاقة تجريبياً استناداً إلى أدبيات الأشهر الستة الماضية.

القيود

يوضّح البحث بنفسه قيوده بصراحة. هذا العمل يقدّم فقط المعمارية والبراهين النظرية الثلاثة ونموذج التكلفة التحليلي وبروتوكولاً مسجّلاً مسبقاً للتحقق من تلك الحدود مقابل تصنيفات بشرية، ولا يتضمن أرقام دقة مقاسة فعلياً. يؤكد المؤلفون صراحة أن الإبلاغ عن أرقام دون تشغيل البروتوكول فعلياً هو بحد ذاته تلفيق، وقد تركوا الأرقام فارغة عن قصد. إلى جانب ذلك، يذكر البحث صراحة كقيود أن صياغة الأسئلة الثنائية نفسها قابلة للخداع، وأن دالة المعايرة يمكن أن تنحرف تحت عائلات نماذج جديدة أو هجمات عدائية متطورة، وأن الاستدلال الذي يكتفي بفحص بقاء الرابط حياً يفوّت فشلاً أكثر تعقيداً مثل صفحات 404 الناعمة، وأن حجة تقليل التباين نفسها تنهار حين تكون المعايير متشابكة. كما يقرّ بأن نماذج العمّال الصغيرة المحلية أضعف أصلاً من الحكّام بمستوى طليعي، بحيث أن مقابل الحصول على قابلية التفسير والمعايرة وإعادة الإنتاج وحدود التكلفة، يتنازل النظام عن جزء من الدقة كحكم مستقل.

تفاصيل البحث الكاملة متاحة على Hugging Face: https://huggingface.co/datasets/thaki-AI/daily-paper-2026-07-07-atomic-binary-judge-eval-service

شرائح ذات صلة

هذه الشرائح تلخّص محتوى هذا المقال باستخدام NotebookLM (نمط neo_swiss).