التحقق أولا بنموذج مكلف ثم الانحدار إلى نموذج أرخص: كيف نخفض تكلفة النماذج في أسطول المهارات عبر بوابة كود
المشكلة ليست في النموذج بل في التخصيص
عند أتمتة المهام باستخدام نماذج اللغة الكبيرة، نصطدم مرارا بالمعضلة نفسها. النموذج الأكثر ذكاء هو الخيار الآمن من حيث الدقة، لكنه أغلى من النماذج الأصغر بمقدار 5 إلى 20 مرة. ومع ذلك فإن معظم المهام التي تمت أتمتتها لا تحتاج فعليا إلى تلك القدرة.
خذ مثالا أسطول أتمتة يديره شخص واحد. مولّد أوراق بحثية يعمل كل ليلة، وملخص اجتماع صباحي يومي، وموجز CRM للمبيعات، ومراقب للسوق، ومحسّن للمدونة، وخط أنابيب للنشر، كل منها مغلّف في مهارة واحدة تعمل بشكل مستقل. كلما زاد عدد المهارات، كبرت فاتورة النماذج الشهرية معها، وهذه الفاتورة تسيطر عليها مجموعة صغيرة من سير العمل المثبتة عند أعلى مستوى.
الحل الأكثر سذاجة هو تشغيل كل شيء بالنموذج الطليعي. هذا ما فعله أسطولنا في البداية، ولم ينجح مع التوسع. فقد ابتلع سير عمل واحد للمبيعات، يشغّل كل من التنسيق وكتابة المحتوى على المستوى الطليعي، في وقت من الأوقات نحو 94% من إنفاق النماذج الشهري بمفرده. وعلى النقيض، إذا شغّلنا كل شيء بأرخص نموذج، تتدهور بصمت المخرجات التي تحتاج فعلا إلى القدرة. هذا التدهور لا يُلاحظ إلا بعد أسابيع حين ينتبه له أحد.
السؤال الحقيقي يختلف من مهمة إلى أخرى، ولا يمكن الإجابة عنه إلا بالقياس لا بالحدس. بالنسبة لهذه المهارة، تحت هذا النص التوجيهي وهذا السقالة، ما هو أرخص مستوى لا يتدهور بشكل ملحوظ عن مخرجات النموذج الطليعي؟ الإجابة بالحدس عن هذا السؤال خاطئة، والإجابة عنه مرة واحدة غير كافية، لأن النص التوجيهي والمهارة والنموذج جميعها تتغير باستمرار.
نقدم هنا الطريقة التي نستخدمها في أسطولنا. اسمها VETD، أي Validate-Expensive-Then-Descend. تتحقق أولا بالنموذج المكلف، ثم تنحدر فقط إلى المستوى الأرخص الذي يسمح به الكود.
أربعة التزامات
الالتزامات الجوهرية لـVETD أربعة.
أولا، نتحقق أولا بالنموذج المكلف. مخرجات المستوى الطليعي هي خط الأساس للجودة. لا نفترض أن المستوى الأرخص كافٍ، بل نقيس فعليا الفجوة بينه وبين أفضل مخرجات.
ثانيا، لا ننحدر إلا تحت بوابة يملكها الكود. القرار بشأن قبول مستوى أرخص يتخذه كود حتمي يطبّق معيار تقييم صريح. لا نقرر أبدا بناء على ادعاء نموذج بأن النتيجة “تبدو جيدة”. النموذج يُستخدم فقط لتوليد المحتوى ووضع درجات لكل بُعد، أما حساب النجاح والرسوب فيملكه الكود بالكامل.
ثالثا، نُمسك بالجودة عبر الكود لا عبر مستوى النموذج كلما أمكن ذلك. كثير من المهارات تحافظ على جودتها بعد الخفض لأن المعالج اللاحق الحتمي يملك الصيغة والعدد والتحقق. حيث يكون الخفض آمنا، فإن ما يقوم بالعمل غالبا ليس النموذج بل تلك الحواجز الواقية.
رابعا، القدرة التي لا يمكن خفضها تُوجَّه ولا تُقلَّد. حين ترفض البوابة الخفض بسبب فجوة في القدرة، تبقى تلك المهارة مثبتة عند المستوى المكلف. لا نتظاهر بأن النموذج الأرخص كافٍ بينما الدليل يقول عكس ذلك.
شكل الحلقة
يتكون التدفق الكامل من خمس مراحل.
أولا هناك أسطول المهارات، وهو وحدة التحسين. المهارة الواحدة هي دليل يضم عقد النص التوجيهي والسكربتات والقوالب ومُشغّل الجدولة. يحتفظ سجل سياسات مركزي لكل مهارة بمستواها الحالي، وحالة التثبيت، وعدد مرات الفشل المتتالية، والسبب المقروء للبشر وراء ذلك المستوى.
ثم يأتي مسح المستويات. يأخذ المهارة المستهدفة وتركيبات إدخال ثابتة، ويشغّلها بدون واجهة مرة لكل مستوى لجمع المخرجات. تصبح مخرجات المستوى الطليعي خط الأساس.
بعد ذلك يأتي الحكم. حكَم يعمل على المستوى الطليعي يمنح كل مستوى درجة من 1 إلى 5 لكل بُعد في معيار التقييم، وينتج للمرشح الأرخص كائن فجوة مُهيكلا. الفجوة الإجمالية هي headline_gap، والفجوة القابلة للإصلاح عبر تعديل النص التوجيهي هي fixable gap، والفجوة التي يفتقر فيها المستوى الأرخص بنيويا هي reasoning gap. المهم أن الحكم لا ينتج سوى هذه التسميات والدرجات. قرار الخفض لا يتخذه الحكم.
المرحلة الأخيرة هي البوابة الحتمية. يوافق الكود على الخفض فقط إذا تحققت ثلاثة شروط معا: headline_gap عند حد أدنى أو أقل، وreasoning gap يساوي صفرا، وfixable gap يساوي صفرا. النتيجة تتفرع إلى ثلاثة مسارات. إذا تحققت الشروط الثلاثة يُخفَّض المستوى، وإذا كان headline_gap مقبولا لكن توجد fixable gap تُصلَح المهارة أولا ثم تُعاد المحاولة، وإذا وُجدت reasoning gap أو تجاوز headline_gap الحد الأدنى يُعلَّق القرار أو يُثبَّت المستوى المكلف.
لماذا تبقى الجودة رغم الخفض
لكي يكون الخفض آمنا يجب أن يكون محتوى المستوى الأرخص كافيا، ويجب أن تُضبط الصيغة في مكان آخر. حالة الخفض الأبرز في أسطولنا نجت بفضل هذا المبدأ بالضبط. كانت مهارة تنشر ملخص جدول زمني خمس مرات يوميا مثبتة عند المستوى الطليعي، وكانت تستهلك حصة كبيرة من الحصة المخصصة.
قبل الخفض أعدنا هيكلة المهارة أولا. أصبح العامل الفردي لكل بند ينتج المحتوى فقط، بينما يحسب مدقق حتمي بوابات الجودة عبر الكود. يعيد الكود حساب الحد الأدنى لطول النص، والحد الأدنى لعدد المصادر، وعدد أدلة البحث على الويب، وبوابة كشف أسلوب الكتابة الذي يوحي بالذكاء الاصطناعي، ويعيد توزيع أي بند لم يجتز الفحص. أما الترويسة والصيغة وإزالة التكرار فتملكها وحدة نشر منفصلة. لم نخفض هذه المهارة من opus إلى sonnet إلا بعد أن أصبحت الصيغة مملوكة للكود. السبب المسجَّل في السياسة واضح: الجودة تحافظ عليها حواجز الحتمية الصيغية لا مستوى النموذج.
كيف انقسم الأسطول
بعد تطبيق VETD، أصبحت 10 من أصل 16 مهارة تعمل عند مستوى متوسط. أما المهارات الست التي بقيت عند المستوى الطليعي فهي بالضبط تلك التي يكون المحتوى نفسه فيها هو الناتج النهائي، لا الصيغة. الفكاهة والحكم التحريري والنثر البحثي والزاوية الإبداعية أمثلة على ذلك. النمط الذي يكشفه VETD هنا هو أن التنسيق والمهام المرتكزة على الصيغة تنحدر، بينما تبقى مهام جودة المحتوى التي لا يمكن اختزالها.
بالنسبة لـCRM المبيعات، لم نخفض المهارة كتلة واحدة بل قسمناها. خفضنا المايسترو الرئيسي المسؤول عن التنسيق إلى المستوى المتوسط، وأبقينا كتابة المحتوى الموجَّه للعملاء والصفقات عند وكيل فرعي من المستوى الطليعي. الجزء الأكبر من التكلفة، وهو التنسيق، انحدر، بينما بقي الجزء النثري الرقيق ذو القيمة العالية كما هو.
عندما تقول البوابة لا
ليست كل المهارات تنحدر. اختبرنا الليلة مباشرة مهارتين. مهارة التحقق من التقارير سجلت headline_gap قدره 1.4 مع reasoning gap مزدوجة، وسجل ملخص الاجتماع الصباحي headline_gap قدره 2.4 مع reasoning gap مزدوجة تتعلق بالأدلة الواقعية وعمق التحليل. حكم البوابة في كلتا الحالتين كان التعليق، والتوصية التي أصدرها الكود كانت: انقلوا فجوات الصيغة إلى الكود أولا ثم أعيدوا القياس.
قبل ذلك، سجلت مهارة إزالة أسلوب الكتابة الذي يوحي بالذكاء الاصطناعي في النصوص الكورية headline_gap قدره 2.0 متجاوزا الحد الأدنى بفارق كبير، وكانت تحمل معها ثلاث fixable gaps وreasoning gap واحدة. كان الحكم أيضا التعليق. المخرج الصحيح لـVETD في هذه الحالة ليس الخفض بل تعليمات عمل: أغلقوا الـfixable gaps الثلاث بتعديل المهارة ثم أعيدوا القياس.
هذه النقطة مهمة. أي نظام يخفض دائما نظام معطوب. يجب أن تكون البوابة قادرة على قول لا. الأنظمة التي تخضع لضغط خفض التكلفة تميل بسهولة نحو الخفض، والقياسان المباشران الليلة وتعليق مهارة humanizer هما بالضبط صمود البوابة أمام ذلك الضغط.
الفشل الذي آلم حقا
الفشل الذي تحول إلى درس لم يأت من الخفض بل من الترقية. في أوائل يوليو، رُقّيت عدة مهارات تلقائيا إلى المستوى الطليعي بحجة تكرار “تشغيل سيئ”. لكن ذلك التشغيل السيئ كان في الحقيقة استنفادا للحصة الأسبوعية، لا فشلا في الجودة. اكتمل التشغيل نفسه بشكل سليم، لكن وجود علامة حد في السجلات تسبب في احتسابه خطأ.
كان الإصلاح هو تعديل مصنّف الفشل ليعامل استنفاد الحصة والمصادقة معاملة محايدة. لأنه ليس فشلا في القدرة، لم يُرفَع عداد الفشل المتتالي. الدرس يعمم: الإشارات التي تدفع الترقية والخفض يجب أن تميز بوضوح بين فشل القدرة وفشل التوفر. إن لم تفعل ذلك، تنتهي الحلقة إلى التحسين ضد الضوضاء.
الحدود الصادقة
لهذه الطريقة حدود واضحة.
لا نقيس إلا المهارات التي لديها تركيبات اختبار. لذلك فإن “الشركة بأكملها” عمليا هي “المجموعة الجزئية التي لديها تركيبات اختبار”، وتكبر بقدر ما نضيف من تركيبات. المهارات التي لا تملك تركيبات لا يشملها سوى نصف الخفض، بل النصف الآخر المتعلق بالترقية استجابة للفشل. بصراحة، هذه منهجية ونشر جزئي، وليست برهانا على أن جميع سير العمل قد خُفِّضت تكلفتها.
القياس ليس مجانيا لأن الحكم يعمل على المستوى الطليعي. لذلك لا نشغّله عند كل استدعاء إنتاجي، بل فقط عند تغيّر المهارة أو النموذج، لكل مهارة على حدة، لتوزيع التكلفة. كما أن تركيبة اختبار واحدة لا تمثل التوزيع بأكمله. قد تتدهور مهارة يجوز خفضها اليوم عند مدخلات لا تغطيها تلك التركيبة.
النصوص التوجيهية والمهارات وإصدارات النماذج في تغير مستمر. الخفض الصالح اليوم قد يبطل بعد استبدال النموذج الأعلى. يسجل السجل الأسباب، وتلتقط حلقة الترقية الانتكاسات، لكن المطلوب إعادة تحقق مستمرة لا اجتياز مرة واحدة.
بجملة واحدة
VETD يعامل خفض تكلفة النماذج كمسألة قياس وبوابات، لا كمسألة نمذجة. حين نتحقق أولا بالمستوى المكلف، ونحصر استخدام النموذج المكلف في الحكم لا في تنفيذ العمل، ونجعل بوابة النجاح وصيغة المخرجات، حيثما أمكن، مملوكتين لكود حتمي، يستطيع شخص واحد أن يخفض غالبية أسطول من 16 مهارة إلى مستوى متوسط بينما تبقى الأقلية التي تحتاج فعلا إلى القدرة عند المستوى الطليعي. والتقطت الحلقة أيضا تلك المرة الوحيدة التي خلطت فيها بين عطل الحصة وفشل الجودة.
الفكرة الجوهرية القابلة للنقل تختزل في جملة واحدة. استخدموا أفضل نموذج لتحديد المكان الذي لم يعد فيه ذلك النموذج ضروريا.
منهجية هذا المقال وأرقامه مأخوذة من سجل تشغيلي حقيقي لأسطول أتمتة ThakiCloud. نُصدر مسودة الورقة البحثية المرتبة كـPDF مرفقة مع هذا المقال.