كان أهدأ خبر في ملخص هذا الصباح خبرا حصريا عن اتحاد المصارف الكوري. مضمونه المختصر أن الاتحاد طرح مناقصة لخدمة استشارية لبناء استراتيجية تبني الذكاء الاصطناعي. والمثير في الأمر هو ما ستنتجه هذه الخدمة فعليا. فهي ليست إضافة نموذج جديد، وليست نشر روبوت محادثة. إنها تحليل خصائص العمل لاكتشاف المهام، ومقارنة وتقييم الذكاء الاصطناعي السيادي المحلي مقابل الذكاء الاصطناعي التابع لشركات التقنية العالمية الكبرى والحلول المتخصصة، وبناء خارطة طريق تبني على مراحل. مدة العقد ثلاثة أشهر، وسيختار الاتحاد الجهة المرشحة المفضلة خلال هذا الشهر.

هنا يبرز سؤال. لو كانت القدرة هي المشكلة، فالسوق مليء أصلا بنماذج قوية. فلماذا لا تشتري البنوك النموذج أولا، بل ترسم الترتيب أولا؟ حين نمسك بهذا السؤال ونعيد قراءة أخبار اليوم كاملة، نلاحظ أن شركات مختلفة تقول في الواقع الشيء نفسه. نقطة الحسم في تبني الذكاء الاصطناعي انتقلت من مدى ذكاء النظام إلى مدى قدرتك على التحكم فيه.

المال ما زال يتدفق نحو الأجهزة

بالطبع ما زال مسار رأس المال متجها نحو السيليكون. اليوم وحده، سجلت هانمي سيميكوندكتور أكبر أرباح فصلية في تاريخها منذ التأسيس، بربح تشغيلي بلغ 130.3 مليار وون في الربع الثاني، بزيادة 51 بالمئة عن العام السابق، مدفوعا بالطلب على معدات المرحلة الأولى لتصنيع HBM4. وتخطط شركات الذاكرة الثلاث الكبرى لمضاعفة إنتاج HBM هذا العام أكثر من مرتين، ورغم ذلك ما زال الطلب يفوق العرض، لذا أعلنت مسبقا عن رفع الأسعار العام المقبل. بدأت SK هاينكس تقديم طلبات شراء المعدات لمصنعها Y1 في يونجين. ووصف الرئيس تشوي تاي وون هذا الأمر بأنه ليس دورة اقتصادية بل تطورا في الصناعة نفسها.

لكن كون المال يتدفق نحو الأجهزة لا يعني أن العائق كامن في الأجهزة أيضا. مهما كانت الرقاقة سريعة، فإذا لم يُحدَّد ما الذي يُسمح لها بفعله وإلى أي حد، فلن تستطيع صناعة خاضعة للتنظيم أن تخطو خطوة واحدة. وهنا يكمن سبب أن ما اشتراه اتحاد المصارف لم يكن أداء، بل معيارا.

الصناعات الخاضعة للتنظيم تشتري الترتيب قبل القدرة

يجدر الانتباه إلى أن خارطة طريق اتحاد المصارف تصدر على مستوى الاتحاد القطاعي، لا على مستوى مصرف واحد. فترتيب التبني ومعايير تقييم النماذج التي يضعها الاتحاد ستصبح المعيار الفعلي لدى المصارف الأعضاء. أي أن الصناعة بأكملها، لا جهة واحدة، ستُدخِل الذكاء الاصطناعي وفق القواعد نفسها. وقد فتحت الجهات التنظيمية المالية للتو استثناء في قواعد فصل الشبكات، ما يتيح استخدام الخدمات السحابية حتى داخل الشبكات الداخلية، وهو ما سيسرّع من ترسخ هذه القواعد.

وظهرت حركة من الطبيعة نفسها في القطاع العام أيضا. اختير ائتلاف يضم KT وNaver Cloud كجهة مرشحة مفضلة لمشروع تخطيط استراتيجي مبتكر لدى هيئة الموارد المعلوماتية الوطنية. وجوهر هذا المشروع هو أيضا التصنيف لا الميزات الجديدة. يتضمن فرز 693 نظام معلومات عام في المقر الرئيسي بدايجون، وتحديد أيها يبقى في مراكز البيانات العامة وأيها ينتقل إلى السحابة الخاصة، استنادا إلى درجة N2SF والأهمية والجدوى الاقتصادية والاستقرار. وهو إجراء تكميلي لإطار تشغيل الأنظمة الوطنية الذي أعيد تصميمه بعد حريق مركز دايجون في سبتمبر 2024.

الرسالة التي تحملها الحالتان واضحة. في الصناعات الخاضعة للتنظيم، الخطوة الأولى في التبني ليست النشر بل التصنيف. تحديد ما يمكن تفويضه، وإلى أي حد، يأتي قبل تحديد ما يجب فعله أولا. أما القدرة فمشكلة لاحقة.

يتباين هذا الحذر بوضوح مع سرعة الجمهور العام. ففي اليوم نفسه، تصدر تشات جي بي تي المرتبة الأولى من حيث نمو المستخدمين المحليين في النصف الأول من العام، ونال لقب التطبيق الوطني، بينما انضمت SK AX وTechnomatrix إلى فريق النخبة المكلف بنموذج SK تليكوم الخاص دوكباموه، ما سرّع التجارب في التصنيع والقطاع العام. وأطلقت أبيت أداة اختبار استراتيجيات تداول رجعيا في نسختها التجريبية، تتيح للمستخدمين التحاور مع الذكاء الاصطناعي للتحقق من استراتيجياتهم. فالأفراد والخدمات المتخصصة تندفع للأمام بهذه الطريقة، بينما تبطئ البنوك والقطاع العام سرعتها بدلا من ذلك لترسم الترتيب. هذا الفارق في الوتيرة ليس صدفة. فكلما كان لدى المؤسسة ما تخسره أكثر، كلما أدارت مقياس الاستقلالية بتأنٍّ أكبر.

الاستقلالية ليست مفتاحا، بل مقياس متدرج

فكيف تبدو إذن الحافة الأمامية للاستقلالية؟ كشفت SAP كوريا اليوم في سيول عن مخططها للمؤسسة المستقلة ذاتيا. والصورة هي أن وكلاء الذكاء الاصطناعي مدمجون في العمليات والبيانات، يستشعرون ويحكمون وينفذون من تلقاء أنفسهم. ويُنشَر المساعد الحواري جول في أكثر من خمسين موضعا تمتد عبر المالية والمشتريات وسلسلة التوريد والموارد البشرية وخدمة العملاء، وينسق كل مساعد أكثر من مئتي وكيل متخصص تحته لتنفيذ مهام دقيقة وضيقة النطاق. وقُدّمت سامسونج إلكترو ميكانيكس كمثال خفّض زمن توقف النظام من 144 ساعة إلى 34 ساعة، أي بنسبة 76 بالمئة، خلال هذا التحول، من دون إيقاف خطوط الإنتاج.

واللافت أن أحد المحاور الأربعة التي طرحتها SAP هو الحوكمة منذ البداية. فحتى الشركة التي ترسم أكثر الصور استقلالية تبيع الاستقلالية والتحكم كحزمة واحدة. وهذا هو جوهر الأمر. الاستقلالية ليست مفتاحا يُشغَّل ويُطفَأ. بل مقياس متدرج يحدد أي مهمة، وتحت موافقة من، وإلى أي حد يمكن للوكيل أن يعالجها بمفرده. وتفويض عمليات حساسة كالمالية والموارد البشرية وسلسلة التوريد يستلزم الامتثال لقانون حماية المعلومات الشخصية وقانون المعاملات المالية الإلكترونية، وقبل كل شيء إمكانية تتبع التدقيق كشرط مسبق. وكيفية تصميم العلاقة بين ثقافة الموافقات متعددة المراحل الخاصة بكوريا والتنفيذ المستقل للوكيل هي ما يحدد نجاح التبني من فشله.

لماذا لا يُنتج ضخ المال استراتيجية

وظهر اليوم أيضا دليل في الاتجاه المعاكس. أعلنت KT أنها ستستثمر 18 تريليون وون في الاتصالات والذكاء الاصطناعي خلال السنوات الخمس المقبلة. منها 12 تريليون وون لتعزيز أعمال الاتصالات القائمة على مدى ثلاث سنوات، و6 تريليونات وون للبنية التحتية مثل مراكز بيانات الذكاء الاصطناعي والكابلات البحرية على مدى خمس سنوات. غير أن تقييم السوق كان باردا. إذ يشير النقد إلى أن قدرة KT التنافسية في النماذج والوكلاء الخاصة بها تراجعت فعليا، وأنها خسرت أيضا في مشروع الحكومة لنموذج الذكاء الاصطناعي السيادي التأسيسي. فضخ رأس مال هائل لم يترجَم تلقائيا إلى تحول نحو شركة منصة للتحول بالذكاء الاصطناعي.

يكشف هذا التباين هيكل أخبار اليوم. نقيض القدرة ليس العجز بل التحكم، ونقيض الإنفاق ليس الادخار بل التصميم. فالمال المنفَق على البنية التحتية لا يصبح استراتيجية ما لم يُترجَم، في طبقة التنفيذ، إلى استقلالية محكومة. وسبب رسم اتحاد المصارف لخارطة الطريق أولا، وقيام هيئة الموارد المعلوماتية الوطنية بتصنيف الدرجات أولا، هو إدراكهما لصعوبة هذه الترجمة.

السيادة ليست مسألة أين تحفظها، بل ماذا تثبت

القطعة الأخيرة تعيد كتابة تعريف السيادة. اختير برنامج شركة موريه المحلية للبنية التحتية للذكاء الاصطناعي، المصمم للأجهزة غير المتجانسة، كحالة ابتكارية في قمة الذكاء الاصطناعي من أجل الخير العالمية التي استضافها الاتحاد الدولي للاتصالات التابع للأمم المتحدة. ويجمع هذا البرنامج مسرّعات من شركات مصنّعة مختلفة، ليس فقط إنفيديا بل أيضا AMD وTenstorrent، ويشغّلها كموارد موحدة. والنقطة التي قيّمها الاتحاد الدولي للاتصالات لم تكن رقما في الأداء، بل المساهمة في تحويل منظومة مغلقة مرتبطة بأجهزة محددة إلى بنية مفتوحة ومستدامة.

فإذا فهمنا السيادة على أنها مسألة موقع فقط، أي إبقاء البيانات داخل حدود الدولة، فنحن لا نرى سوى نصف الصورة. فالسيادة الحقيقية هي أيضا مسألة إثبات عدم الارتباط بمورّد محدد. وهذا هو السياق الذي جعل منظمة دولية تصادق على انفتاح لا تتعثر فيه العمليات مهما كان المسرّع الذي تعمل عليه أو النموذج الذي تختاره. والتحكم الذي تريده الصناعات الخاضعة للتنظيم يقوم في النهاية على إمكانية الإثبات هذه نفسها.

لذلك بنينا المقياس المتدرج

إذا جمعنا أخبار اليوم في سطر واحد، يصبح كالتالي: الصناعات الخاضعة للتنظيم تشتري التحكم قبل القدرة، والإثبات قبل الموقع، والترتيب قبل النشر. وباكسيس، السحابة الأصيلة للوكلاء من ThakiCloud، منتج فعلي مصمم خصيصا لمعاملة هذه المتطلبات كموارد من الدرجة الأولى، وقد أُطلق رسميا بالإصدار v1.1 الشهر الماضي.

تمر المهام أولا عبر بوابة السياسات، ويُدار مقياس الاستقلالية من L0 إلى L3 بقدر ما تراكمت الثقة فقط. ويجري التنفيذ داخل صندوق عزل معزول، وتُسجَّل كل مرحلة في سجل تدقيق، ويعمل هذا كله داخل حدود سيادية محلية على بنية كوبرنيتيس. ويختار CostRouter النموذج الأمثل لكل مهمة من دون ارتباط بأي مورّد.

في باكسيس، تُغلَّف المهارات والأدوات التي يتعامل معها الوكيل كل منها كوحدة مستقلة، وتوضع السياسات وسجلات التدقيق جنبا إلى جنب فوقها. وهذا يعني أن ما تطلبه البنوك حتى قبل خارطة الطريق، أي تحديد ما يمكن تفويضه وإلى أي حد، وإمكانية تتبع التنفيذ لاحقا، ليسا ميزات إضافية بل جزء من الهيكل الأساسي. وتنقسم الاستقلالية إلى مراحل من L0 إلى L3. وهذا هو المقياس المتدرج الذي ذكرناه سابقا، منفَّذا كمفهوم تشغيلي فعلي. يمكنك البدء من مرحلة يوافق فيها إنسان على كل إجراء، ثم رفع المقياس تدريجيا لمهام محددة فقط اكتسبت الثقة.

تُنفَّذ المهام الحساسة داخل صندوق عزل معزول، ما يحد من نطاق أي حادث منذ البداية. وبنية تمنع تداعيات أي خطأ من تجاوز حدود العزل هي، إلى جانب سجل التدقيق، من أول ما تتحقق منه الصناعات الخاضعة للتنظيم قبل التبني. وحيث تلزم السيادة والتشغيل المحلي، تُشغَّل موارد وحدات معالجة الرسوميات وخدمة النماذج بشكل معزول فوق ai-platform القائمة على كوبرنيتيس. والأنظمة ذات الدرجات العالية التي لا يمكن إخراجها للخارج، كتلك الموجودة في هيئة الموارد المعلوماتية الوطنية، والقطاع المالي بمتطلباته الصارمة لفصل الشبكات، هي بالضبط ما يناسب هذا الموضع. والواجب الذي طلبه اتحاد المصارف، أي مقارنة النماذج وتقييمها، يتصل مباشرة بسياسة CostRouter التشغيلية في اختيار النموذج الأمثل لكل مهمة. وهذه هي النقطة التي يلتقي فيها الانفتاح غير المرتبط بأي نموذج مع إمكانية إثبات السيادة.

الآن، بينما ترسم SAP صورة المؤسسة المستقلة ذاتيا وتفكر البنوك في الترتيب الذي ستُدخِل به هذه الصورة، فإن القطعة الناقصة غالبا ليست نموذجا أقوى. بل طبقة تنفيذ قادرة على تشغيل استقلالية محكومة بأمان. وبالنسبة لمؤسسة تفضل إدارة مقياس متدرج بتأنٍّ على تشغيل مفتاح إضافي، فإن معرفة أن هذا المقياس، بمقبضه كاملا، جاهز ومنتظر بالفعل، ستقرّب نقطة الانطلاق قليلا.

المصادر المرجعية

تم التحقق من الخلفية التنظيمية والمعيارية لهذا المقال من المصادر الأولية أدناه. أما أخبار اليوم المحلية المذكورة في المتن (أرباح شركات فردية، مناقصات، إعلانات) فهي مواد إخبارية عاجلة ولم تُربَط بروابط منفصلة.

• القانون الأساسي بشأن تطوير الذكاء الاصطناعي وبناء أساس الثقة (قانون الذكاء الاصطناعي الأساسي)، مركز المعلومات القانونية الوطنية: أساس الاستجابة التنظيمية، ساري المفعول منذ يناير 2026
• قانون حماية المعلومات الشخصية، مركز المعلومات القانونية الوطنية: الشرط المسبق لحماية البيانات عند تفويض العمليات الحساسة
• قانون المعاملات المالية الإلكترونية، مركز المعلومات القانونية الوطنية: إطار التحكم والموافقة الخاص بالقطاع المصرفي
• بروتوكول سياق النموذج (MCP): المعيار المفتوح الذي يعامل استدعاءات أدوات الوكيل كمستوى تحكم من الدرجة الأولى
• قمة الذكاء الاصطناعي من أجل الخير العالمية للاتحاد الدولي للاتصالات: السياق الدولي الذي يوضح أن تبني الذكاء الاصطناعي في الصناعات الخاضعة للتنظيم يمر عبر الحوكمة والمعايير لا القدرة
• قانون الذكاء الاصطناعي الأوروبي (اللائحة (الاتحاد الأوروبي) 2024/1689)، EUR-Lex: مثال عبر ولايات قضائية متعددة يقنن الاستقلالية في درجات مخاطر متدرجة
• إطار إدارة مخاطر الذكاء الاصطناعي للمعهد الوطني للمعايير والتقنية NIST: سابقة تنظيمية تؤسس إطار حوكمة قبل القدرة

نظرة عامة

كل فريق خدَم نموذجا كبيرا مفتوح الأوزان محليا يعرف أن العائق الأول هو دائما الحجم. نموذج مثل GLM-5.2، بأكثر من 700 مليار معامل، يقترب من 1.4 تيرابايت في صيغة BF16 الخام، وتوزيعه على عدة وحدات GPU يجعل ذاكرة VRAM تكلفة مباشرة. وكان الجواب على هذه المشكلة دائما تقريبا هو التكميم: خفض 16 بت إلى 8 ثم إلى 4 بل إلى 2، مع التضحية بقليل من الجودة في الطريق.

هذا المقال موجه لقادة الهندسة المسؤولين عن تكلفة الاستدلال، وللممارسين الذين ينشرون النماذج محليا (on-premises)، ولعلماء البيانات في البيئات الخاضعة للتنظيم الذين لا يمكنهم فقدان بت واحد من الدقة. نشر مؤخرا باحث باسم brianbell-x أنه حذف 423 غيغابايت من GLM-5.2. صار 1403 غيغابايت يساوي 980 غيغابايت، والمثير أن الطريقة لم تكن تكميما. لم تكن تشذيبا ولا تقطيرا، بل ضغطا بلا خسارة يعيد بناء الأصل بت ببت عند فك الضغط. فإذا كان شيء بلا خسارة ومع ذلك يتقلص بنسبة 30 بالمئة، فهذا يعني أن الصيغة الأصلية كانت تهدر هذا القدر بالضبط.

بدل أن نأخذ الادعاء على محمل الثقة، قررنا التحقق منه مباشرة. فتحنا 490 مليون وزن مُدرّب فعلي من Qwen2.5-0.5B وقِسنا إنتروبيا حقل الأس في BF16، مؤكدين أن الثمانية بتات المخصصة تحمل فقط 2.64 بت من المعلومات الحقيقية. جاء الحد النظري للضغط بلا خسارة عند 33.5 بالمئة، وهو ما تطابق تقريبا مع 30.17 بالمئة التي حققها المؤلف الأصلي بترميز فعلي. يغطي هذا المقال تلك القياسات ويشرح لماذا يحدث التوفير ليس على القرص فحسب بل في VRAM أيضا.

ما هي هذه التقنية

علينا أولا أن نرى كيف يخزّن BF16 رقما واحدا. يقسم BF16 (brain floating point 16) الستة عشر بت إلى ثلاثة أجزاء: بت إشارة واحد، و8 بتات أس، و7 بتات جزء عشري (mantissa). يحصل الأس على 8 بتات كاملة لأن BF16 مصمم للحفاظ على نطاق ديناميكي واسع مماثل لـ FP32، حتى يستطيع تمثيل قيم كبيرة جدا أو صغيرة جدا.

المشكلة أن أوزان نموذج مُدرّب بالكاد تستخدم هذا النطاق الواسع. في شبكة عصبية مدربة جيدا، تتجمع معظم الأوزان حول قيم صغيرة قرب الصفر. ونتيجة لذلك يتكتل حقل الأس حول حفنة من القيم، ومن بين 256 احتمالا تستطيع الثمانية بتات تمثيلها، لا يظهر فعليا سوى جزء ضئيل. هنا يكمن الهدر: تُخصَّص 8 بتات، لكن المعلومات المحمولة فعليا أقل بكثير.

فكرة الضغط بلا خسارة بسيطة. رمّز حقل الأس منخفض المعلومات بترميز إنتروبي إلى تمثيل قصير، واترك الثمانية بتات من الإشارة والجزء العشري كما هي لأنها شبه غير قابلة للضغط. يجمع تنفيذ المؤلف الأصلي الإشارة والأس في رمز من 4 بتات يشير إلى جدول بحث يضم أكثر 15 تركيبة أُس شيوعا. أما القيم النادرة غير الموجودة في الجدول فتُخزَّن منفصلة بصيغتها الكاملة. تلخّص الصورة التالية هذه العملية.

flowchart TB
    A["وزن BF16 مُدرّب<br/>16 بت = إشارة 1 + أس 8 + جزء عشري 7"] --> B["تحليل حقل الأس<br/>يظهر عدد قليل من 256 قيمة"]
    B --> C["قياس إنتروبيا الأس<br/>تخصيص 8 بت -> نحو 2.64 بت"]
    C --> D["استبدال الإشارة+الأس برمز 4 بت<br/>أكثر 15 تركيبة شيوعا -> جدول بحث"]
    D --> E["الحفاظ على الجزء العشري 7 بت كما هو<br/>بلا خسارة بت ببت"]
    E --> F["تخزين الأسات النادرة بصيغتها الكاملة<br/>مع الحفاظ على العنونة ثابتة العرض"]
    F --> G["الوزن المضغوط<br/>نحو 10.6 بت لكل وزن (توفير نحو 33%)"]

يختلف هذا النهج جوهريا عن التكميم. فالتكميم يقتطع الجزء العشري أو يقرّب القيم، مسقِطا الدقة فعليا. أما الضغط بلا خسارة فلا يسقط شيئا. إنه يعيد كتابة المعلومات نفسها برمز أقصر فقط، فيعيد فك الضغط الأوزان الأصلية دون خطأ بت واحد. تنتمي أعمال حديثة مثل DFloat11 و ZipNN إلى العائلة نفسها. أفاد ZipNN أن حقل الأس في BF16 لأوزان نماذج اللغة المدربة يحمل نحو 2.6 بت فقط من إنتروبيا شانون ضمن تخصيصه البالغ 8 بت. ما أردنا معرفته هو ما إذا كان هذا الرقم يتكرر على نموذج حقيقي.

قياس إنتروبيا الأس بأنفسنا

للتحقق، فتحنا نموذج BF16 مُدرّبا حقيقيا واحدا في بيئة عمل معزولة. كان الهدف Qwen2.5-0.5B، وهو نموذج منشور فعلي بـ 490 مليون وزن. حللنا البنية الثنائية لملف safetensors مباشرة، وقرأنا كل مصفوفة BF16 كأعداد صحيحة من 16 بت، واستخرجنا الثمانية بتات الخاصة بالأس، وحسبنا توزيع القيم وإنتروبيا شانون. لم نستخدم أي تقدير من إطار عمل، بل الأرقام المستخرجة من بايتات المصفوفة الفعلية فقط.

في ما يلي شفرة القياس الأساسية، وهي الجزء الذي يرى قيمة BF16 كعدد صحيح من 16 بت ويقتطع حقل الأس.

import numpy as np

def bf16_exponent_bytes(raw: np.ndarray) -> np.ndarray:
    # raw = قيم BF16 مرئية كـ uint16. الأس = البتات 14..7 (8 بت)
    return ((raw >> 7) & 0xFF).astype(np.uint8)

# حلّل ترويسة safetensors، اقرأ مصفوفات BF16 كـ uint16، واحسب
# إنتروبيا شانون من تكرار قيم الأس.

كانت النتيجة أكثر إثارة مما توقعنا. في ما يلي ما أظهره مسح عبر 290 مصفوفة BF16 بمجموع 494 مليون وزن.

يستطيع حقل الأس تمثيل 256 قيمة، لكن ظهرت 38 فقط، وغطت أعلى 3 منها 72 بالمئة من كل الأوزان. كانت إنتروبيا شانون 2.6386 بت، مطابقة تقريبا لـ 2.6 بت التي أفاد بها ZipNN. بعبارة أخرى، كان حقل الأس البالغ 8 بت يحمل 2.64 بت فقط من المعلومات، والبتات الـ 5.36 المتبقية هدر خالص.

إزالة هذا الهدر بلا خسارة تخفض البت لكل وزن من 16 إلى 10.64، مع الحفاظ على الثمانية بتات من الإشارة والجزء العشري وضغط الأس حتى حده الإنتروبي. وكتوفير، هذا يعادل 33.5 بالمئة.

بإسقاط هذه الـ 33.5 بالمئة على حجم GLM-5.2 (753B)، يصبح 1403 غيغابايت نحو 933 غيغابايت. أما القيمة التي حققها المؤلف الأصلي بترميز فعلي فكانت 980 غيغابايت، أي توفير 30.17 بالمئة. الفجوة البالغة نحو 3 نقاط مئوية بين حدنا النظري (33.5 بالمئة) والتنفيذ الفعلي (30.17 بالمئة) ليست صدفة. فمرمّزات الإنتروبيا الفعلية لا تبلغ حد شانون كاملا، ويجب تخزين قيم الأس النادرة بصيغتها الكاملة، ويجب أن تكون الرموز ثابتة العرض للسماح بالوصول العشوائي على GPU، وكل ذلك يضيف عبئا طفيفا. أن تتقارب النظرية والتنفيذ إلى هذا الحد دليل قوي على أن الادعاء الأصلي صحيح وأن النهج سليم.

لماذا تتقلص VRAM أيضا على GPU

هنا النقطة الأسهل إساءة فهمها. معظم الضغط يتقلص على القرص فقط ويعود إلى حجمه الكامل لحظة تحميل النموذج على GPU، لأنه يجب فك ضغطه للحساب. لكن الـ 30 بالمئة في هذا الضغط بلا خسارة هي رقم VRAM لا رقم قرص. وهذا ما يجعل هذه التقنية مختلفة عن ضغط الملفات العادي.

السر في الرموز ثابتة العرض. لأن رمز كل وزن مضغوط بالعرض نفسه، يمكنك حساب موضع الوزن رقم N بالضبط دون فك ضغط. لا حاجة لتمرير فك تعبئة منفصل ولا لنسخة ثانية بالصيغة الأصلية. تقرأ نواة GPU البايتات المضغوطة مباشرة وتبحث عن كل رمز في جدول صغير محفوظ في المسجلات (registers) أثناء إجراء الضرب. الصيغة الكاملة من 16 بت لا توجد أبدا في VRAM. لذلك تظهر الـ 30 بالمئة في البصمة الفعلية للذاكرة، لا على القرص فحسب.

الأثر العملي كبير. خدمة نموذج 1403 غيغابايت تتطلب 18 بطاقة H100 سعة 80 غيغابايت على الأقل. ومع خفض الضغط بلا خسارة له إلى 980 غيغابايت، ينخفض ذلك إلى نحو 13. توفّر خمس وحدات GPU دون فقدان بت واحد من الجودة. إذا كان التكميم مقايضة للجودة بالذاكرة، فهذه التقنية أقرب إلى وجبة غداء مجانية. لكنها ليست مجانية تماما، ونتناول الثمن أدناه.

الآثار على منتجات ThakiCloud

هذه التقنية جذابة بشكل خاص من منظور ai-platform لدى ThakiCloud. الـ ai-platform بنية تحتية تخدم النماذج لبيئات عملاء متنوعة فوق Kubernetes وجدولة GPU المبنية على Kueue. كثير من العملاء المحليين يطلبون السحابة المحلية والسيادية، وفي تلك البيئات تكون كل وحدة GPU نفقة رأسمالية ومهلة توريد. يقلّل الضغط بلا خسارة عدد وحدات GPU المطلوبة دون التضحية بأي دقة، ما يجعله ورقة أسهل في الإقناع من التكميم أمام العملاء الحساسين للجودة في القطاعات المنظمة. في المال أو الرعاية الصحية، حيث تصبح قابلية إعادة إنتاج مخرجات النموذج خاضعة للتدقيق، يمكن أن يكون التطابق بت ببت متطلبا بحد ذاته.

الأثر أكبر في الإعدادات متعددة المستأجرين التي تخدم نماذج كبيرة بـ vLLM أو SGLang. استعادة 30 بالمئة من VRAM تتيح تركيب نافذة سياق أكبر على العتاد نفسه، أو تشغيل مزيد من الطلبات المتزامنة، أو تحميل نموذج أكبر على عقدة واحدة. تراكم هذا النوع من كفاءة الموارد بالضبط هو حيث ينافس ai-platform على تكلفة خدمة منخفضة. الضغط بلا خسارة محور متعامد مع التكميم و paged attention والتوازي التنسوري، فيُضاف مباشرة فوق التحسينات القائمة.

والخدمة منخفضة التكلفة تغذّي بدورها اقتصاديات الوكلاء. Paxis، وهو مستوى التحكم Agent-Native Cloud لدى ThakiCloud، يشغّل مئات المهارات في صناديق رمل معزولة ويمرّر كل فعل عبر بوابات سياسة وسجلات تدقيق، وهذه أحمال عمل الوكلاء تستدعي نماذج كبيرة مفتوحة الأوزان مرارا. وكلما انخفضت تكلفة وحدة الخدمة، أمكن تشغيل الوكلاء بجرأة أكبر، فتكون كفاءة موارد ai-platform ركيزة لاقتصاديات تشغيل Paxis.

القيود والاعتراضات

هذه التقنية ليست علاجا شاملا. أولا، فرضية انخفاض إنتروبيا الأس تصح فقط في النماذج المدربة جيدا. يجب أن تتجمع الأوزان قرب الصفر ليتكتل الأس، لذا فالنماذج غير المدربة بما يكفي، أو ذات التوزيعات الواسعة، أو المكمَّمة بشدة أصلا، ستشهد توفيرا أقل. كما أن قياسنا يأتي من نموذج واحد، فالأرقام الفعلية ستتغير بحسب البنية وطريقة التدريب.

ثانيا، فك رموز الضغط في الوقت الحقيقي يتطلب من نواة GPU معالجة البحث والضرب معا. وإن لم تُحسَّن تلك النواة جيدا، فقد ينتهي بك الأمر إلى توفير الذاكرة مع زيادة زمن الاستجابة. قد تعمل أسرع في أحمال العمل المقيدة بعرض نطاق الذاكرة، لكن هذا يعتمد بشدة على العتاد وتنفيذ النواة، لذا يجب قياس الأداء على GPU المستهدف قبل النشر.

ثالثا، بما أنه بلا خسارة، لا يستطيع هذا النهج بلوغ توفير الضغط الشديد مثل التكميم إلى 4 بت. توفير 30 بالمئة ممتاز، لكنه يخدم غرضا مختلفا عن التكميم الذي يتنازل عن قليل من الجودة ليتقلص 4 أضعاف. الاثنان متكاملان لا متنافسان، والجواب الواقعي يجمعهما: ضغط بلا خسارة حيث تكون الدقة حاسمة تماما، وتكميم حيث يوجد فسحة في الجودة.

أخيرا، تستند هذه النتيجة إلى تجربة عامة لباحث واحد وإلى إعادة إنتاج صغيرة النطاق من جانبنا. تطبيقها في الإنتاج يتطلب التحقق المستقل من التطابق بت ببت للضغط وإعادة البناء، ومن أداء النواة، ومن توفير VRAM الفعلي على النموذج المستهدف وحزمة الخدمة.

المصادر

• brianbell-x, “Lossless Model Compression Experiment”: https://brianbell-x.github.io/weight-compression/
• النموذج المقاس: Qwen/Qwen2.5-0.5B (Hugging Face)
• أعمال ذات صلة: ZipNN, DFloat11 (عائلة ترميز إنتروبيا الأس في BF16)

نظرة عامة

هناك بالفعل مقالات كثيرة عن كيفية تكميم نموذج. GPTQ و AWQ و GGUF و Unsloth Dynamic؛ وصفة لتقليص نموذج 16 بت إلى 4 بت تبعد بضع عمليات بحث. لكن النقطة التي تتعثر عندها الفرق فعلا هي ما يأتي بعد ذلك. أين بالضبط تضع ذلك الملف ذا الـ 4 بت، وكيف؟ هل تشغّله مباشرة على مثيل EC2، أم تغلّفه في نقطة نهاية SageMaker، أم تدرجه في حجيرة على عنقود EKS الذي تديره أصلا؟ لا يوجد جواب واحد، لكن توجد خريطة تتفرع بحسب صيغة ملف النموذج.

هذا المقال موجه لمهندسي المنصات الذين ينشرون نماذج مفتوحة الأوزان على بنيتهم التحتية، وللممارسين الذين يصممون تكلفة الاستدلال. نشرت AWS مؤخرا دليلا مع Unsloth بعنوان “Deploying quantized models on Amazon SageMaker AI with Unsloth” ينظّم قرار النشر هذا في أربعة أنماط. نحلل المنطق الأساسي لهذا الدليل، ونشرح لماذا تحدد صيغة ملف النموذج بيئة التشغيل، وبيئة التشغيل بدورها تحدد خدمة AWS، ونربط هذا التفكير بكيفية تصميم بنية مثل ThakiCloud التي تقوم بالخدمة متعددة المستأجرين على Kubernetes.

نوضّح أمرا مسبقا: أمثلة الأوامر هنا مسارات تم التحقق منها في دليل AWS الرسمي ووثائق Unsloth، ولم نختلق أي أرقام قياس أداء. بيئة تحققنا هي Apple Silicon، لذا لم نتمكن فعليا من تشغيل وإعادة إنتاج تكميم Unsloth وخدمة vLLM المعتمدين على CUDA محليا. لذلك فهذا المقال ليس تقرير تجربة بل تحليل بنيوي لدليل موثوق.

لماذا يعود التكميم مهما عند النشر

يُناقَش التكميم عادة بوصفه مسألة سرعة تدريب أو استدلال فقط. لكن دليل AWS يشير إلى أن التكميم عند مرحلة النشر يغيّر ثلاثة أمور دفعة واحدة. الأول قرار المثيل. فمع صيرورة نموذج كبير قابلا للتشغيل عمليا على GPU أصغر بل على CPU، تنخفض فئة المثيل المطلوبة نفسها. الثاني ملف تعريف الإقلاع والتخزين. فملفات النموذج الأصغر تُنقل وتُخزَّن أسرع، ما يساعد على الإقلاع البارد والتوسع الأفقي. الثالث مرونة النشر. إذ يمكنك اختيار نموذج أصغر للاستدلال الحساس للتكلفة وتصدير أعلى دقة للاستدلال الحساس للجودة.

قوة Unsloth أنه يربط الضبط الدقيق والتشغيل والتصدير والنشر في سير عمل واحد. وبخاصة، يتيح تكميم Unsloth Dynamic v2.0 تشغيل وضبط نماذج LLM المكمَّمة مع الحفاظ على الدقة قدر الإمكان، ويُفاد أن التدريب المدرك للتكميم (QAT)، المبني بالتعاون مع PyTorch، يستعيد جزءا كبيرا من الدقة المفقودة في التكميم الساذج إلى 4 بت. بعبارة أخرى، يمكنك اختيار موضعك بدقة على مقايضة الجودة مقابل الحجم قبل النشر.

الصيغة تحدد بيئة التشغيل، وبيئة التشغيل تحدد AWS

الفكرة الجوهرية للدليل: لا تبدأ قرار النشر من “أي خدمة أستخدم”. بل ابدأ من “إلى أي صيغة أصدّر”، وسيتبع الباقي طبيعيا. هناك فرعان.

الأول GGUF. وهو صيغة ملف واحد تجمع الأوزان والمُرمِّز (tokenizer) والبيانات الوصفية معا، وتستخدمه بيئات تشغيل خفيفة مثل llama.cpp و Ollama و Unsloth. على AWS يُربَط هذا الفرع بـ Amazon EC2 أو حاوية SageMaker AI مخصصة. إنه المسار حين تريد التحقق بخفة والاحتفاظ بتحكم مباشر.

الثاني safetensors المدمجة. فدمج وتصدير أوزان 16 بت أو 8 بت أو FP8 أو 4 بت بواسطة Unsloth يتيح التشغيل على محركات عالية الإنتاجية مثل vLLM و SGLang، ويُربَط ذلك بحاويات الاستدلال للنماذج الكبيرة (LMI) في SageMaker AI، أو EKS، أو ECS. إنه مسار الخدمة الإنتاجية حيث تهمّ الإنتاجية والتوسع. تلخّص الصورة التالية هذا الفرع.

flowchart TB
    A["الضبط الدقيق أو التنزيل بواسطة Unsloth"] --> B{"اختيار بيئة تشغيل الخدمة"}
    B -->|"ملف واحد خفيف"| C["تصدير GGUF<br/>أوزان + مُرمِّز + بيانات وصفية"]
    B -->|"محرك عالي الإنتاجية"| D["تصدير safetensors مدمجة<br/>16 / 8 / FP8 / 4 بت"]
    C --> E["llama.cpp · Ollama · Unsloth"]
    D --> F["vLLM · SGLang"]
    E --> G["Amazon EC2<br/>أو حاوية SageMaker مخصصة"]
    F --> H["حاوية SageMaker LMI<br/>أو EKS · ECS"]
    G --> I["التحقق من بيئة التشغيل على EC2"]
    H --> I
    I --> J["ترقية نفس تركيبة الملف+بيئة التشغيل<br/>إلى نشر مُدار"]

الإعداد والدمج

سير العمل الذي يعرضه الدليل من أربع خطوات. اضبط أو نزّل نموذجا في Unsloth، صدّره بالصيغة المطابقة لبيئة التشغيل المستهدفة، تحقق من بيئة التشغيل على EC2 أو محليا، ثم رقِّ نفس تركيبة الملف وبيئة التشغيل مباشرة إلى نشر مُدار. عبارة “نفس تركيبة الملف وبيئة التشغيل” مهمة هنا، لأنه إذا اختلفت الصيغة أو المحرك بين التحقق والإنتاج، يتسلل سلوك غير متوقع.

يتفرع التصدير من Unsloth بحسب بيئة التشغيل المستهدفة. مسار GGUF يبدو هكذا.

# تصدير GGUF (مسار llama.cpp / Ollama / EC2)
model.save_pretrained_gguf(
    "qwen-merged-gguf",
    tokenizer,
    quantization_method="q4_k_m",
)

مسار safetensors المدمجة يستهدف vLLM أو SGLang.

# تصدير safetensors مدمجة (مسار vLLM / SGLang / SageMaker LMI)
model.save_pretrained_merged(
    "qwen-merged-16bit",
    tokenizer,
    save_method="merged_16bit",  # أو merged_4bit، إلخ
)

يمكن التحقق من خدمة النموذج المدمج المصدَّر مباشرة بـ vLLM.

# التحقق من الخدمة على EC2 أو محليا
vllm serve ./qwen-merged-16bit --port 8000

للنشر المبني على الحاويات، توفر حاويات التعلم العميق من AWS (DLCs) بيئات Docker محسّنة عبر EC2 و EKS و ECS. وحاوية vLLM DLC على وجه الخصوص مضبوطة للاستدلال عالي الأداء وتدعم أصلا التوازي التنسوري وتوازي خطوط الأنابيب عبر عدة وحدات GPU وعقد. أي أن تكوينا تم التحقق منه على مثيل EC2 واحد يتدفق بسلاسة إلى حجيرة EKS تستخدم بيئة التشغيل نفسها للتوسع الأفقي.

الآثار على منتجات ThakiCloud

تتداخل خريطة النشر هذه مباشرة مع فلسفة تصميم ai-platform لدى ThakiCloud. يخدم ai-platform النماذج فوق Kubernetes وجدولة GPU المبنية على Kueue، والمبدأ الذي يذكره دليل AWS، وهو أن الصيغة تحدد بيئة التشغيل وبيئة التشغيل تحدد البنية التحتية، غير مقيّد بسحابة بعينها. فتقسيم GGUF للتحقق الخفيف والنشر الطرفي مقابل safetensors المدمجة للخدمة عالية الإنتاجية المبنية على vLLM ينطبق بالتساوي سواء كان EKS من AWS أو Kubernetes محلي. بل إن ThakiCloud، الذي لديه كثير من العملاء الذين يطلبون السحابة المحلية والسيادية، يستفيد أكثر من حيث قابلية النقل بتوحيد مسار النشر عبر صيغة الملف وبيئة التشغيل بدل الارتباط بخدمة مُدارة بعينها.

عمليا، يستطيع ai-platform الجمع بين التوازي التنسوري وتوازي خطوط الأنابيب اللذين توفرهما vLLM DLC وبين طابور Kueue للتشغيل متعدد المستأجرين. يمكنه اختيار تصدير بدقة مختلفة لكل عميل، مسندا نماذج 4 بت المدمجة للأحمال الحساسة للتكلفة و FP8 أو 16 بت للحساسة للجودة. وإذا استخدمت QAT من Unsloth لاستعادة الدقة حتى عند 4 بت، تتسع النقطة التي تربح فيها تكلفة خدمة منخفضة وجودة معا. هذا المطابقة الدقيقة بين الصيغة وبيئة التشغيل هي بالضبط خلفية منافسة ai-platform على تكلفة وحدة خدمة منخفضة.

وهذه الخدمة منخفضة التكلفة تغذّي بدورها اقتصاديات الوكلاء. Paxis، مستوى التحكم Agent-Native Cloud لدى ThakiCloud، يشغّل المهارات في صناديق رمل معزولة ويستدعي نماذج كبيرة مفتوحة الأوزان مرارا، فإذا كمّمت نموذج مجال مضبوطا بواسطة Unsloth ووضعته على ai-platform، أمكن لوكلاء Paxis استهلاكه بثمن زهيد. توحيد النشر المبني على الصيغة هو بحد ذاته البنية التي تخفض تكلفة وحدة أحمال عمل الوكلاء.

القيود والاعتراضات

كخريطة نشر، هذا الدليل واضح، لكن ثمة تحفظات. أولا، تتفاوت الجودة والإنتاجية الفعليتان كثيرا بحسب تركيبة طريقة التكميم وبيئة التشغيل. كم تحتفظ نماذج 4 بت المدمجة بالدقة على vLLM، أو هل يعطي التوازي التنسوري توسعا خطيا فعلا على نموذج بعينه، يجب قياسه مباشرة على النموذج والعتاد المستهدفين؛ فعموميات الدليل وحدها لا تخبرك.

ثانيا، تأتي ملاءمة الخدمات المُدارة بثمن هو التكلفة والارتباط. حاويات SageMaker LMI تخفّض العبء التشغيلي، لكن في البيئات ذات المتطلبات المحلية القوية، قد يكون تشغيل بيئة التشغيل نفسها بنفسك على EKS أو Kubernetes الخاص بك أفضل للتحكم والتكلفة. كون دليل AWS خريطة جيدة أمر منفصل عن الحكم بنقل تلك الخريطة إلى بنيتك التحتية، وهو قرار كل فريق بنفسه.

ثالثا، كما أُشير أعلاه، هذا المقال تحليل بنيوي دون إعادة إنتاج محلية. قبل التبني الفعلي، يجب تصدير النموذج المستهدف بواسطة Unsloth وخدمته على vLLM وتأكيد زمن الاستجابة والإنتاجية والدقة لكل صيغة عبر قياساتك الخاصة.

المصادر

• AWS Machine Learning Blog, “Deploying quantized models on Amazon SageMaker AI with Unsloth”: https://aws.amazon.com/blogs/machine-learning/deploying-quantized-models-on-amazon-sagemaker-ai-with-unsloth/
• Unsloth Documentation: https://unsloth.ai/docs
• AWS, “Deploy LLMs on Amazon EKS using vLLM Deep Learning Containers”

لكن هذه الخريطة لا تجيب عن سؤال واحد: من يفوز، ومن يستحوذ على الهامش. جواب هذا السؤال ليس فوق النموذج، بل أسفله. على أي رقاقة يعمل، وكيف يُقدَّم، وبماذا يُقيَّم ويُراقَب، وبأي ترخيص صدر، وما هي الأداة المنتجة التي تلفّه. هذه الطبقات الخمس هي ساحة المعركة الحقيقية. يرسم هذا المقال خريطة للطبقات الخمس التي تتجاهلها خريطة سرد النماذج، بالاستناد إلى بيانات حقيقية من منتصف 2026، ويشير إلى أن ثلاثاً من هذه الطبقات الخمس تقف بالضبط حيث تقف منصتنا.

خريطة النماذج تُظهر فقط ما هو موجود. من بين الطبقات الخمس أسفلها، رقائق الاستدلال واقتصاديات التقديم والتقييم والمراقبة هي الطبقات التي تحدد الهامش والمعركة، وهي بالضبط حيث تقف ThakiCloud. أما الترخيص والأداة فيحددان من سيبني خندقاً دفاعياً فوقهما.

الطبقة الأولى: رقائق الاستدلال أصبحت ساحة معركة مستقلة

بمعزل عن جودة النموذج، أصبح “كم رمزاً سريعاً بكم تكلفة رخيصة” محوراً تنافسياً بحد ذاته. تقول Cerebras إنها تشغّل نموذج Kimi K2.6 بحجم تريليون معامل بمعدل 981 رمزاً في الثانية، وشركة Devin التابعة لـ Cognition عميل فعلي لديها. عند 981 رمزاً في الثانية، ينخفض زمن انتظار مهمة وكيل تستدعي نموذج لغوي 200 مرة من خمس ساعات ونصف إلى عشر دقائق. نموذج البرمجة الخاص بـ Windsurf يعمل أيضاً على Cerebras. أما Groq فتدفع النماذج الصغيرة بمئات الرموز في الثانية عبر معالج LPU، وتقدّم Llama 3.1 8B بسعر شبه أدنى يبلغ 0.05 دولار لكل مليون رمز. وجمعت SambaNova مليار دولار بتقييم 11 مليار دولار في 8 يوليو، وضمّت JPMorgan وأرامكو وSoftBank كعملاء.

المحور الجيوسياسي المهم هنا هو هواوي. صُمم DeepSeek V4 منذ البداية للتدريب والتقديم على سلسلة Huawei Ascend 950. هذا ليس نقلاً، بل تصميماً مشتركاً. يعني هذا أن مساراً قد انفتح لتشغيل نماذج بمستوى الطليعة دون Nvidia، وهو ما يفتح مجالاً لخفض التكلفة بمعزل عن ضوابط التصدير أو إمدادات وحدات معالجة الرسوميات. مع ذلك، فإن الأرقام المتداولة هنا، “خفض السعر 75 بالمئة، أي واحد من خمسين من تكلفة Anthropic”، هي ادعاءات من المورّد نقلتها وسائل إعلام صينية ولم يتحقق منها طرف ثالث، لذا من الأسلم قراءتها كاتجاه لا كحقيقة مؤكدة.

جوهر الأمر هو هذا: تختار Cognition وJPMorgan وSoftBank الرقائق بمعزل عن أي نموذج يعمل عليها. من يملك رموزاً رخيصة وسريعة يستحوذ على الهامش أياً كان النموذج الفائز. هذه الطبقة غائبة تماماً عن أي لوحة تصنيف للنماذج.

الطبقة الثانية: اقتصاديات التقديم، حيث يعيش الهامش فعلياً

كيفية تقديم النموذج هي ما يحدد اقتصادياته الوحدوية. اعتباراً من منتصف 2026، في مكدس التقديم المفتوح، يُعد vLLM الخيار الافتراضي الأوسع دعماً للأجهزة، ولدى SGLang قياسات تُظهر تفوّقه على vLLM بنحو 29 بالمئة في أحمال عمل الوكلاء والمحادثات متعددة الأدوار وRAG بفضل تقنية RadixAttention للتخزين المؤقت للبادئات، بينما TensorRT-LLM هو الأسرع بعد التصريف لكنه حصري لـ Nvidia وتكلفة إعداده مرتفعة.

توجد الآن تقنيات أصبحت معياراً. فصل مرحلتي التعبئة المسبقة وفك الترميز (PD disaggregation) دخل إلى vLLM وNvidia Dynamo عبر NIXL، وLMCache يلغي إعادة الحساب بين العُقد عبر مخزن KV خارجي، وأصبح التجميع المستمر افتراضاً أساسياً في جميع المحركات، كما يتطور فك الترميز التخميني بسرعة. ولإعطاء إحساس بالحجم، فإن الإعداد غير المتجانس الذي يمزج التعبئة المسبقة على H100 مع فك الترميز على H200 يكلّف نحو 44 بالمئة أكثر في الساعة مقارنة بالتموضع المشترك، لكنه يضاعف الإنتاجية تقريباً، ما يخفض تكلفة كل رمز بشكل ملموس. يقلّص LMCache زمن الوصول إلى أول رمز بمقدار 1.5 إلى 1.8 مرة. لا يوجد رقم نهائي واحد مؤكد، لكن قاعدة عامة جيدة هي أن مكدس تقديم مُحسَّن يقدّم تحسناً بنحو 1.5 إلى 2 مرة أو أكثر في التكلفة والإنتاجية مقارنة بالتقديم الساذج.

هذه الطبقة لا تظهر أبداً في لوحة تصنيف الذكاء القياسية. لكن الاقتصاديات الوحدوية الفعلية لمنتج الذكاء الاصطناعي تُحسم هنا بالضبط، لا في جودة النموذج.

الطبقة الثالثة: التقييم والمراقبة، الأرضية التي تجعل التنسيق ممكناً

الحديث عن توجيه نماذج متعددة حسب المهمة يتكرر باستمرار. لكن لتشغيل ذلك فعلياً، لا بد من طبقة تقييم ومراقبة. القرار بإرسال طلب إلى DeepSeek ثم التحويل إلى GLM ثم التوجيه إلى Kimi، ومعرفة على أي أساس يُتخذ القرار وكيف تُكتشف الانتكاسات، هذا هو عمل هذه الطبقة. بدون هذه الطبقة، لا يوجد التنسيق إلا في الكلام.

نضج السوق إلى LangSmith وArize وBraintrust بتقييم 800 مليون دولار، دون وجود فائز وحيد. وعلى صعيد التوحيد القياسي، تخرّجت OpenTelemetry من CNCF في مايو وأصبحت الأساس الافتراضي للمراقبة العامة، وتُعرّف اتفاقيات GenAI الدلالية الخاصة بها امتدادات (spans) للوكلاء والأدوات والنماذج. مع ذلك، فإن المواصفة الخاصة بـ GenAI ما زالت قيد التطوير ولم تُعتمد رسمياً بعد، لذا لن نبالغ في القول إن المعيار قد استقر تماماً. الاتجاه واضح، لكنه ما يزال قيد التقدم. النقطة الجوهرية هي أن طبقة التقييم والمراقبة هذه تترسخ كسوق مستقلة بمعزل عن أي نموذج يفوز.

الطبقة الرابعة: الترخيص يحدد من سيبني الخندق الدفاعي فوقه

خلف كلمة واحدة هي “الأوزان المفتوحة” تختبئ حقوق مختلفة تماماً. وهذا الفارق هو ما يحدد من يمكنه بناء عمل تجاري فوق ذلك النموذج.

النماذج التي صدرت بترخيص MIT الخالص، مثل DeepSeek وGLM، تُحوّل طبقة الأساس فعلياً إلى سلعة عامة، وتمنح زمام المبادرة لمن يقوم بالضبط الدقيق أو التغليف فوقها. في المقابل، يبدو ترخيص Llama المجتمعي منفتحاً لكنه أقرب إلى أداة تحكم، إذ يحمل سقف 700 مليون مستخدم نشط شهرياً وبنداً يحظر تدريب نماذج منافسة. والترخيص أيضاً ليس ثابتاً. في 2026، تراجعت MiniMax عن ترخيص MIT المفتوح بالكامل إلى ترخيص Modified-MIT يشترط موافقة كتابية للنشر التجاري، وهي حادثة أظهرت أن شروط الانفتاح يمكن سحبها في أي وقت. أي شركة تخطط لبناء نموذجها الخاص يجب أن تقرأ بنود هذا الترخيص قبل أن تقرأ معايير الأداء.

الطبقة الخامسة: الخندق الدفاعي ليس في الأوزان، بل في الأداة

كلما تقاربت النماذج الطليعية في الأداء الخام، انتقل الخندق الدفاعي المستدام من أوزان النموذج إلى الأداة المنتجة التي تلفّه. أن التكامل مع بيئة التطوير، وتنسيق الأدوات، وحلقات المهام، وتدفقات المراجعة وطلبات السحب أصبحت المتغير الأكبر الوحيد في جودة الوكيل هو القاسم المشترك في خطاب 2026. تدرّب نموذج Cursor على تريليونات الرموز من تفاعلات المستخدمين الفعلية فوق قواعد شيفرة حقيقية، وهذه البيانات ببساطة غير موجودة لدى مختبر نموذج مستقل لا يملك أداة. تقول Cognition إن معدل دمج طلبات السحب لدى Devin ارتفع من 34 بالمئة إلى 67 بالمئة خلال عام، وهذا رقم ينبغي أخذه مع تحفظ أنه ذاتي التبليغ وغير مُتحقق منه من طرف مستقل.

الآلية هي كالتالي: سجلات التفاعل الحصرية، مثل سجل قبول ورفض التعديلات، وحالة إنجاز المهام، وتصحيحات البشر، تصبح إشارة المكافأة للتعلم المعزز المستمر. مالك الأداة وحده يرى مسارات التفاعل الكاملة المُوسومة بالنتائج. أما المختبر الذي لا يملك أداة فيضطر إلى الاعتماد على بيانات اصطناعية أو مرخّصة، وهي إشارة أضعف بنيوياً. لذا ينبغي رسم خريطة المنافسة الحقيقية ليس حول درجات المعايير القياسية لهذا الربع، بل حول من يملك بيانات تفاعل المستخدمين والأداة. مع ذلك، لم يكشف أي مختبر بالضبط كيف تتراكم هذه الحلقة الذاتية، لذا فبينما يبدو الاتجاه مقنعاً، ينبغي التوضيح أن الآلية التفصيلية هي استدلال المحللين.

وجهة نظر ThakiCloud

ثلاث من هذه الطبقات الخمس تقف بالضبط حيث تقف منصتنا: استخدام رقائق الاستدلال في الطبقة الأولى، واقتصاديات التقديم في الطبقة الثانية، والتقييم والمراقبة في الطبقة الثالثة. تجدول ThakiCloud وحدات معالجة الرسوميات فوق Kubernetes وتشغّل الاستدلال الدُفعي، وتتعامل مع تقنيات تقديم مثل فصل PD وتفريغ ذاكرة KV المؤقتة. أما على جانب التدريب، فنقدّم عائلة التعلم المعزز الكاملة: SFT وCPT وDPO وGRPO وGKD. ما تصفه أطروحة خندق الأداة في الطبقة الخامسة، أي تشغيل التعلم المعزز داخلياً باستخدام بيانات الشركة نفسها كإشارة مكافأة والتقديم فوق بنية تحتية مملوكة، هو بالضبط المسار الذي ستسلكه شركات العملاء الراغبة في استيعاب الذكاء الاصطناعي داخلياً. والبنية التحتية للتقديم والتدريب التي تجعل ذلك المسار يعمل فعلياً هي ما نقدّمه.

ولنضع أيضاً أقوى حجة مضادة. الادعاء بأن طبقات المكدس هذه هي ساحة المعركة الحقيقية له حدود. إذا اتسعت فجوة جودة النموذج بما يكفي، فقد يصبح تحسين التقديم أو اختيار الرقائق مسألة ثانوية. أطروحة خندق الأداة وآلية الحلقة الذاتية للبيانات هي في معظمها سرد تحليلي وليست منهجية تحقّق منها مختبر ما ونشرها، بل حتى الأرقام الأساسية مثل معدل دمج طلبات Devin ذاتية التبليغ. وإذا جعلت حرب الأسعار في الفئة فائقة الرخص واجهات البرمجة رخيصة بما يكفي، فقد يضعف الحافز نفسه لتحمّل عبء التقديم والتدريب الخاص. في النهاية، يختلف الحكم من مؤسسة لأخرى. ما نبيعه ليس فرض إجابة، بل الهيكل الذي يجعل الأمر ممكناً حين تقرر الشركة السيطرة على هذه الطبقات بنفسها.

الخريطة التي تسرد النماذج ستظل ضرورية دائماً. لكن هذه الخريطة وحدها لا يمكنها أن تخبرك من يفوز. المعركة تُحسم في الطبقات الخمس أسفل النموذج، ونحن نسعى إلى إعادة رسم تغيرات تلك الطبقات السفلى كل أسبوع.

المراجع

تم التحقق من تقنيات كل طبقة وبنود الترخيص من المصادر الأولية أدناه. استُثنيت من التحقق الأرقام ذاتية التبليغ من الموردين، وجولات التمويل العاجلة، والإعلانات الاستثمارية.

مكدس التقديم وتقنيات الاستدلال

• وثائق vLLM: محرك التقديم الافتراضي بتقنية PagedAttention والتجميع المستمر
• SGLang (GitHub) · ورقة RadixAttention (arXiv:2312.07104): تقنية التخزين المؤقت للبادئات التي ترفع إنتاجية المحادثات متعددة الأدوار وRAG
• NVIDIA TensorRT-LLM (GitHub): استدلال مُحسَّن قائم على التصريف، وفصل التعبئة المسبقة/فك الترميز، وفك الترميز التخميني
• NVIDIA Dynamo (GitHub): تنسيق فصل PD ونقل KV القائم على NIXL
• LMCache (GitHub): تفريغ ذاكرة KV المؤقتة الخارجية لإلغاء إعادة الحساب بين العُقد
• فك الترميز التخميني (arXiv:2211.17192): تقنية فك الترميز التخميني التي تُعيد تشكيل اقتصاديات التقديم

التقييم والمراقبة

• اتفاقيات OpenTelemetry الدلالية لـ GenAI: جهد التوحيد القياسي الذي يُعرّف امتدادات الوكلاء والأدوات والنماذج
• LangSmith · Arize · Braintrust: الأدوات الرائدة في طبقة التقييم والمراقبة

ترخيص الأوزان المفتوحة

• ترخيص Llama المجتمعي: يبدو منفتحاً لكنه ترخيص موجّه للتحكم يحمل سقف مستخدمين نشطين شهرياً وحظر تدريب نماذج منافسة
• ترخيص Apache 2.0 · ترخيص MIT: تراخيص إباحية تُحوّل طبقة الأساس فعلياً إلى سلعة عامة

تم التحقق من أسماء النماذج والأسعار والتراخيص وتوقيتات الإصدار في هذا المقال استناداً إلى مصادر عامة متاحة حتى 14 يوليو 2026. الأرقام ذاتية التبليغ من الموردين (سرعة الاستدلال، معدل دمج طلبات السحب، ادعاءات خفض التكلفة الخاصة بهواوي) والبنود غير المُتحقق منها من طرف ثالث موضّحة في متن المقال.

المشكلة: نجحت السلاسل مع النصوص، فهل تنجح مع الصور أيضًا؟

توجيه السلسلة (cascade routing)، حيث يعمل نموذج رخيص افتراضيًا وينتقل إلى نموذج مكلف فقط عندما تكون الثقة منخفضة، هو تقنية مُثبَتة بالفعل في خدمة نماذج اللغة الكبيرة النصية. يُعدّ FrugalGPT المثال الرائد، إذ أبلغ عن تخفيضات في التكلفة تصل إلى 98% مع الحفاظ على جودة مماثلة لاستخدام النموذج الأعلى أداءً فقط. والسؤال هو ما إذا كانت هذه الفكرة تنتقل مباشرة إلى التعرف الضوئي على المستندات. على عكس المطالبات النصية، تتفاوت صعوبة صور المستندات بشدة على طول ثلاثة محاور: جودة المسح، واللغة ونظام الكتابة، وتعقيد التخطيط. عتبة ثقة مضبوطة لتحقيق أمثلية التكلفة على فاتورة إنجليزية نظيفة يمكن أن تكون خاطئة تمامًا على مسح مشوَّه بلغة منخفضة الموارد، وهذا التباين هو نقطة انطلاق الورقة الأساسية.

المساهمة الأساسية: عتبة ثقة واحدة ترسم حدود باريتو بأكملها

تبني الورقة سلسلة من مرحلتين تتكوّن من نموذج رؤية ولغة رخيص (نموذج يقل عن مليار معامل من فئة PaddleOCR-VL) ونموذج رؤية ولغة كبير ومكلف، مُعامَل بعتبة ثقة واحدة τ. في هذا الهيكل، حيث لا يحدث التصعيد إلى النموذج المكلف إلا عندما تنخفض درجة ثقة النموذج الرخيص عن τ، تشتق الورقة معدل التصعيد والتكلفة المتوقعة ومعدل الخطأ المتوقع جميعها كدوال لـ τ. والمثير للاهتمام أن “استخدام النموذج الرخيص دائمًا” و”استخدام النموذج المكلف دائمًا”، اللذين غالبًا ما يعدّهما الممارسون خيارين منفصلين، ليسا في الواقع سوى الطرفين τ=0 وτ=1 لهذه العائلة أحادية المعامل نفسها.

رسم توضيحي مفاهيمي يُظهر كيف ترسم عتبة الثقة τ حدود باريتو بين السياسة الرخيصة دائمًا والسياسة المكلفة دائمًا. هذا المنحنى مُشتَقّ من النموذج التحليلي للورقة وليس من بيانات مقاسة، وقيم المعاملات توضيحية.

ما إذا كانت هذه الحدود ترسم منحنى محدَّبًا ناعمًا (concave) يعتمد على افتراض واحد فقط: أن درجة ثقة النموذج الرخيص قادرة على ترتيب مدى الفائدة التي سيجلبها التصعيد بشكل صحيح. تُظهر الورقة أنه عندما يتحقق هذا الافتراض، تأخذ الحدود الشكل المحدَّب نفسه المُثبَت بالفعل لسلاسل نماذج اللغة الكبيرة النصية، لكنها تشير أيضًا إلى أن هذا الافتراض هو بالضبط الافتراض الأكثر عرضة للانهيار في الحالات التي تكون فيها السلسلة أكثر جاذبية. تدفع أنظمة الكتابة منخفضة الموارد النموذج إلى إنتاج إجابات خاطئة بثقة، وتُختزَل الثقة الإدراكية والثقة الاستدلالية في قيمة عددية واحدة، وتفشل الثقة على مستوى الحرف تمامًا في اكتشاف الأخطاء البنيوية الناتجة عن الجداول أو التخطيطات المنهارة، وتنحرف العتبة المضبوطة على نوع مستند واحد بمجرد نقلها إلى نوع آخر.

تنتظم هذه الأنماط الأربعة في أربعة أنماط فشل متمايزة، ومن بينها، الذي تصفه الورقة بالأخطر ليس “ثقة منخفضة لكن صحيحة” بل “ثقة عالية لكن خاطئة”. عندما يواجه النموذج الرخيص نظام كتابة غير مألوف وينتج نتيجة معقولة وسلسة لكنها خاطئة بثقة عالية، لا يُصعَّد ذلك المستند أبدًا. تعتقد السلسلة أنها تعاملت مع هذا المستند بشكل جيد، بينما هي في الواقع تحمل بصمت أسوأ أنواع الأخطاء.

رسم توضيحي مفاهيمي يُظهر كيف يتفاوت معدل المخرجات ذات الثقة العالية لكن الخاطئة من النموذج الرخيص حسب متغيرات المستند المصاحبة. هذه ليست بيانات مقاسة بل قيمة مُشتَقّة من نتائج مُبلَّغ عنها في أدبيات سابقة مُستشهَد بها.

لا تتوقف الورقة عند هذا الحد. فهي تتناول أيضًا الاتجاه الذي تنزاح فيه حدود التكلفة مقابل الدقة نفسها مع انتقال مجتمع المستندات من الفواتير الإنجليزية النظيفة نحو أنظمة الكتابة منخفضة الموارد، والمسحات المتدهورة، والتخطيطات المعقدة. مع تدهور جودة المسح، يرتفع معدل خطأ النموذج الرخيص، مما يوسّع المجال الذي يمكن للسلسلة استغلاله، لكن في الوقت نفسه هناك خطر أن تتداخل المنطقة التي تتركّز فيها الأخطاء مع المنطقة التي تصبح فيها تنبؤات ثقة النموذج نفسها غير مستقرة. على محور اللغة ونظام الكتابة، تستشهد الورقة بما أبلغ عنه معيار GlotOCR من أن معظم نماذج الرؤية واللغة تعمل جيدًا فقط على أقل من عشرة أنظمة كتابة، وأن حتى أفضل نموذج ينهار بعد تجاوز ثلاثين نظام كتابة، وأن الهلوسة تزداد أيضًا مع اللغات منخفضة الموارد. على محور تعقيد التخطيط، تستشهد بأبحاث سابقة تُظهر أنه حتى مع دقة عالية على مستوى الحرف، يمكن أن يكون المستند بأكمله خاطئًا بسبب عناصر بنيوية مثل الجداول وترتيب القراءة والعلامات المائية.

رسم توضيحي مفاهيمي يُظهر كيف تنزاح حدود باريتو للتكلفة مقابل الدقة مع انتقال مجتمع المستندات من الفواتير الإنجليزية النظيفة نحو أنظمة الكتابة منخفضة الموارد، والمسحات الضعيفة الجودة، والتخطيطات المعقدة. هذه نتيجة مُشتَقّة من النموذج التحليلي وليست بيانات مقاسة.

بناءً على هذا التحليل، تقدّم الورقة إرشادات تصميم واضحة. لا تستخدم عتبة عامة واحدة عبر جميع المستندات، بل عايِر العتبات بشكل منفصل، ولو بشكل تقريبي على الأقل، حسب نظام الكتابة وجودة المسح. صمّم بوابة الثقة كنظام متعدد الإشارات ينظر إلى الثقة البصرية والإشارات البنيوية معًا بدلاً من احتمالية فك ترميز واحدة. وفي المناطق التي يتذبذب فيها كل من النموذج الرخيص والمكلف معًا، مثل أكثر أنظمة الكتابة منخفضة الموارد، فإن الخيار الصادق هو تجاوز السلسلة كليًا وإما تصعيد كل شيء أو توجيهه إلى مراجعة بشرية.

المساهمة في الشركة والمجتمع والعلم

تستخدم أحمال عمل تحليل المستندات في منصة ThakiCloud للذكاء الاصطناعي بالفعل نماذج من فئة PaddleOCR-VL كمسار افتراضي. يوفّر نموذج عتبة الثقة الذي تبنيه هذه الورقة لتلك الأحمال مساحة تصميم لسياسة توجيه قائمة على مبادئ، بدلاً من الثنائية بين “الرخيص دائمًا” و”المكلف دائمًا”. اجتماعيًا، فإن المؤسسات والأفراد الذين يتعاملون بشكل أساسي مع مستندات بلغات منخفضة الموارد أو مسحات ضعيفة الجودة هم بالضبط من ينبغي أن يتمكّنوا من الوصول إلى أتمتة دقيقة للمستندات دون تكلفة استدعاء نموذج رؤية ولغة كبير باستمرار، وهذه الورقة تُحدّد كميًا التناقض القائل بأن هذه الفئة بالتحديد هي حيث تكون إشارة ثقة السلسلة الأكثر عرضة للانهيار. بعبارة أخرى، تُظهر بوضوح النقطة التي تصبح فيها تقنية لخفض التكلفة أقل موثوقية بالنسبة لفئة المستخدمين الأكثر احتياجًا إليها. علميًا، توسّع الورقة أدبيات تحسين تكلفة السلاسل والتوجيه من طراز FrugalGPT، المُثبَتة بالفعل في مجال نماذج اللغة الكبيرة النصية، لتشمل مجال نماذج الرؤية واللغة متعددة الوسائط والتعرف الضوئي على المستندات، وتُقدّم الأدبيات الحالية خطوة إلى الأمام من خلال ترك تصنيف منظّم لأنماط الفشل يوضّح بالتحديد تحت أي ظروف (نظام الكتابة، جودة المسح، التخطيط) ينهار معايرة الثقة.

القيود

كما تذكر الورقة نفسها، فإن هذا بحث تحليلي يتبنّى موقفًا معينًا، وليس بحثًا تجريبيًا. كان المؤلفون يخططون لتنفيذ السلسلة فعليًا وقياسها، لكن ذلك التنفيذ فشل في مرحلة تجهيز البنية التحتية، ونتيجة لذلك لا يظهر في الورقة أي رقم دقة أو زمن استجابة أو تكلفة أو معيار قياسي قاسه المؤلفون بأنفسهم. كل ادعاء كمّي في الورقة هو أحد أمرين: خاصية مُشتَقّة رياضيًا من النموذج التحليلي، أو نتيجة منقولة مباشرة من أبحاث سابقة مُستشهَد بها. يُدرج المؤلفون أنفسهم بالتفصيل ما يجب أن تقيسه الأبحاث اللاحقة بالضرورة. يجب رسم منحنى معايرة بين ثقة النموذج الرخيص والصحة الفعلية، عبر مجموعات مستندات مقسَّمة حسب جودة المسح واللغة والتخطيط؛ ويجب التحقق مما إذا كانت نقاط التكلفة والخطأ الفعلية التي يتم الوصول إليها عند عتبات مختلفة تتبع الحدود المحدَّبة التي تتنبأ بها الورقة أم تنهار بدلاً من ذلك؛ كما يجب تحديد مقدار الانحراف الذي تُظهره عتبة مضبوطة على مجتمع مستندات واحد عند نقلها إلى مجتمع آخر. كذلك، تتناول الورقة فقط سلسلة من مرحلتين تستخدم عتبة عددية واحدة، ولا تتناول شكل الحدود بالنسبة للسلاسل متعددة المراحل، أو الموجّهات المتعلَّمة، أو التصاميم القائمة على التجميع (clustering).

يمكن الاطلاع على صفحة تفاصيل الورقة عبر الرابط التالي: https://huggingface.co/datasets/thaki-AI/daily-paper-2026-07-14-confidence-gated-ocr-vlm-cascade

The quietest story in this morning’s digest was an exclusive report about the Korea Federation of Banks. The short version: the federation has put out a tender for a consulting project to build an AI adoption strategy. What is interesting is what that project will actually produce. It is not attaching a new model, and it is not deploying a chatbot. It is analyzing work characteristics to uncover tasks, comparing and evaluating domestic sovereign AI against global big tech AI and specialized solution AI, and building a phased adoption roadmap. The contract runs three months, and the federation will select its preferred bidder within the month.

This raises a question. If capability were the problem, the market already overflows with powerful models. So why does a bank draw up a sequence first instead of buying a model first? Holding on to this question and rereading today’s news as a whole, you can see that different companies are actually saying the same thing. The battleground for AI adoption has shifted from how smart a system is to how much you can control it.

Money Still Flows to Hardware

Of course, the flow of capital is still headed toward silicon. Just today, Hanmi Semiconductor posted its largest quarterly result since founding, with second quarter operating profit of 130.3 billion won, up 51 percent year over year, driven by demand for HBM4 front end process equipment. The three memory makers plan to more than double HBM production this year, and demand is still outrunning supply, so they have already signaled price increases for next year. SK Hynix has started placing equipment orders for its Yongin Y1 fab. Chairman Chey Tae Won described this not as a cycle but as the evolution of an industry.

But the fact that money flows to hardware does not mean the bottleneck is in hardware too. However fast a chip is, if no one has decided what work it is allowed to do and how far it is allowed to go, a regulated industry cannot take a single step. This is why what the Bank Federation bought was not performance, it was a standard.

Regulated Industries Buy Sequence Before Capability

It is worth noting that the Bank Federation’s roadmap is emerging at the level of an industry association, not a single bank. The adoption sequence and model evaluation criteria the federation sets will become the de facto standard for its member banks. In other words, it is not one institution but the entire industry that will bring in AI using the same grammar. Financial regulators have just carved out an exception in network separation rules to open a path for using cloud based services even inside internal networks, so this grammar is likely to take hold even faster.

A move of the same kind appeared in the public sector as well. A KT and Naver Cloud consortium was selected as the preferred bidder for the National Information Resources Service’s innovation ISP project. The essence of this project is also classification, not new features. It involves sorting through 693 public information systems at the Daejeon headquarters, deciding, based on N2SF grade, importance, cost effectiveness, and stability, which ones stay in public data centers and which move to private cloud. It is a follow up measure to the national system operating framework that was redesigned after the September 2024 fire at the Daejeon center.

What both cases say is clear. In regulated industries, the first step of adoption is not deployment, it is grading. Deciding what can be entrusted, and how far, comes before deciding what to do first. Capability is the next problem.

This caution stands in sharp contrast to the pace of the general public. On the very same day, ChatGPT was named the country’s top app by first half user growth and earned the nickname “the nation’s app,” while SK Telecom’s proprietary model team, Dokpamo, was joined by SK AX and Technomatrix, speeding up manufacturing and public sector pilots. Upbit rolled out a beta backtesting tool that lets users converse with AI to validate trading strategies. Individuals and domain specific services are racing ahead like this, while banks and the public sector slow down instead to draw up a sequence. This difference in temperature is no accident. The more an organization has to lose, the more slowly it turns the dial of autonomy.

Autonomy Is Not a Switch, It Is a Dial

So what does the frontier of autonomy look like? SAP Korea unveiled its autonomous enterprise blueprint in Seoul today. The picture is one where AI agents are embedded in processes and data, sensing, judging, and executing on their own. Its conversational assistant Joule is deployed across more than 50 instances spanning finance, procurement, supply chain, HR, and customer facing areas, and each assistant coordinates more than 200 specialized agents beneath it to carry out narrow, precise tasks. Samsung Electro Mechanics was cited as a case that cut system downtime from 144 hours to 34 hours, a 76 percent reduction, during this transition, without stopping its manufacturing lines.

What stands out is that one of the four pillars SAP presented is governance, built in from the start. Even the company painting the most autonomous picture is selling autonomy and control as a single bundle. This is the crux of it. Autonomy is not a switch you flip on or off. It is a dial you turn in stages, deciding which tasks, under whose approval, and how far an agent may handle on its own. Delegating sensitive processes like finance, HR, and supply chain requires compliance with the Personal Information Protection Act and the Electronic Financial Transactions Act, and above all, audit traceability, as preconditions. How well an organization designs the relationship between Korea’s distinctive multi step approval culture and an agent’s autonomous execution will decide whether adoption succeeds.

Why Pouring in Money Does Not Produce a Strategy

Evidence pointing the other way also surfaced today. KT announced it will invest 18 trillion won in telecom and AI over the next five years. Of that, 12 trillion won will go toward strengthening its existing telecom business over three years, and 6 trillion won will go into infrastructure such as AI data centers and submarine cables over five years. Yet the market’s assessment is cold. The critique is that KT’s own model and agent competitiveness have actually fallen behind, and that it also came up short in the government’s sovereign AI foundation model project. Pouring in enormous capital did not automatically produce a transformation into an AX platform company.

This contrast reveals the skeleton of today’s news. The opposite of capability is not incompetence, it is control, and the opposite of spending is not saving, it is design. Money spent on infrastructure does not become a strategy unless it is translated, at the execution layer, into controlled autonomy. The reason the Bank Federation draws up a roadmap first, and the National Information Resources Service assigns grades first, is that they know how hard this translation is.

Sovereignty Is Not About Where You Keep It, It Is About What You Prove

The final piece rewrites the definition of sovereignty. Software from the domestic AI infrastructure company Moreh, built for heterogeneous hardware, was selected as an innovation case at the AI for Good Global Summit, hosted by the International Telecommunication Union under the United Nations. This software pools accelerators from different makers, not just Nvidia but also AMD and Tenstorrent, and operates them as a single resource. What the ITU evaluated was not a performance number, it was the contribution toward turning a closed ecosystem locked to specific hardware into an open, sustainable structure.

If you understand sovereignty only as a question of location, keeping data within a country’s borders, you are seeing half the picture. True sovereignty is also a matter of proving that you are not locked into a specific vendor. This is the background behind an international organization certifying an openness where operations do not falter no matter which accelerator you run on or which model you choose. The control that regulated industries want ultimately rests on this same provability.

So We Built the Dial

If you tie today’s news into a single line, it reads like this: regulated industries buy control before capability, proof before location, and sequence before deployment. Paxis, ThakiCloud’s Agent-Native Cloud, is a shipping product designed precisely to treat these requirements as first class resources, and it formally launched as v1.1 last month.

Tasks first pass through a policy gate, and the autonomy dial is turned up from L0 to L3 only as far as trust has accumulated. Execution happens inside an isolated sandbox, every step is recorded in an audit log, and all of this runs inside a sovereign, on premises Kubernetes boundary. CostRouter picks the optimal model for each task without being locked into any single vendor.

In Paxis, the Skills and Tools an agent works with are each encapsulated as independent modules, with Policies and Audit Logs sitting alongside them. That means the control a bank demands even before a roadmap, deciding what to entrust and how far, and the traceability that lets you retrace execution afterward, are not add on features but part of the skeleton. Autonomy is divided into stages from L0 to L3. This is the dial described earlier, implemented as an actual runtime concept. You can start at a stage where a person approves every action, then turn the dial up only for tasks that have earned trust.

Sensitive tasks run inside an isolated sandbox, limiting the blast radius of an incident from the outset. A structure that keeps the fallout of anything going wrong from crossing the isolation boundary is, alongside the audit log, one of the first items regulated industries check before adoption. Where sovereignty and on premises operation are required, GPU resources and model serving are run in isolation on top of the Kubernetes based ai-platform. Systems with grades too high to send outside, like those at the National Information Resources Service, and the financial sector with its strict network separation requirements, are exactly the fit here. The homework the Bank Federation ordered, comparing and evaluating models, carries directly into CostRouter’s runtime policy of picking the optimal model for each task. This is the point where openness that is not locked to any single model meets the provability of sovereignty.

Right now, while SAP paints a picture of the autonomous enterprise and banks think through the order in which to bring that picture in, the missing piece is usually not a stronger model. It is an execution layer that can safely run controlled autonomy. For an organization that would rather turn a dial carefully than flip one more switch, knowing that the dial, knob and all, is already built and waiting will move the starting line a little closer.

References

The regulatory and standards background behind this article was confirmed against the primary sources below. Same day domestic news items mentioned in the body (individual company earnings, tenders, announcements) are breaking news material and are not linked separately.

• Framework Act on the Development of Artificial Intelligence and Establishment of Trust (AI Framework Act), Korea Law Information Center: the basis for regulatory response, effective January 2026
• Personal Information Protection Act, Korea Law Information Center: the data protection precondition for delegating sensitive processes
• Electronic Financial Transactions Act, Korea Law Information Center: the control and approval framework distinctive to the banking sector
• Model Context Protocol (MCP): the open standard that treats an agent’s tool calls as a first class control plane
• ITU AI for Good Global Summit: the international body context showing that AI adoption in regulated industries passes through governance and standards, not capability
• EU Artificial Intelligence Act (Regulation (EU) 2024/1689), EUR-Lex: a cross jurisdictional example that codifies autonomy into staged risk grades
• NIST AI Risk Management Framework: a regulatory precedent that establishes a governance framework before capability

Overview

Any team that has served a large open-weight model locally knows the first wall is always size. A model like GLM-5.2, with more than 700 billion parameters, approaches 1.4 terabytes in raw BF16, and fitting it across several GPUs makes VRAM the direct cost. The answer to this problem has almost always been quantization: dropping 16 bits to 8, to 4, even to 2, trading a bit of quality along the way.

This post is written for engineering leaders who own inference cost, practitioners deploying models on premises, and data scientists in regulated environments who cannot lose a single bit of precision. Recently a researcher named brianbell-x published that they had deleted 423GB from GLM-5.2. 1403GB became 980GB, and the striking part was that the method was not quantization. It was not pruning or distillation either, but lossless compression that reconstructs the original bit for bit when decompressed. If something is lossless yet shrinks by 30 percent, it means the original format was wasting exactly that much.

Rather than take the claim on faith, we decided to verify it directly. We opened 490 million actual trained weights of Qwen2.5-0.5B and measured the entropy of the BF16 exponent field, confirming that the 8 allocated bits carry only 2.64 bits of real information. The theoretical lossless bound came out to 33.5 percent, which lined up almost exactly with the 30.17 percent the original author achieved with a real codec. This post covers that measurement and explains why the saving happens not only on disk but in VRAM.

What the technique is

First we need to see how BF16 stores a single number. BF16 (brain floating point 16) divides 16 bits into three parts: 1 sign bit, 8 exponent bits, and 7 mantissa bits. The exponent gets a full 8 bits because BF16 is designed to keep the same wide dynamic range as FP32, so it can represent very large or very small values.

The problem is that the weights of a trained model barely use that wide range. In a well-trained neural network, most weights cluster around small values near zero. As a result the exponent field bunches around a handful of values, and out of the 256 possibilities that 8 bits can express, only a small fraction actually appear. That is where the waste lives: 8 bits are allocated, but the actual information carried is far less.

The idea of lossless compression is simple. Entropy-code the low-information exponent field into a short representation, and leave the near-incompressible 8 bits of sign and mantissa alone. The original author’s implementation combines sign and exponent into a 4-bit code that points into a lookup table of the 15 most common exponent combinations. Rare values not in the table are stored separately in full form. The process is summarized below.

flowchart TB
    A["Trained BF16 weight<br/>16 bit = sign 1 + exponent 8 + mantissa 7"] --> B["Analyze exponent field<br/>only a few of 256 values appear"]
    B --> C["Measure exponent entropy<br/>8 bit allocation -> ~2.64 bit"]
    C --> D["Replace sign+exponent with a 4-bit code<br/>15 most common combos -> lookup table"]
    D --> E["Keep the 7-bit mantissa intact<br/>bit-for-bit lossless"]
    E --> F["Store rare exponents in full form<br/>keep fixed-width addressing"]
    F --> G["Compressed weight<br/>~10.6 bit per weight (~33% saved)"]

This approach is fundamentally different from quantization. Quantization truncates the mantissa or rounds values, actually discarding precision. Lossless compression discards nothing. It simply rewrites the same information in a shorter code, so decompression restores the original weights without a single bit of error. Recent work like DFloat11 and ZipNN belongs to the same family. ZipNN reported that the BF16 exponent field of trained LLM weights holds only about 2.6 bits of Shannon entropy within its 8-bit allocation. What we wanted to know was whether that number reproduces on a real model.

Measuring exponent entropy ourselves

To verify, we opened one real trained BF16 model in an isolated workspace. The target was Qwen2.5-0.5B, a real deployed model with 490 million weights. We parsed the binary layout of the safetensors file directly, read each BF16 tensor as 16-bit integers, extracted the 8 bits of the exponent, and computed the value distribution and Shannon entropy. We used no framework estimate, only the numbers from the actual tensor bytes.

The core measurement code, the part that views a BF16 value as a 16-bit integer and slices out the exponent field, is below.

import numpy as np

def bf16_exponent_bytes(raw: np.ndarray) -> np.ndarray:
    # raw = BF16 values viewed as uint16. Exponent = bits 14..7 (8 bits)
    return ((raw >> 7) & 0xFF).astype(np.uint8)

# Parse the safetensors header, read BF16 tensors as uint16, and compute the
# Shannon entropy from the frequency of exponent values.

The result was more dramatic than expected. Here is what a sweep across 290 BF16 tensors totaling 494 million weights showed.

The exponent field can express 256 values, but only 38 actually appeared, and the top 3 of those covered 72 percent of all weights. The Shannon entropy was 2.6386 bits, matching ZipNN’s reported ~2.6 bits almost exactly. In other words, the 8-bit exponent field was carrying only 2.64 bits of information, and the remaining 5.36 bits were pure waste.

Removing that waste losslessly drops bits per weight from 16 to 10.64, keeping the 8 bits of sign and mantissa intact while compressing the exponent to its entropy bound. As a saving, that is 33.5 percent.

Projecting this 33.5 percent onto GLM-5.2 (753B) scale, 1403GB becomes about 933GB. The value the original author achieved with a real codec was 980GB, a 30.17 percent saving. The roughly 3 percentage point gap between our theoretical bound (33.5 percent) and the actual implementation (30.17 percent) is no accident. Real entropy coders do not fully reach the Shannon bound, rare exponent values must be stored in full form, and codes must be fixed-width to allow random access on the GPU, all of which add slight overhead. That theory and implementation landed this close is strong evidence that the original claim is true and the approach is sound.

Why VRAM shrinks too, on the GPU

Here is the most easily misunderstood point. Most compression only shrinks on disk and returns to full size the moment the model is loaded onto the GPU, because it has to be decompressed to compute. Yet this lossless compression’s 30 percent is a VRAM number, not a disk number. That is what makes this technique different from ordinary file compression.

The trick is in the fixed-width codes. Because every weight’s compressed code is the same width, you can compute exactly where weight N lives without decompressing. No separate unpacking pass and no second copy in the original format are needed. The GPU kernel reads the compressed bytes directly and looks each code up in a tiny table held in registers while performing the multiply. The full 16-bit form never exists in VRAM. That is why the 30 percent shows up in actual memory footprint, not just on disk.

The practical implication is large. Serving a 1403GB model requires at least 18 of the 80GB H100 cards. With lossless compression bringing it to 980GB, that drops to around 13. You save five GPUs without losing a single bit of quality. If quantization was a trade of quality for memory, this technique is closer to a free lunch. Of course it is not entirely free, and we cover the cost below.

Implications for ThakiCloud products

This technique is especially attractive from the perspective of ThakiCloud’s ai-platform. The ai-platform is infrastructure that serves models to diverse customer environments on top of Kubernetes and Kueue-based GPU scheduling. Many domestic customers require on-premises and sovereign cloud, and in those environments every single GPU is capital expenditure and procurement lead time. Lossless compression reduces the required GPU count without sacrificing any precision, making it an easier card to pitch than quantization to quality-sensitive regulated customers. In finance or healthcare, where reproducibility of model output becomes subject to audit, bit-for-bit identity can itself be a requirement.

The effect is largest in multi-tenant setups serving large models with vLLM or SGLang. Reclaiming 30 percent of VRAM lets you fit a larger context window on the same hardware, run more concurrent requests, or load a bigger model on one node. The accumulation of exactly this kind of resource efficiency is where ai-platform competes on low serving cost. Lossless compression is an axis orthogonal to quantization, paged attention, and tensor parallelism, so it adds directly on top of existing optimizations.

Low-cost serving in turn feeds agent economics. Paxis, ThakiCloud’s Agent-Native Cloud control plane, runs hundreds of skills in isolated sandboxes and passes every action through policy gates and audit logs, and these agent workloads call large open-weight models repeatedly. The lower the serving unit cost, the more aggressively agents can run, so ai-platform’s resource efficiency underpins Paxis’s operating economics.

Limitations and counterarguments

This technique is not a cure-all. First, the premise that exponent entropy is low only holds for well-trained models. Weights must cluster near zero for the exponent to bunch, so undertrained models, models with wide distributions, or models already heavily quantized will see a smaller saving. Our measurement also comes from a single model, so the actual numbers will vary with architecture and training method.

Second, decoding compressed codes in real time requires the GPU kernel to handle lookup and multiply together. If that kernel is not well optimized, you can end up saving memory but increasing latency. It may even run faster in workloads bottlenecked on memory bandwidth, but this depends heavily on hardware and kernel implementation, so you must benchmark on the target GPU before deploying.

Third, being lossless, this approach cannot reach the savings of aggressive compression like 4-bit quantization. A 30 percent saving is excellent, but it serves a different purpose than quantization, which gives up a little quality to shrink by 4x. The two are complementary rather than competing, and a realistic answer combines them: lossless compression where precision is absolutely critical, quantization where there is quality headroom.

Finally, this result is based on one researcher’s public experiment and our small-scale reproduction. Applying it in production requires independently verifying bit identity of compression and reconstruction, kernel performance, and actual VRAM saving on the target model and serving stack.

Sources

• brianbell-x, “Lossless Model Compression Experiment”: https://brianbell-x.github.io/weight-compression/
• Measured model: Qwen/Qwen2.5-0.5B (Hugging Face)
• Related work: ZipNN, DFloat11 (BF16 exponent entropy coding family)

Overview

There are already plenty of posts on how to quantize a model. GPTQ, AWQ, GGUF, Unsloth Dynamic; a recipe to shrink a 16-bit model to 4-bit is a few searches away. Yet the point where teams actually stall is what comes next. Where exactly do you put that 4-bit file, and how? Do you launch it directly on an EC2 instance, wrap it in a SageMaker endpoint, or drop it into a pod on the EKS cluster you already run? There is no single answer, but there is a map that branches on the format of the model file.

This post is written for platform engineers deploying open-weight models on their own infrastructure and for practitioners designing inference cost. AWS recently published a guide with Unsloth, “Deploying quantized models on Amazon SageMaker AI with Unsloth,” that organizes this deployment decision into four patterns. We dissect the core logic of that guide, explain why the model file format decides the runtime and the runtime in turn decides the AWS service, and connect this way of thinking to how infrastructure like ThakiCloud, which does multi-tenant serving on Kubernetes, is designed.

One thing to state up front: the command examples here are paths verified in the AWS official guide and Unsloth docs, and we have not invented any benchmark numbers. Our verification environment is Apple Silicon, so we could not actually run and reproduce the CUDA-dependent Unsloth quantization and vLLM serving locally. This post is therefore not an experiment report but a structural analysis of a verified guide.

Why quantization matters again at deployment

Quantization is usually discussed only as a matter of training or inference speed. But the AWS guide points out that at the deployment stage, quantization changes three things at once. First, the instance decision. As a large model becomes practical to run on a smaller GPU or even a CPU, the required instance tier itself drops. Second, the startup and storage profile. Smaller model files move and store faster, which helps cold starts and scale-out. Third, deployment flexibility. You can pick a smaller model for cost-sensitive inference and a higher-precision export for quality-sensitive inference.

Unsloth’s strength is that it ties fine-tuning, running, exporting, and deploying into a single workflow. In particular, Unsloth Dynamic v2.0 quantization lets you run and fine-tune quantized LLMs while preserving accuracy as much as possible, and quantization-aware training (QAT), built in collaboration with PyTorch, is reported to recover much of the accuracy lost to naive 4-bit quantization. In other words, you can choose precisely where on the quality-versus-size trade-off to sit before deployment.

Format decides the runtime, runtime decides AWS

The core insight of the guide is: do not start the deployment decision from “which service should I use.” Instead, start from “which file format should I export to,” and the rest follows naturally. There are two branches.

One is GGUF. GGUF is a single-file format that bundles weights, tokenizer, and metadata together, and lightweight runtimes such as llama.cpp, Ollama, and Unsloth use it. On AWS this branch maps to Amazon EC2 or a SageMaker AI custom container. It is the path for when you want to validate lightly and keep direct control.

The other is merged safetensors. Merging and exporting 16-bit, 8-bit, FP8, or 4-bit weights with Unsloth lets you run on high-throughput engines like vLLM and SGLang, which maps to SageMaker AI Large Model Inference (LMI) containers, EKS, or ECS. It is the path for production serving where throughput and scale matter. The branch is summarized below.

flowchart TB
    A["Fine-tune or download with Unsloth"] --> B{"Choose serving runtime"}
    B -->|"lightweight single file"| C["Export GGUF<br/>weights + tokenizer + metadata"]
    B -->|"high-throughput engine"| D["Export merged safetensors<br/>16 / 8 / FP8 / 4-bit"]
    C --> E["llama.cpp · Ollama · Unsloth"]
    D --> F["vLLM · SGLang"]
    E --> G["Amazon EC2<br/>or SageMaker custom container"]
    F --> H["SageMaker LMI container<br/>or EKS · ECS"]
    G --> I["Validate the runtime on EC2"]
    H --> I
    I --> J["Promote the same file+runtime combo<br/>to managed deployment"]

Setup and integration

The workflow the guide lays out has four steps. Fine-tune or download a model in Unsloth, export it in the format that matches your target runtime, validate the runtime on EC2 or locally, then promote the same file and runtime combination straight into a managed deployment. The phrase “same file and runtime combination” matters here, because if the format or engine differs between validation and production, unexpected behavior creeps in.

Exporting from Unsloth branches by target runtime. The GGUF path looks like this.

# Export GGUF (llama.cpp / Ollama / EC2 path)
model.save_pretrained_gguf(
    "qwen-merged-gguf",
    tokenizer,
    quantization_method="q4_k_m",
)

The merged safetensors path targets vLLM or SGLang.

# Export merged safetensors (vLLM / SGLang / SageMaker LMI path)
model.save_pretrained_merged(
    "qwen-merged-16bit",
    tokenizer,
    save_method="merged_16bit",  # or merged_4bit, etc.
)

The exported merged model can be validated for serving directly with vLLM.

# Validate serving on EC2 or locally
vllm serve ./qwen-merged-16bit --port 8000

For container-based deployment, AWS Deep Learning Containers (DLCs) provide optimized Docker environments across EC2, EKS, and ECS. The vLLM DLC in particular is tuned for high-performance inference and natively supports tensor parallelism and pipeline parallelism across multiple GPUs and nodes. That is, a configuration validated on a single EC2 instance flows smoothly into an EKS pod using the same runtime for horizontal scaling.

Implications for ThakiCloud products

This deployment map overlaps directly with the design philosophy of ThakiCloud’s ai-platform. The ai-platform serves models on top of Kubernetes and Kueue-based GPU scheduling, and the principle the AWS guide states, that format decides runtime and runtime decides infrastructure, is not tied to any specific cloud. The split of GGUF for lightweight validation and edge deployment versus merged safetensors for vLLM-based high-throughput serving applies identically whether it is AWS EKS or on-premises Kubernetes. If anything, for ThakiCloud, which has many customers requiring on-premises and sovereign cloud, standardizing the deployment path by file format and runtime rather than binding to a specific managed service is more advantageous for portability.

In practice, the ai-platform can combine the tensor parallelism and pipeline parallelism the vLLM DLC provides with Kueue queuing to run multi-tenant. It can pick a different-precision export per customer, assigning 4-bit merged models to cost-sensitive workloads and FP8 or 16-bit to quality-sensitive ones. If you use Unsloth’s QAT to recover accuracy even at 4-bit, the point at which you win both low serving cost and quality widens. This fine-grained matching of format and runtime is exactly the background to ai-platform competing on low serving unit cost.

This low-cost serving in turn feeds agent economics. Paxis, ThakiCloud’s Agent-Native Cloud control plane, runs skills in isolated sandboxes and calls large open-weight models repeatedly, so if you quantize a fine-tuned domain model with Unsloth and put it on the ai-platform, Paxis agents can consume it cheaply. Format-based deployment standardization is itself the structure that lowers the unit cost of agent workloads.

Limitations and counterarguments

As a deployment map this guide is clear, but there are caveats. First, actual quality and throughput vary greatly with the combination of quantization method and runtime. How much accuracy a 4-bit merged model retains on vLLM, or whether tensor parallelism actually gives linear scaling on a specific model, must be measured directly on the target model and hardware; the guide’s generalities alone cannot tell you.

Second, the convenience of managed services comes at the cost of expense and lock-in. SageMaker LMI containers reduce operational burden, but in environments with strong on-premises requirements, running the same runtime yourself on EKS or your own Kubernetes may be better for control and cost. The AWS guide being a good map is separate from the judgment of porting that map to your own infrastructure, which is each team’s own call.

Third, as noted above, this post is a structural analysis without local reproduction. Before actual adoption you must export the target model with Unsloth, serve it on vLLM, and confirm per-format latency, throughput, and accuracy with your own benchmarks.

Sources

• AWS Machine Learning Blog, “Deploying quantized models on Amazon SageMaker AI with Unsloth”: https://aws.amazon.com/blogs/machine-learning/deploying-quantized-models-on-amazon-sagemaker-ai-with-unsloth/
• Unsloth Documentation: https://unsloth.ai/docs
• AWS, “Deploy LLMs on Amazon EKS using vLLM Deep Learning Containers”

But this map cannot answer one question: who wins, and who captures the margin. The answer to that question isn’t above the model, it’s below it. What silicon it runs on, how it’s served, what it’s evaluated and observed with, what license it was released under, and what product harness wraps around it. These five layers are where the real contest happens. This piece maps the five layers a model-listing map skips, using real data from mid-2026, and points out that three of these five layers are exactly where our platform stands.

A model map only shows what exists. Of the five layers beneath it, inference silicon, serving economics, and evaluation and observability are the ones that decide margin and the contest, and that is precisely where ThakiCloud stands. Licensing and harness decide who builds a moat on top.

Layer One: Inference Silicon Has Become an Independent Battleground

Separate from model quality, “how fast, how cheap can you produce tokens” has become a competitive axis in its own right. Cerebras says it runs the trillion-parameter-class Kimi K2.6 at 981 tokens per second, and Cognition’s Devin is an actual customer. At 981 tokens per second, an agent task that calls an LLM 200 times sees its wait time drop from five and a half hours to ten minutes. Windsurf’s coding model also runs on Cerebras. Groq pushes small models at hundreds of tokens per second with its LPU, offering Llama 3.1 8B at a floor-level price of $0.05 per million tokens. SambaNova raised $1 billion at a $11 billion valuation on July 8th and has secured JPMorgan, Aramco, and SoftBank as customers.

An important geopolitical axis here is Huawei. DeepSeek V4 was designed from the ground up to train and serve on the Huawei Ascend 950 line. This isn’t a port, it’s co-design. It means a path has opened to run frontier-class models without Nvidia, which creates room to cut costs regardless of export controls or GPU supply. That said, the figures circulating here, “75 percent price cut, one-fiftieth of Anthropic’s,” are vendor claims relayed by Chinese media and unverified by a third party, so it’s safer to read them as a direction rather than take them at face value.

Here’s the core point: Cognition, JPMorgan, and SoftBank all choose silicon independent of which model runs on it. Whoever owns cheap, fast tokens captures the margin no matter which model wins. This layer is entirely invisible on any model leaderboard.

Layer Two: Serving Economics, Where the Margin Actually Lives

How you serve a model determines its unit economics. As of mid-2026, in the open serving stack, vLLM is the default with the widest hardware support, SGLang has benchmarks showing it beats vLLM by about 29 percent on agent, multi-turn, and RAG workloads thanks to RadixAttention prefix caching, and TensorRT-LLM is the fastest once compiled but is Nvidia-only with a heavy setup cost.

A set of techniques has now become standard. Prefill/decode disaggregation (PD disaggregation) has landed in vLLM and Nvidia Dynamo via NIXL, LMCache eliminates cross-node recomputation with an external KV store, continuous batching is now a baseline assumption across every engine, and speculative decoding is maturing fast. To give a sense of scale: a heterogeneous setup mixing H100 prefill with H200 decode costs about 44 percent more per hour than co-location, but roughly doubles throughput, meaningfully lowering the cost per token. LMCache cuts time-to-first-token by 1.5 to 1.8x. There’s no single settled end-to-end figure, but a good rule of thumb is that an optimized serving stack delivers roughly 1.5x to 2x or more in cost and throughput improvement over naive serving.

This layer never shows up on an IQ benchmark leaderboard. But the actual unit economics of an AI product are decided right here, not by model quality.

Layer Three: Evaluation and Observability, the Floor That Makes Orchestration Possible

Talk of routing multiple models by task comes up constantly. But to actually run that in practice, you need an evaluation and observability layer. Deciding to send a request to DeepSeek, then switch to GLM, then route to Kimi, and knowing what basis to decide on and how to detect regressions, that’s this layer’s job. Without this layer, orchestration exists only in conversation.

The market has matured into LangSmith, Arize, and the $800 million-valuation Braintrust, with no single winner. On the standardization side, OpenTelemetry graduated from CNCF in May and has become the default baseline for general observability, and its GenAI semantic conventions are defining spans for agents, tools, and models. That said, the GenAI-specific spec is still in development and not yet finalized, so we won’t overstate how settled the standard already is. The direction is clear, but it’s still in progress. The point is that this evaluation and observability layer is solidifying into an independent market regardless of which model wins.

Layer Four: Licensing Decides Who Gets to Build a Moat on Top

Behind the single word “open-weight” sit entirely different sets of rights. And that difference decides who is allowed to build a business on top of the model.

Models released under pure MIT, like DeepSeek and GLM, effectively commoditize the base layer and hand the initiative to whoever fine-tunes or wraps on top of them. Llama’s community license, by contrast, looks open but functions more like a control lever, carrying a 700 million MAU cap and a clause banning training of competing models. And licenses aren’t fixed, either. In 2026, MiniMax rolled back its fully open MIT license to a Modified-MIT that requires written approval for commercial deployment, an event that showed open terms can be revoked at any time. Any company planning to build its own model should read these license clauses before it reads the performance benchmarks.

Layer Five: The Moat Isn’t the Weights, It’s the Harness

The more frontier models converge in raw performance, the more the sustainable moat shifts away from model weights and toward the product harness wrapped around them. That IDE integration, tool orchestration, task loops, and review/PR flows have become the single biggest variable in agent quality is the common thread of 2026 discourse. Cursor’s model was trained on trillions of tokens of user interaction that happened on real codebases, data that simply doesn’t exist for an independent model lab that doesn’t own a harness. Cognition says Devin’s PR merge rate rose from 34 percent to 67 percent over a year, a figure that should be weighed with the caveat that it’s self-reported and not independently verified.

Here’s the mechanism: proprietary interaction logs, records of accepted and rejected edits, task completion status, human corrections, become the reward signal for continual reinforcement learning. Only the harness owner sees the full outcome-labeled interaction trajectories. A lab without a harness has to rely on synthetic or licensed data, which is structurally an inferior signal. So the real competitive map should be drawn not around this quarter’s benchmark scores but around who owns the user interaction data and the harness. That said, no lab has published exactly how this flywheel compounds, so while the direction is persuasive, we should be clear that the underlying mechanism is analyst inference.

The ThakiCloud View

Three of these five layers are exactly where our platform stands: inference silicon utilization in layer one, serving economics in layer two, and evaluation and observability in layer three. ThakiCloud schedules GPUs on Kubernetes, runs batch inference, and handles serving techniques like PD disaggregation and KV cache offloading. On the training side, we offer SFT, CPT, DPO, GRPO, and GKD, the full reinforcement learning family. What the layer-five harness-moat thesis describes, running reinforcement learning in-house using your own data as the reward signal and serving on infrastructure you own, is exactly the trajectory that enterprise customers looking to internalize AI will follow. The serving and training infrastructure that actually makes that trajectory work is what we provide.

Let us set out the strongest counter-argument, too. The claim that these stack layers are the real battleground has limits. If model quality gaps widen enough, serving optimization or silicon choice could become a secondary concern. The harness-moat thesis and the data flywheel mechanism are largely analyst narrative, not methodology that any lab has validated and published, and even the core figures, like Devin’s merge rate, are self-reported. And if the price war in the ultra-low-cost tier makes APIs cheap enough, the incentive to take on your own serving and training could weaken on its own. In the end, the judgment differs by organization. What we’re selling isn’t a forced answer, it’s the scaffolding that makes it possible when an enterprise decides to control these layers itself.

A map that lists models will always be needed. But that map alone can’t tell you who wins. The contest happens in the five layers beneath the model, and we intend to redraw the changes in those layers every week.

References

Each layer’s techniques and license terms were confirmed against the primary sources below. Vendor self-reported figures, breaking-news funding rounds, and investment announcements were excluded from verification.

Serving stack and inference techniques

• vLLM documentation: the default serving engine with PagedAttention and continuous batching
• SGLang (GitHub) · RadixAttention paper (arXiv:2312.07104): prefix caching that lifts multi-turn and RAG throughput
• NVIDIA TensorRT-LLM (GitHub): compilation-based optimal inference, prefill/decode disaggregation, speculative decoding
• NVIDIA Dynamo (GitHub): PD-disaggregation orchestration and NIXL-based KV transfer
• LMCache (GitHub): external KV cache offload that eliminates cross-node recomputation
• Speculative Decoding (arXiv:2211.17192): the speculative decoding technique reshaping serving economics

Evaluation and observability

• OpenTelemetry GenAI semantic conventions: the standardization effort defining agent, tool, and model spans
• LangSmith · Arize · Braintrust: leading tools in the evaluation and observability layer

Open-weight licensing

• Llama Community License: looks open but is a control-oriented license carrying an MAU cap and a ban on training competing models
• Apache License 2.0 · MIT License: permissive licenses that effectively commoditize the base layer

The model names, prices, licenses, and release timing in this article were verified against publicly available sources as of July 14, 2026. Vendor self-reported figures (inference speed, PR merge rate, Huawei cost-savings claims) and third-party-unverified items are flagged in the body text.

The Problem: Cascades Worked for Text, But Do They Work for Images Too?

Cascade routing, where a cheap model runs by default and only escalates to an expensive model when confidence is low, is already a proven technique in text LLM serving. FrugalGPT is the flagship example, reporting cost reductions of up to 98% while maintaining quality comparable to using only the top-performing model. The question is whether this idea transfers directly to document OCR. Unlike text prompts, document images vary wildly in difficulty along three axes: scan quality, language and script, and layout complexity. A confidence threshold tuned for cost-optimality on a clean English invoice can be completely off the mark on a distorted low-resource-language scan, and that mismatch is the paper’s core starting point.

Core Contribution: A Single Confidence Threshold Traces the Entire Pareto Frontier

The paper builds a two-stage cascade consisting of a cheap VLM (a sub-billion-parameter model on the order of PaddleOCR-VL) and an expensive large VLM, parameterized by a single confidence threshold τ. In this structure, where escalation to the expensive model happens only when the cheap model’s confidence score falls below τ, the paper derives the escalation rate, expected cost, and expected error rate all as functions of τ. What’s interesting is that “always use the cheap model” and “always use the expensive model,” which practitioners often treat as separate options, turn out to be nothing more than the two endpoints, τ=0 and τ=1, of this single parameter family.

A conceptual diagram of how the confidence threshold τ traces the Pareto frontier between the always-cheap and always-expensive policies. This curve is derived from the paper’s analytical model rather than measured data, and the parameter values are illustrative.

Whether this frontier forms a smooth, concave curve hinges on a single assumption: that the cheap model’s confidence score can correctly rank how much benefit escalation would bring. The paper shows that when this assumption holds, the frontier takes the same concave shape already proven for text LLM cascades, but it also points out that this assumption is precisely the one most likely to break down in the situations where a cascade is most attractive. Low-resource scripts push the model to confidently produce wrong answers, perceptual confidence and inferential confidence get collapsed into a single scalar value, character-level confidence fails entirely to detect structural errors from broken tables or layout, and a threshold tuned on one document type drifts out of calibration the moment it’s moved to another type.

These four collapse into distinct failure modes, and among them the one the paper flags as most dangerous isn’t “low confidence but correct” but rather “high confidence but wrong.” When a cheap model encounters an unfamiliar script and produces a plausible, fluent, yet wrong result with high confidence, that document is never escalated. The cascade believes it handled the document well, while in fact it is quietly carrying the worst kind of error.

A conceptual diagram of how the rate of high-confidence-but-wrong outputs from the cheap VLM varies by document covariate. This is not measured data but a value derived from results reported in cited prior literature.

The paper doesn’t stop there. It also addresses which direction the cost-accuracy frontier itself shifts as the document population moves from clean English invoices toward low-resource scripts, degraded scans, and complex layouts. As scan quality degrades, the cheap model’s error rate rises, which widens the room for a cascade to exploit, but at the same time there is a risk that the region where errors concentrate overlaps with the region where the model’s confidence predictions themselves become unstable. On the language and script axis, the paper cites the GlotOCR benchmark’s finding that most VLMs work well on fewer than ten scripts, even the top model collapses past thirty scripts, and hallucination increases together with low-resource languages. On the layout complexity axis, it cites prior work showing that even high character-level accuracy can still be wrong at the whole-document level because of structural elements like tables, reading order, and watermarks.

A conceptual diagram of how the cost-accuracy Pareto frontier shifts as the document population moves from clean English invoices toward low-resource scripts, low-quality scans, and complex layouts. This is a result derived from the analytical model rather than measured data.

Based on this analysis, the paper’s design guidance is clear. Don’t use a single global threshold across all documents; calibrate thresholds separately, at least coarsely, by script and scan quality. Design the confidence gate as a multi-signal system that looks at visual confidence and structural signals together rather than a single decoder probability. And in regions where both the cheap and expensive models wobble together, such as the most low-resource scripts, the honest choice is to skip the cascade entirely and either escalate everything or route to human review.

Contribution to the Company, Society, and Science

ThakiCloud’s AI platform document-parsing workloads already use PaddleOCR-VL-class models as the default path. The confidence threshold model this paper builds offers that workload a principled routing policy design space, instead of the binary choice between “always cheap” and “always expensive.” Viewed socially, the institutions and individuals who mainly handle low-resource-language or low-quality-scan documents are exactly the ones who should be able to access accurate document automation without the cost of constantly calling a large VLM, and this paper quantitatively pins down the paradox that it is precisely this group where a cascade’s confidence signal is most likely to break. In other words, it explicitly surfaces the point where a cost-reduction technique becomes least trustworthy for the very users who need it most. Scientifically, it extends the FrugalGPT-style cascade and routing cost optimization literature, already validated in the text LLM domain, into the multimodal VLM and document OCR domain, and it advances the field by leaving behind an organized taxonomy of failure modes for exactly which conditions (script, scan quality, layout) break confidence calibration.

Limitations

As the paper itself states, this is an analytical, position-taking piece of research, not an empirical one. The authors had planned to actually implement and measure the cascade, but that execution failed at the infrastructure provisioning stage, and as a result not a single measured accuracy, latency, cost, or benchmark number from the authors themselves appears in the paper. Every quantitative claim in the paper is one of two things: a property mathematically derived from the analytical model, or a result carried over directly from cited prior work. The authors themselves lay out specifically what follow-up research must measure. A calibration curve needs to be drawn between the cheap model’s confidence and actual correctness, across document sets split by scan quality, language, and layout; it must be verified whether the actual cost-error points reached at various thresholds follow the concave frontier the paper predicts or collapse instead; and how much a threshold tuned on one document population drifts when moved to another population also needs to be quantified. The paper also covers only a two-stage cascade using a single scalar threshold, and does not address the frontier shape for multi-stage cascades, learned routers, or clustering-based designs.

The paper’s detail page can be found at the following link: https://huggingface.co/datasets/thaki-AI/daily-paper-2026-07-14-confidence-gated-ocr-vlm-cascade