احمِ الموجّه فيقل ألم التكميم: خريطة الدقة مقابل التكلفة للتكميم الانتقائي NVFP4 في نماذج MoE

ستفيد هذه المقالة مهندسي الحوسبة السحابية والذكاء الاصطناعي الذين يشغّلون نماذج Mixture-of-Experts (MoE) على عناقيد من فئة H200 أو Blackwell، أو من يدرسون تبنّي سياسة تكميم. تُصيغ الورقة البحثية المقدَّمة اليوم سياسة تحمي بشكل انتقائي الموجّه (router أو الشبكة البوابية) والخبراء “النادرين” منخفضي حركة المرور بدقة كاملة، بينما تُكمّم البقية فقط إلى 4 بت، بدلاً من ضغط نموذج MoE بأكمله بشكل موحّد إلى دقة NVFP4 4 بت. كما تُبلغ الورقة، دون إخفاء، بأن التجارب التجريبية المخطَّط لها تعذّر تنفيذها بسبب عطل في البنية التحتية.

المشكلة: التكميم الموحَّد يفترض أن جميع المعاملات قابلة للضغط بالتساوي

تفصل معماريات MoE عدد المعاملات عن حجم الحساب لكل رمز (token) من خلال تفعيل مجموعة فرعية صغيرة فقط من الشبكات الفرعية للخبراء لكل رمز. لكن في إعدادات الدفعات الصغيرة، مثل الخدمة التفاعلية، لا يكون الحساب هو عنق الزجاجة بل عرض النطاق الترددي. ولأن الرموز تتوزع عبر خبراء كثيرين، يتعيّن بث مصفوفة أوزان كل خبير من جديد من ذاكرة HBM لمعالجة عدد قليل من الرموز فقط، وتقضي وحدة معالجة الرسوميات (GPU) معظم وقتها في انتظار الذاكرة لا في الحساب. تهاجم الصيغ فائقة الانخفاض في الدقة مثل NVFP4، التي تضغط الأوزان إلى 4 بت، عنق الزجاجة هذا مباشرة، لكن النهج الذي يُكمّم النموذج بأكمله بشكل موحّد يفترض ضمنيًا أن كل كتلة معاملات تتحمّل الضغط بالقدر نفسه.

يشير المؤلفون إلى أن هذا الافتراض خاطئ. يوجد في MoE جزءان خاصان من الناحية البنيوية. الأول هو الموجّه. ولأن مخرجات الموجّه تمر عبر دالة argmax لتؤدي إلى قرار توجيه منفصل (discrete)، فإنها لا تكتفي بامتصاص الضجيج كما تفعل الحالات المخفية الأخرى؛ إذ حتى اضطراب صغير في القيم اللوغاريتمية (logits) يمكن أن يُرسل رمزًا إلى خبير مختلف تمامًا. والثاني هو الخبراء “النادرون” منخفضو حركة المرور. يُبثّون بتكرار منخفض ولا يساهمون كثيرًا في تكلفة عرض النطاق الترددي الإجمالية، لكن العدد القليل من الرموز الموجَّهة إليهم يعتمد على التمثيل المتخصص لذلك الخبير. من منظور مرجّح بحركة المرور، يمثّل الموجّه والخبراء النادرون حصة صغيرة من البايتات المبثوثة، ولذلك فإن الرؤية الأساسية للورقة هي أن تكلفة حمايتهم صغيرة بينما الاستقرار المكتسَب كبير.

توزيع حركة مرور مفاهيمي مبني على معمارية Switch-Base-8 من نوع MoE. هذا ليس بيانات مقاسة فعليًا بل رسم توضيحي لشرح تصميم سياسة الورقة، يُظهر حدّ التقسيم عند الوسيط لكل طبقة الذي تستخدمه RASQ بعد تطبيع رتبة حركة المرور.

المساهمة الأساسية: سياسة RASQ وسؤال المقارنة المُعاد صياغته بصدق

تُسمّي الورقة هذه السياسة Router-Aware Selective NVFP4 Quantization، أو RASQ اختصارًا. التعريف بسيط: لكل طبقة MoE، يُرتَّب الخبراء حسب حركة المرور، وباستخدام الوسيط (median) كنقطة فصل، يُكمَّم النصف الأعلى ذو حركة المرور الأكبر إلى 4 بت بينما يُترك النصف الأدنى ذو حركة المرور الأقل بدقة كاملة (16 بت). أما الطبقة الخطية للموجّه فتُثبَّت دائمًا بدقة كاملة دون استثناء. ويوضّح المؤلفون أيضًا بصراحة أن هذا التقسيم عند الوسيط ليس طريقة دقيقة لعزل “الخبراء النادرين ذوي الذيل الطويل” الحقيقيين، بل تقريب خشن يحمي نصف الخبراء في كل طبقة، ويتركون مجالًا للتوسّع نحو صيغ أكثر دقة، مثل حماية أدنى 10 بالمئة فقط، أو نحو تخصيص مقيّد بالميزانية على غرار مسألة الحقيبة (knapsack).

لجعل هذه السياسة قابلة للمقارنة فعليًا، تقدّم الورقة نموذج تكلفة بوحدات بت التخزين على شكل معادلة. تُحسَب الطبقات المكمَّمة إلى 4 بت كأوزان 4 بت مضافًا إليها التكلفة الإضافية للمقياس ونقطة الصفر لكل قناة، بينما تُحسَب الطبقات المتروكة بدقة كاملة كـ16 بت مباشرة. ضمن هذا الإطار، يُختزَل التكميم الموحَّد بـ4 بت بدقة إلى حالة خاصة من RASQ يُحصَل عليها بدفع عتبة RASQ إلى أقصاها بحيث يُكمَّم كل خبير إلى 4 بت. بعبارة أخرى، التكميم الموحَّد وRASQ ليسا سوى نقطتين على نفس سلسلة العتبات ذات المعامل الواحد.

تفصيل مفاهيمي لتكلفة التخزين مُحتسب من نموذج التكلفة في الفصل الثالث من الورقة. يُكمِّم NVFP4 الموحَّد جميع الطبقات الخطية للخبراء إلى 4 بت، بينما تُبقي RASQ طبقات الموجّه والخبراء النادرين عند 16 بت وتضغط فقط الخبراء عالي حركة المرور إلى 4 بت.

هنا يظهر الجزء الأكثر صدقًا في الورقة. يشير المؤلفون أنفسهم إلى أنه بموجب مقياس التخزين الساكن هذا، تضطر RASQ بحكم بنيتها إلى تخزين بتات أكثر من التكميم الموحَّد بـ4 بت. فبمجرد حماية النصف منخفض حركة المرور بدقة كاملة، ينخفض عدد المعاملات المكمَّمة بالضرورة. لذا يستحيل حسابيًا أن تدّعي RASQ سيادة باريتو الصارمة (strict Pareto dominance) على التكميم الموحَّد على المحورين معًا، ويؤكد المؤلفون بوضوح أن محاولة التحقق من مثل هذا الادّعاء هي في حد ذاتها سؤال خاطئ. بدلًا من ذلك، السؤال المحدَّد جيدًا الذي تطرحه الورقة هو كفاءة الاستيفاء (interpolation efficiency): أي جزء من فجوة الدقة بين التكميم الموحَّد وخط الأساس بدقة كاملة تستعيده RASQ، مقارنةً بنسبة علاوة مساحة التخزين المدفوعة مقابل ذلك. ولهذا الغرض، تستخدم الورقة google/switch-base-8، وهو نموذج Switch-Transformer عام فعلي، كبديل (proxy)، وتُحدِّد بروتوكول تقييم قابل للتكرار بالكامل عبر ثلاثة إعدادات (خط الأساس بدقة كاملة، 4 بت موحَّد، و4 بت انتقائي هو RASQ) يُقرِّب تأثيرات NVFP4 على الدقة بشكل مستقل عن العتاد باستخدام معامل تكميم زائف affine بـ4 بت لكل قناة.

لتنفيذ هذا البروتوكول فعليًا، قدّم الباحثون مهمة توجيه مخصصة عبر Kueue إلى عنقود GPU من طراز H200، لكن المهمة فشلت قبل أن تبدأ حتى أول تمريرة أمامية (forward pass)، بسبب خطأ يفيد بأن سياق GPU المسمّى tkai-prod-compute-h200 لم يكن موجودًا وقت التقديم. وبدلاً من تصوير ذلك كنتيجة تجريبية سلبية، يُبلّغ المؤلفون عن الأمر بصراحة بأنه “لم يُقَس بل تم تجاوزه”. ونتيجة لذلك، فإن ما تقدّمه هذه الورقة فعليًا ليس قياسات فعلية بل سياسة مُصاغة رسميًا، ونموذج تكلفة، وبروتوكول مكتمل يمكن تشغيله كما هو بمجرد استعادة العنقود.

المساهمات على مستوى الشركة والمجتمع والعلم

تقسّم الورقة مساهماتها إلى ثلاثة مستويات. على مستوى المنصة والصناعة، تقترح RASQ كسياسة يمكن لجداول الدفعات مثل Kueue تبنّيها كإعداد افتراضي عند وضع مهام استدلال MoE على عناقيد من فئة H200 أو Blackwell. ولأن خريطة الدقة تصبح ساكنة بمجرد تحليل حركة المرور مرة واحدة دون اتصال، فإنها تندمج بسلاسة مع منطق تحميل النموذج والقبول (admission) دون الحاجة إلى حلقة تحكم وقت التشغيل. على المستوى المجتمعي، من خلال خفض تكلفة الاستدلال لكل رمز واستهلاك الطاقة، تهدف إلى توسيع نطاق الوصول بحيث يمكن للمنظمات أو الأفراد ذوي الموارد المحدودة استخدام نماذج MoE المفتوحة القوية دون تحمّل تكلفة الخدمة بدقة كاملة. على المستوى العلمي، تطرح، بصيغة قابلة للاختبار تجريبيًا، سؤال إلى أي مدى يمكن لتخصيص الدقة الانتقائي المبني على توزيع حركة مرور الخبراء أن يحسّن منحنى باريتو للدقة مقابل التكلفة مقارنةً بالتكميم الموحَّد NVFP4، وتضيف إلى أدبيات PTQ القائمة حول التكميم الموحَّد وعلى مستوى الكتل NVFP4 نموذج تكلفة تخزين، واختزالًا صارمًا للتكميم الموحَّد كحالة خاصة، ومسارًا للتوسّع نحو التخصيص المقيَّد بالميزانية.

رسم مفاهيمي يُظهر كيفية استيفاء RASQ على حدود باريتو للدقة مقابل تكلفة التخزين، بين 4 بت موحَّد (أدنى تخزين، أقصى خطأ) وخط الأساس بدقة كاملة (أقصى تخزين، أدنى خطأ). كما يوضّح قسم القيود في الفصل الرابع، هذه ليست بيانات مقاسة (لم يُجرَ أي قياس فعلي)، ومحور الدقة هو خسارة الإنتروبيا المتقاطعة على مجموعة تحقّق من 16 جملة، بينما محور التخزين هو بتات تخزين النموذج الكامل الساكنة.

بدلاً من القياسات، تقدّم الورقة تنبؤات صريحة ومشروطة مستندة إلى الأدبيات. استنادًا إلى أبحاث سابقة تُظهر أن اضطراب القيم اللوغاريتمية للموجّه يزعزع استقرار التوجيه نفسه، وإلى أبحاث دقّة واعية بالاستخدام (utilization-aware) تُظهر أن حركة مرور الخبراء ذات ذيل طويل بحيث يهدر التوزيع الموحَّد الميزانية، وإلى أبحاث قوانين التوسّع (scaling laws) التي تنظر إلى التكميم منخفض البت كمسألة باريتو بين الجودة وميزانية البت، تذكر الورقة أنها تتوقع أن تكون RASQ نقطة وسطى فعّالة تستعيد جزءًا كبيرًا من فجوة الدقة مقارنةً بالتكميم الموحَّد بـ4 بت مقابل علاوة تخزين صغيرة فقط. غير أن هذا يبقى تنبؤًا محضًا، ولا تُقدّم الورقة أيًا منه كنتيجة (finding).

القيود

أهم القيود الجذرية هو غياب أي قياس فعلي بالكامل. ولأن المهمة فشلت قبل تمريرة الحساب الأمامية بسبب عطل في البنية التحتية للعنقود، فإن كل وصف رقمي يرد في الورقة هو تعريف أو تنبؤ لا نتيجة. ثانيًا، معامل التكميم الزائف affine بـ4 بت لكل قناة المستخدَم لقياس الدقة هو مجرد بديل يختلف نظامه العددي وطريقة تقريبه عن تدرّج NVFP4 الدقيق ذي المستويين على مستوى الكتل الصغرى (microblock). كان هذا البديل ضروريًا لأن H200 من جيل Hopper ولا يملك نوى موتر FP4 أصلية، وبالتالي لا يمكن لهذا البروتوكول إلا تقريب تأثيرات الدقة، ولا يمكنه قياس التحسّن الفعلي في سرعة معالجة NVFP4. ثالثًا، يستهدف البروتوكول نموذج Switch-Transformer صغيرًا واحدًا فقط يستخدم توجيه top-1، لذا يبقى من غير المؤكد ما إذا كانت النتائج تنتقل كما هي إلى نماذج MoE أكبر، أو إلى توجيه top-k، أو إلى معماريات بعدد مختلف من الخبراء. رابعًا، يحمل ملف تعريف حركة المرور الساكن وغير المتصل الذي تعتمد عليه RASQ خطر الانحراف عند تغيّر أحمال عمل النشر الفعلي. وكما تُبيّن أبحاث utilization-aware السابقة، يمكن أن تتغيّر حركة مرور الخبراء بحسب حمل العمل من حيث أي الخبراء يكون “ساخنًا”، بحيث يمكن لتقسيم الوسيط المحسوب مرة واحدة أن ينتهي به الأمر إلى حماية خبراء خاطئين بحلول وقت النشر. وأخيرًا، يشير المؤلفون أنفسهم كنقطة ضعف إلى أن كلًا من تحليل حركة المرور وتقييم الدقة يعيدان استخدام نفس مجموعة التحقق الصغيرة المكوّنة من 16 جملة، ما يجعل القياسين مترابطين.

صفحة تفاصيل الورقة البحثية: https://huggingface.co/datasets/thaki-AI/daily-paper-2026-07-12-nvfp4-moe-selective-quant