-->

نظرة عامة

تسير معظم محاولات تشغيل النماذج الكبيرة على أجهزة صغيرة في أحد اتجاهين. الأول هو تدريب نموذج صغير من الصفر، والثاني هو ضغط أوزان نموذج كبير بعد تدريبه. وقد اصطدم الاتجاه الثاني دائما بالجدار نفسه: عند النزول إلى ما دون 4-bit، تبدو نتائج المعايير القصيرة جيدة، لكن الجودة تنهار في مهام الاستدلال الطويلة مثل الرياضيات أو البرمجة.

في 14 يوليو 2026، أصدرت PrismML نموذج Bonsai 27B الذي يواجه هذا الجدار مباشرة. Bonsai 27B ليس نموذجا مدربا من جديد، بل يُبقي Qwen3.6-27B كما هو ويكتفي بتمثيل الأوزان فقط بصيغة منخفضة البت. البنية المعمارية لم تتغير. صدرت نسختان بترخيص Apache 2.0، وأفادت التقارير بأن نسخة ternary تحافظ على 94.6% من جودة النموذج الأصلي بحجم 5.9GB، بينما تحافظ نسخة 1-bit على 89.5% بحجم 3.9GB.

يقرأ هذا المقال Bonsai 27B من منظور ThakiCloud في خدمة النماذج منخفضة البت لبيئة متعددة المستأجرين. سنستعرض بالترتيب كيفية عمل الضغط، ولماذا تُعد الذاكرة، لا سعة التخزين، القيد الحقيقي، وما الأثر العملي لهذا التوجه على بنيتنا التحتية للاستدلال. ونوضح مسبقا أن جميع أرقام المعايير أدناه هي قيم نشرتها PrismML، وليست قيما أعادت ThakiCloud إنتاجها بنفسها.

ما هو Bonsai 27B

Bonsai 27B هو تمثيل منخفض البت لنموذج Qwen3.6-27B. وبالتطبيق على نموذج متعدد الوسائط يتكون من نحو 24.8B من أوزان اللغة، و0.46B لبرج الرؤية، و2.5B للتضمينات ورأس LM، يُحوَّل النموذج بالكامل، بكل مكوناته كثيفة عمليات المصفوفات، إلى صيغة منخفضة البت. ويشمل ذلك التضمينات، وإسقاطات الانتباه، وإسقاطات MLP، ورأس LM، بينما يبقى جزء ضئيل جدا فقط، مثل معاملات التطبيع والمقياس، بدقة عالية. أما برج الرؤية فيُحفظ بشكل منفصل بصيغة 4-bit HQQ ولا يُحمَّل إلا عند وجود مدخل صورة.

تختلف طبيعة النسختين. تُمثل نسخة Ternary Bonsai 27B الأوزان بثلاث قيم {-1, 0, +1} لتصل إلى فعالية 1.71 بت وسعة مثالية قدرها 5.9GB. أما نسخة 1-bit Bonsai 27B فتستخدم قيمتين فقط {-1, +1} لتصل إلى فعالية 1.125 بت بحجم 3.9GB. ويُدعم السياق حتى 262K رمز (token)، ويظل هذا عمليا لأن نحو 75% من آلية انتباه Qwen3.6-27B خطية.

flowchart TB
    A[Qwen3.6-27B<br/>FP16 54GB] --> B[تقسيم على مستوى المجموعات<br/>مجموعة واحدة لكل 128 وزنا]
    B --> C{دفتر الشيفرة منخفض البت}
    C -->|Ternary| D[-1, 0, +1<br/>حوالي 1.585 بت]
    C -->|Binary| E[-1, +1<br/>1.0 بت]
    D --> F[مقياس FP16 واحد لكل مجموعة<br/>+16/128 بت]
    E --> F
    F --> G[Ternary 1.71 bpw 5.9GB<br/>Binary 1.125 bpw 3.9GB]
    G --> H[برج الرؤية<br/>يُخزَّن بشكل منفصل بصيغة HQQ رباعية البت]
    H --> I[llama.cpp / MLX<br/>استدلال محلي على الحواسيب المحمولة والهواتف]

كيف يعمل الضغط

الفكرة الأساسية بسيطة. يُخزَّن كل وزن كرمز واحد، وتشترك كل مجموعة من 128 وزنا في مقياس FP16 واحد. ويُعاد بناء الوزن الفعلي كحاصل ضرب مقياس المجموعة في الرمز، بالصيغة w_i = s_g · t_i.

بتتبع حساب البتات تتضح تكلفة التخزين. تحمل قيمة ternary واحدة log2(3) ≈ 1.585 بت. وبإضافة مقياس FP16 واحد لكل 128 قيمة، تُضاف 16/128 بت ليصل المجموع إلى نحو 1.71 بت، أي تقليص بمقدار نحو 9.4 مرة مقارنة بـ FP16. أما binary فالقيمة نفسها بت واحد، وبإضافة عبء المقياس نفسه يصبح 1 + 16/128 = 1.125 بت، أي تقليص بمقدار نحو 14.2 مرة.

يظهر هنا تباين لافت. فنسخة Q4_K_XL من Qwen3.6-27B، التي تُسمى عادة 4-bit، يبلغ متوسطها الفعلي 5.2 بت، ونسخة IQ2_XXS التي تُسمى 2-bit يبلغ متوسطها الفعلي 2.8 بت. أي أن الاسم يختلف عن متوسط البت الفعلي. كما يختلف Bonsai عن BitNet. فـ BitNet يُدرَّب من الصفر بدقة منخفضة البت تجنبا للانهيار، بينما يضغط Bonsai نموذجا مدربا مسبقا بعد تدريبه. وتدعي PrismML أنها تجنبت الانهيار دون إعادة تدريب، لكن تفاصيل هذا الادعاء تعتمد على الوثائق التقنية المنشورة.

نتائج المعايير المُبلَّغ عنها

أفادت PrismML بأنها قيّمت 15 معيارا في وضع thinking باستخدام EvalScope وvLLM على H100. يعرض الجدول أدناه هذه القيم المُبلَّغ عنها. ونؤكد مجددا أن هذه الأرقام هي قيم نشرها المزوّد، وليست قيما أعادت ThakiCloud إنتاجها، وأن إعادة الإنتاج المستقلة تتطلب تحققا منفصلا.

النسخة bpw الفعلي الحجم متوسط Thinking مقارنة بـ FP16
Qwen3.6-27B FP16 16.0 54GB 85.07 خط الأساس
Q4_K_XL (4-bit) 5.2 17.6GB 84.99 99.9%
IQ2_XXS (2-bit) 2.8 9.4GB 72.73 85.5%
Ternary Bonsai 27B 1.71 5.9GB 80.49 94.6%
1-bit Bonsai 27B 1.125 3.9GB 76.11 89.5%

وعند التقسيم حسب الفئة، يتضح أن الضغط لا يُحدث خسارة موحدة. فالرياضيات تصمد نسبيا جيدا، من 95.33 عند FP16 إلى 93.40 لـ ternary و91.66 لـ 1-bit. في المقابل، تنخفض مهام الوكيل (agent) واستدعاء الأدوات بشكل حاد من 80.00 إلى 74.01 لـ ternary و66.03 لـ 1-bit، وتنخفض الرؤية من 72.61 إلى 59.57 لـ 1-bit. كما تنخفض القدرة على اتباع التعليمات بشكل كبير من 78.47 إلى 65.74 لـ 1-bit.

التباين الذي تُبرزه PrismML هو الانهيار الانتقائي في نسخ sub-4-bit السابقة. فنسخة IQ2_XXS تحافظ على 88.93 في مهام الإجابات القصيرة مثل MMLU-Redux، لكنها تنهار إلى 57.5 في AIME26 و56.4 في LiveCodeBench. والملاحظة هي أن المعايير القصيرة تُخفي هذا الانهيار. وهذه الملاحظة بحد ذاتها بصيرة عملية يتفهمها كل من تعامل مع الضغط منخفض البت من قبل.

الذاكرة هي القيد الحقيقي

قراءة إصدار Bonsai 27B بالاعتماد فقط على أرقام الحجم تُفوّت الجوهر. فشروط تشغيل النموذج على هاتف أكثر صرامة بكثير من سعة التخزين وحدها. يقيّد iOS التطبيق الواحد باستخدام نحو نصف الذاكرة الفعلية فقط، لذا فإن هاتف iPhone بذاكرة 12GB لا يُتيح فعليا سوى نحو 6GB. وهنا تكمن أهمية نسخة 3.9GB.

الميزانية الثانية هي ذاكرة التخزين المؤقت KV cache. وبما أن 16 فقط من أصل 64 طبقة تمتلك ذاكرة تخزين مؤقت كاملة الانتباه ومتنامية، فإن التكلفة تبلغ نحو 64KiB لكل رمز عند FP16. وملء نافذة 262K بالكامل يكلف نحو 17.2GB، ويؤدي استخدام ذاكرة تخزين مؤقت KV بدقة 4-bit إلى خفض ذلك إلى نحو 4.3GB. ومهما قلّصنا أوزان النموذج، فإن السياق الأطول سيستهلك الذاكرة عبر ذاكرة التخزين المؤقت KV، لذا يجب أن تسير الأوزان منخفضة البت وذاكرة التخزين المؤقت منخفضة البت معا.

وأفادت PrismML أيضا بأنها قاست الأثر على الجودة الناتج عن ضغط الذاكرة المؤقتة. فمقارنة بخط الأساس FP16-KV الخاص بها، أظهرت نسخة Ternary Bonsai قيمة forward-KL للمخرجات بلغت 0.0011 nats على MATH-500، بينما أظهرت Q4_K_XL قيمة 0.0146. وعند 100K رمز باستخدام ذاكرة مؤقتة FP16، تبلغ الذروة نحو 11.6GB لنسخة 1-bit ونحو 14.7GB لنسخة ternary. أي أنه حتى بعد تقليص الأوزان، يتطلب السياق الطويل خفض دقة الذاكرة المؤقتة أيضا حتى يتسع النموذج فعليا على الجهاز.

الإنتاجية وفك الترميز التخميني

التوليد مقيد بعرض النطاق الترددي للذاكرة. فكلما قلّت البايتات المقروءة في كل خطوة، زاد عدد الرموز في الثانية. أما التعبئة المسبقة prefill فمقيدة بالحوسبة، لذا يكون أثر الضغط عليها أصغر نسبيا. والإنتاجية التي نشرتها PrismML تُظهر هذه الخاصية بوضوح.

المنصة النسخة tg128 (التوليد) pp512 (التعبئة المسبقة)
M5 Max Binary 66.4 874
M5 Pro Ternary 26.2 393
iPhone 17 Pro Max Binary 11.0 111
H100 (CUDA) Binary 104.8 2755

أصدرت PrismML أيضا مُسوِّدا (drafter) باسم DSpark مدربا خصيصا لاستهداف Bonsai 27B. وعلى H100، وبعمق مُسوَّدة (draft depth) k=4، أفادت بطول قبول tau=3.6 للنسخة binary المستهدفة، أي 143.8 tok/s، بتسريع قدره 1.37 مرة. والتحقق بلا فقدان (lossless)، لذا يبقى توزيع المخرجات مطابقا. بيد أن المُسوِّد معطّل افتراضيا على شرائح Apple silicon عند حجم دفعة (batch size) يساوي 1.

التشغيل نفسه معياري تماما. يمكن تشغيل خادم llama.cpp أو التوليد مباشرة عبر llama-cli، كما يُوفَّر مسار MLX أيضا. ويستخدم استدعاء الأدوات مصفوفة tools بأسلوب OpenAI كما هي، وتعود الاستجابة عبر choices[0].message.tool_calls. ووضع thinking مفعّل افتراضيا ويمكن تبديله لكل طلب.

ماذا يعني هذا لـ ThakiCloud

تتقاطع الخدمة منخفضة البت مع منتجَي ThakiCloud كليهما.

منظور ai-platform (البنية التحتية والخدمة). تخدم منصة ai-platform التابعة لـ ThakiCloud نماذج مفتوحة الأوزان عبر بيئات عملاء متنوعة. وما يُظهره Bonsai هو إمكانية وضع جودة بمستوى 27B على GPU واحدة بسعة 24GB مع ذاكرة تخزين مؤقت KV بدقة 4-bit. وهذا يؤثر مباشرة على كثافة تعدد المستأجرين. فإذا أمكن تشغيل عدد أكبر من المستأجرين على GPU نفسها، أو تحقيق نفس اتفاقية مستوى الخدمة SLA ببطاقة أصغر، تنخفض تكلفة الخدمة. ولهذا أهمية خاصة في عمليات النشر المحلية (on-premises) والسيادية. فالقطاع العام المحلي والصناعات الخاضعة للتنظيم تتطلب استضافة ذاتية self-hosting تمنع خروج البيانات، بينما تظل ميزانيات الأجهزة محدودة. وخفض أوزان النموذج وذاكرة التخزين المؤقت KV معا إلى صيغة منخفضة البت يتيح تجميعا أكثف في تجمع GPU تُجدوله Kueue، وهذا يصب مباشرة في كفاءة التكلفة وكثافة الموارد التي نُشدد عليها دائما. غير أن منخفض البت ليس الحل دائما. فإذا كان عبء العمل متمركزا حول الوكلاء (agent) أو استدعاء الأدوات، تكون خسارة الجودة كبيرة كما يُبيّن قسم القيود أدناه، وهو ما يستدعي توجيها (routing) يُغيّر الدقة بحسب عبء العمل.

منظور Paxis (الوكلاء والحافة). Paxis هو مستوى تحكم Agent-Native Cloud الذي يعمل فوق ai-platform، ويتعامل مع Skills وTools وPolicies وAudit Logs كموارد من الدرجة الأولى. والنموذج الذي يعمل على هاتف بحجم 3.9GB يفتح الباب أمام وكلاء on-device في السياقات الحساسة للخصوصية. فإعداد لا يغادر فيه الطلب (prompt) الجهاز مفيد للامتثال التنظيمي ولسير العمل دون اتصال (offline). ومن منظور Paxis، يبدو طبيعيا التعامل مع هذه النماذج المحلية داخل تنفيذ معزول في صندوق رملي (sandbox)، مع تمرير كل إجراء عبر بوابات السياسات وسجلات التدقيق. فالاستدلال المحلي منخفض البت يخلق اقتصاديات وكلاء الحافة، وPaxis هو الطبقة التي تحكم ذلك التنفيذ.

يُكمّل المنظوران أحدهما الآخر. فالخدمة منخفضة التكلفة (ai-platform) هي ما يخلق اقتصاديات الوكلاء (Paxis).

القيود والحجج المضادة

أكبر تحفظ يتعلق بمصدر المعايير. فكل الأرقام أعلاه هي تقييمات ذاتية من PrismML، ولا توجد إعادة إنتاج مستقلة حتى الآن. والحجة التي تُشير إلى الانهيار الانتقائي لـ IQ2_XXS مقنعة، لكن المعايير التي تُظهر تفوق Bonsai هي أيضا قياسات ذاتية من المزوّد نفسه. والحكم العادل يتطلب إعادة إنتاج من طرف ثالث.

وعدم انتظام خسارة الجودة مهم عمليا أيضا. فدرجة الوكيل واستدعاء الأدوات لنسخة 1-bit لا تتجاوز 66.03. ودقة استدعاء الأدوات عند هذا المستوى تنطوي على مخاطر لخطوط أنابيب الوكلاء في الإنتاج. كما أن الرؤية عند 59.57 واتباع التعليمات عند 65.74 يشهدان انخفاضا كبيرا بالمثل، مما يعني أن نسخة 1-bit تقتصر عمليا على الاستدلال النصي البسيط والاستخدام على الجهاز ذي الأولوية للخصوصية. أما المسارات التي تحتاج جودة، فيجب أن ترتقي إلى ternary أو دقة أعلى.

كما يجب قراءة أرقام أداء الهاتف بحذر. فأرقام tok/s على iPhone كافية للتفاعلات القصيرة لكنها بطيئة للتوليد الطويل. والحرارة والبطارية والإنتاجية المستدامة لا تظهر في جدول المعايير. وتذكر الورقة البيضاء أنها قاست 672 رمزا لكل 1% من بطارية iPhone، لكن زمن الاستجابة الفعلي والاستمرارية في الاستخدام الحقيقي مسألتان منفصلتان.

وأخيرا، يعتمد الادعاء الأساسي بتجنب الانهيار دون إعادة تدريب على تفاصيل المنهجية الواردة في الوثائق المنشورة. والترخيص هو Apache 2.0، لكن علاقة وراثة الترخيص من نموذج Qwen3.6 الأساسي تتطلب تحققا قبل النشر التجاري. وخلاصة القول إن Bonsai 27B يمثل تقدما عمليا حقيقيا في الضغط منخفض البت، لكن قرارات التبني ينبغي أن تُتخذ بالتوازي مع متطلبات الجودة الخاصة بكل عبء عمل وإعادة الإنتاج المستقلة.

المصادر

참고