-->

⏱️ وقت القراءة المقدر: 15 دقيقة

مقدمة

سيُسجَّل عام 2025 العام الذي رسّخ فيه التدريب اللاحق القائم على التعلم المعزز (RL) مكانته بوصفه النموذج الجوهري لتطوير أنظمة الذكاء الاصطناعي الوكيلة. على وجه الخصوص، قدّمت الأوراق البحثية المنشورة على arXiv بعد أبريل 2025 منهجيات مبتكرة لخلق “وكلاء” حقيقيين قادرين على استخدام الأدوات الخارجية وإجراء استدلال معقد والتعاون في بيئات متعددة الوكلاء، متجاوزةً محدودية النماذج اللغوية البسيطة.

في هذه المراجعة، ندرس 10 أوراق بحثية جوهرية استقطبت أكبر اهتمام مجتمعي لاستكشاف كيف يحوّل التعلم المعزز النماذج اللغوية الكبيرة إلى وكلاء حقيقيين. من استخدام الأدوات متعدد الوسائط إلى التعاون متعدد الوكلاء وتعلم المناهج الفعّال، نحلل بعمق الأفكار الجوهرية في كل بحث وانعكاساتها على تطوير أنظمة الذكاء الاصطناعي العملية.

1. Visual-ARFT: تعليم الوكلاء متعددي الوسائط استخدام الأدوات

الورقة البحثية: Visual-ARFT: Visual Agentic Reinforcement Fine-Tuning (arXiv 2505.14720، يونيو 2025)

يقدم Visual-ARFT مقاربةً مبتكرةً لتدريب النماذج اللغوية البصرية الكبيرة (LVLMs) على استخدام الأدوات الخارجية استخدامًا استراتيجيًا. جوهر هذا البحث هو تدريب النماذج لا على توليد النصوص فحسب، بل عبر التعلم المعزز على الحكم على متى وكيف تستخدم أدوات معقدة كالتصفح على الويب وتنفيذ الكود والتعامل مع الصور.

المنهجية الجوهرية

تتألف عملية تدريب Visual-ARFT من المراحل التالية:

  1. التخطيط: يحلل النموذج المهمة المعطاة ويخطط لتسلسل استخدام الأدوات المطلوبة
  2. استدعاء الأدوات: استدعاء الأدوات الخارجية المناسبة وتنفيذها وفق الخطة
  3. تفسير النتائج: تحليل نتائج تنفيذ الأدوات وتحديد الخطوة التالية
  4. مكافأة تدريجية: تقديم إشارات التعلم المعزز بناءً على الأداء في كل مرحلة من مراحل استخدام الأدوات

تحسينات أداء لافتة

في تجارب مقارنة مع GPT-4o، أبدى Visual-ARFT تحسينات أداء لافتة:

  • الاستدلال الرياضي + استخدام الأدوات (MAT-Coding): درجة F1 بزيادة 18.6 نقطة، والتطابق الدقيق بزيادة 13.0 نقطة
  • حل المسائل الرياضية القائمة على البحث (MAT-Search): درجة F1 بزيادة 10.3 نقطة، والتطابق الدقيق بزيادة 8.7 نقطة

لا تأتي هذه التحسينات ببساطة من مزيد من البيانات أو نموذج أكبر، بل من تحسين توقيت استخدام الأدوات وطريقته عبر التعلم المعزز.

انعكاسات عملية

يُثبت نجاح Visual-ARFT إمكانية بناء وكلاء مؤسسية قوية حتى في ظل ميزانيات حوسبة محدودة. يوفر قيمةً فورية قابلة للتطبيق في المجالات التالية:

  • جمع المعلومات من الويب: تصفح الويب في الوقت الفعلي لاسترداد أحدث المعلومات
  • حل المشكلات القائم على الكود: التوليد التلقائي للكود وتنفيذه للحسابات المعقدة أو معالجة البيانات
  • الاستدلال متعدد الخطوات: حل المشكلات المعقدة عبر مراحل متعددة من استخدام الأدوات

2. MARFT: نموذج جديد للتعلم المعزز متعدد الوكلاء

الورقة البحثية: MARFT: Multi-Agent Reinforcement Fine-Tuning (arXiv 2504.16129، أبريل 2025)

في وقت يتطور فيه الذكاء الاصطناعي المؤسسي من الوكلاء الفرديين إلى فرق الوكلاء، يقدم MARFT إطارًا مبتكرًا لتدريب وكلاء LLM متعددين بالتعلم المعزز في آنٍ واحد. جوهر هذا البحث هو حل القيود الجوهرية التي يواجهها التعلم المعزز متعدد الوكلاء (MARL) التقليدي عند تطبيقه على الوكلاء اللغويين.

قيود MARL التقليدية مقابل الأنظمة القائمة على LLM

صُمِّم MARL التقليدي في ظل الافتراضات التالية:

  • التفاعل المتزامن: يتصرف جميع الوكلاء في وقت واحد
  • فضاء حالة منخفض الأبعاد: البيئة قابلة للتمثيل كأرقام أو متجهات بسيطة
  • فضاء إجراءات بسيط: عدد محدود من الإجراءات المنفصلة

غير أن أنظمة الوكلاء المتعددين القائمة على LLM لها خصائص مختلفة جوهريًا:

  • التفاعل غير المتزامن: وكلاء يتصرفون في أوقات مختلفة
  • الوعي بالملفات الشخصية: لكل وكيل أدوار وخبرات فريدة
  • نوافذ سياق طويلة: تمثيلات حالة معقدة تصل إلى عشرات الآلاف من الرموز

المقاربة المبتكرة لـ MARFT

يعالج MARFT هذه الفوارق عبر:

  1. وحدة التشغيل غير المتزامن: إطار تفاعل مرن يتيح لكل وكيل التصرف بسرعات مستقلة
  2. تشكيل تكيفي للمكافأة: نظام مكافأة متعدد الطبقات يراعي أدوار الوكلاء الفردية والأداء الكلي للفريق
  3. التحسين القابل للتوسع: خوارزمية تعلم موزعة تعمل بكفاءة حتى مع ازدياد أعداد الوكلاء

التطبيقية في البيئات العملية

MARFT مفيد بشكل خاص في سيناريوهات الوكلاء التعاونية مثل:

  • فرق خدمة العملاء: التعاون التدريجي في تصنيف الاستفسارات الأولية، والتواصل مع الخبراء، وحل المشكلات
  • تطوير البرمجيات: التعاون بين الوكلاء المتخصصين في تحليل المتطلبات والتصميم والتنفيذ والاختبار
  • التحليل المالي: تقسيم الأدوار في جمع البيانات وتقييم المخاطر والتوصيات الاستثمارية

3. ReTool: الاستخدام الاستراتيجي للأدوات عبر التعلم المعزز

الورقة البحثية: ReTool: Reinforcement Learning for Strategic Tool Use in LLMs (arXiv 2506.06680، يونيو 2025)

يقدم ReTool منهجيةً لتعلّم النماذج اللغوية متى وكيف تستخدم الأدوات الخارجية عبر التعلم المعزز، ولا سيما في مجالات كالرياضيات والهندسة حيث يكون تنفيذ الكود حاسمًا للاستدلال.

دمج تنفيذ الكود في الوقت الفعلي والاستدلال اللغوي

الفكرة الجوهرية لـ ReTool ليست مجرد ربط الاستدلال اللغوي وتنفيذ الكود بشكل تسلسلي، بل إدماج العمليتين بصورة عضوية لخلق قدرة أقوى على حل المشكلات.

في النهج التقليدي:

  1. تحليل المشكلة باللغة الطبيعية
  2. كتابة الكود إذا لزم
  3. تنفيذ الكود
  4. كتابة الإجابة بناءً على النتائج

في ReTool:

  1. تحليل المشكلة (لغة طبيعية)
  2. الحكم على ضرورة تنفيذ الكود (تعلم معزز)
  3. كتابة الكود وتنفيذه
  4. تفسير النتائج وإعادة الحكم على الحاجة لكود إضافي
  5. تكرار الخطوات 2-4 إذا لزم
  6. استخلاص الإجابة النهائية

نتائج تجريبية لافتة

في تجارب على مسائل AIME (مسابقة الدعوة الأمريكية للرياضيات):

  • RL النصي البحت: دقة 40%
  • ReTool مُطبَّق (400 خطوة RL): دقة 67% (تحسن 27%)
  • تدريب ReTool الموسَّع: دقة 72.5%
  • مقارنةً بـ OpenAI o1-preview: تحسن أداء بنسبة 28%

هذه نتيجة رائعة تُثبت إمكانية تجاوز نموذج بـ 32 مليار معامل لأداء GPT-4 في مجالات محددة.

السلوك الناشئ: إصلاح الكود ذاتيًا

مما يلفت الانتباه بشكل خاص خلال تدريب ReTool هو أن النموذج يتعلم كشف أخطاء الكود وتصحيحها بمفرده. هذا سلوك ناشئ يظهر تلقائيًا خلال التعلم المعزز دون أن يُعلَّم بشكل صريح:

# الكود الأولي (مع خطأ)
def solve_equation(x):
    return x**2 + 2*x + 1  # صيغة غير صحيحة

# بعد التنفيذ ومعرفة أن النتيجة تختلف عن المتوقع

# الكود المصحح تلقائيًا
def solve_equation(x):
    return x**2 + 3*x + 2  # صُحِّح إلى الصيغة الصحيحة

4. خصائص التحديثات المتفرقة في الضبط الدقيق بـ RL

الورقة البحثية: Reinforcement Learning Finetunes Small Subnetworks in Large Language Models (arXiv 2505.11711، مايو 2025)

هذا بحث أساسي مهم يحلل بعمق الآليات الداخلية للضبط الدقيق القائم على التعلم المعزز. من خلال تجارب موسعة عبر 7 خوارزميات RL مختلفة و10 نماذج لغوية كبيرة، كشف الحقيقة المدهشة بأن الضبط الدقيق بـ RL يُحدِّث في الواقع نسبةً صغيرةً جدًا من النموذج الكامل.

اكتشاف التحديثات المتفرقة

وفق النتائج التجريبية:

  • المعاملات المُحدَّثة: 5-30% فقط من الإجمالي
  • الحفاظ على الأداء: تحديث الشبكة الفرعية المتفرقة فقط يحقق أداءً مماثلًا تقريبًا للضبط الدقيق الكامل بـ RL
  • الاتساق: تُحدَّث مجموعات معاملات مماثلة عبر عمليات RL المختلفة

تحليل سبب التفرق

حلل فريق البحث أسباب نمط التحديث المتفرق هذا على النحو التالي:

  1. توزيع البيانات القريب من السياسة الحالية: البيانات المستخدمة في RL لها توزيع مماثل للسياسة الحالية، مما يجعل التغييرات الكبيرة في النموذج الكامل غير ضرورية
  2. محدودية تأثير تنظيم KL: عقوبة تباعد KL الشائعة الاستخدام لها تأثير ضئيل على التفرق
  3. التحديثات كاملة الرتبة: المعاملات المُحدَّثة موزعة عبر المصفوفة الكاملة (غير مركّزة في صفوف أو أعمدة محددة)

انعكاسات عملية: ضبط دقيق فعّال بـ RL

هذا الاكتشاف يُمكِّن من التحسينات العملية التالية:

1. منهجية اقتصادية في المعاملات

# تحديث النموذج الكامل التقليدي
optimizer = Adam(model.parameters(), lr=1e-5)

# الكفاءة القائمة على التحديث المتفرق
important_params = identify_important_subnetwork(model)
optimizer = Adam(important_params, lr=1e-5)
# انخفاض استخدام الذاكرة 70%، انخفاض وقت التدريب 60%

2. إرشادات تصميم محوّل LoRA

  • سابقًا: تصميم المحوّل بافتراض رتبة منخفضة
  • محسَّن: بنية محوّل أكثر فاعلية تراعي الخصائص كاملة الرتبة

3. تحسين التكلفة

  • تقليص تكاليف الضبط الدقيق بـ RL تقليصًا كبيرًا للنماذج الضخمة
  • كفاءة محسَّنة في ذاكرة GPU في البيئات السحابية

5. UFT: توحيد الضبط الدقيق الخاضع للإشراف والتعلم المعزز

الورقة البحثية: UFT: Unifying Supervised and Reinforcement Fine-Tuning (arXiv 2504.20361، أبريل 2025)

في معظم البيئات العملية، يمر تطوير الوكيل بعملية مكوّنة من مرحلتين تبدأ بالتعلم الخاضع للإشراف (SFT) وتستمر إلى التعلم المعزز (RFT). يقدم UFT نموذجًا تدريبيًا أكثر فاعليةً وكفاءةً بدمج هاتين المرحلتين في واحدة.

قيود الأساليب الموجودة

مشكلات السير التسلسلي من SFT إلى RFT:

  • ظاهرة النسيان: أنماط السلوك الجيدة المكتسبة من SFT تتلاشى خلال RFT
  • عدم الكفاءة: هدر الوقت والموارد من عمليتي تدريب منفصلتين
  • صعوبة التحسين: الحاجة لضبط المعاملات الفائقة لكل مرحلة بشكل منفصل

المقاربة المتكاملة لـ UFT

يُحسِّن UFT دالتَي الهدف التاليتين في آنٍ واحد:

\[\mathcal{L}_{UFT} = \alpha \cdot \mathcal{L}_{SFT} + (1-\alpha) \cdot \mathcal{L}_{RFT}\]

حيث:

  • $\mathcal{L}_{SFT} = -\log P(y x)$: الاحتمال اللوغاريتمي السالب لبيانات التوضيح
  • $\mathcal{L}_{RFT} = -\mathbb{E}[R(s,a)]$: القيمة المتوقعة السالبة لمكافأة التعلم المعزز
  • $\alpha$: معامل ضبط التوازن بين الاستكشاف والإشراف

الاختراق النظري: تحسين تعقيد العيّنات

أهم إسهام نظري لـ UFT هو تجاوز حاجز تعقيد العيّنات الأسي للتعلم المعزز في مهام الاستدلال طويلة الأفق.

تعقيد عيّنات RL التقليدي:

  • زيادة أسية بمقدار $O(\exp(H))$ مع طول الأفق $H$

تعقيد عيّنات UFT:

  • تعقيد متعدد الحدود $O(\text{poly}(H))$ مع البيانات التوضيحية المناسبة

هذا يعني إمكانية تقليص تكاليف التدريب تقليصًا جذريًا في تطوير الوكلاء الذي يتطلب استدلالًا معقدًا متعدد الخطوات.

إرشادات التطبيق العملي

1. ضبط معامل التوازن

# المرحلة الأولى: إشراف قوي
alpha_schedule = [0.8, 0.6, 0.4, 0.2]

# الضبط التكيفي في كل حقبة
for epoch, alpha in enumerate(alpha_schedule):
    loss = alpha * sft_loss + (1 - alpha) * rl_loss
    optimizer.step()

2. سيناريوهات التطبيق

  • بيانات توضيحية عالية الجودة متاحة: البدء بـ $\alpha$ مرتفع
  • بيانات توضيحية غير كافية: ضبط $\alpha$ منخفضًا مع الزيادة التدريجية
  • مهام خاصة بمجال: تحسين جدولة $\alpha$ لكل مجال

6. تعلم المناهج الدراسية ذاتية التطور

الورقة البحثية: Self-Evolving Curriculum for LLM Reasoning (arXiv 2505.14970، مايو 2025)

يعتمد نجاح RL اعتمادًا كبيرًا على منهج التدريب، لكن معظم الأبحاث الحالية تستخدم مناهج عشوائية أو إرشادية بسيطة. يقدم SEC (المنهج ذاتي التطور) مقاربةً قائمةً على الميتا-تعلم تتعلم المنهج بنفسها لحل هذه المشكلة.

تعلم المناهج بوصفه مشكلة اللص متعدد الأذرع

يُنمذج SEC تصميم المنهج بوصفه مشكلة اللص متعدد الأذرع (Multi-Armed Bandit):

  • الأذرع: فئات مشكلات أو مستويات صعوبة مختلفة
  • المكافأة: الميزة المطلقة لتدرج السياسة
  • الهدف: اختيار الفئة التي تُعظِّم فعالية التعلم

قياس فعالية التعلم والتكيف

1. حساب ميزة تدرج السياسة \(A_t = R_t - V(s_t)\)

2. إشارة التعلم لكل فئة \(\text{إشارة التعلم}_c = \mathbb{E}[|A_t|] \text{ للفئة } c\)

3. تحديث سياسة المنهج القائمة على TD(0) \(\pi(c_{t+1}) \leftarrow \pi(c_t) + \eta \cdot \text{إشارة التعلم}_c\)

النتائج التجريبية: التعميم والتوازن

أظهر SEC أداءً يتجاوز المناهج الحالية بفارق كبير في ثلاثة مجالات:

1. التخطيط

  • منهج عشوائي حالي: معدل نجاح 65%
  • SEC: معدل نجاح 78% (تحسن 13%)

2. الاستدلال الاستقرائي

  • منهج إرشادي حالي: دقة 72%
  • SEC: دقة 85% (تحسن 13%)

3. الرياضيات

  • منهج ثابت حالي: دقة 58%
  • SEC: دقة 73% (تحسن 15%)

توازن المهارات والتعميم خارج التوزيع

ميزة مهمة أخرى لـ SEC هي أنه يوازن المهارات المتنوعة تلقائيًا ويحسّن قابلية التعميم للمشكلات الأصعب غير المرئية خلال التدريب.

مؤشر توازن المهارات (SBI): \(SBI = 1 - \frac{\text{الانحراف المعياري}(\text{درجات المهارات})}{\text{المتوسط}(\text{درجات المهارات})}\)

  • SEC: SBI = 0.92 (توازن عالٍ)
  • الأساليب الحالية: SBI = 0.67-0.78 (غير متوازن)

7. تحسين كفاءة البيانات عبر أخذ العيّنات التكيفي

الورقة البحثية: Improving Data Efficiency for LLM Reinforcement Fine-tuning Through Difficulty-Targeted Online Data Selection and Rollout Replay (arXiv 2506.05316، يونيو 2025)

من أكبر العوائق العملية أمام الضبط الدقيق بـ RL هي التكاليف الحوسبية الهائلة. يقدم هذا البحث أساليب لتحسين كفاءة البيانات في الضبط الدقيق بـ RL تحسينًا كبيرًا عبر تقنيتين رئيسيتين.

1. اختيار تكيفي للبيانات قائم على الصعوبة

إطار تقدير الصعوبة القائم على الانتباه:

طوّر فريق البحث إطارًا يقدّر صعوبة المشكلة تلقائيًا بتحليل أنماط الانتباه من مجموعة مرجعية صغيرة.

def estimate_difficulty(problem, reference_set, model):
    """
    تقدير الصعوبة القائم على أنماط الانتباه
    """
    attention_weights = model.get_attention_weights(problem)
    
    # حساب تشابه الانتباه مع المجموعة المرجعية
    similarities = compute_attention_similarity(
        attention_weights, reference_set
    )
    
    # إعطاء الأولوية لمشكلات الصعوبة المتوسطة
    difficulty_score = estimate_from_similarities(similarities)
    
    return difficulty_score

استراتيجية أخذ العيّنات التكيفي:

  • المشكلات السهلة جدًا: أثر تعلمي ضئيل -> احتمال أخذ عيّنة منخفض
  • المشكلات متوسطة الصعوبة: أثر تعلمي مثالي -> احتمال أخذ عيّنة مرتفع
  • المشكلات الصعبة جدًا: عدم استقرار في التعلم -> أخذ عيّنات محدود

2. إعادة تشغيل التطوير (Rollout Replay)

إعادة استخدام الخبرات القائمة على الذاكرة:

class RolloutReplayBuffer:
    def __init__(self, capacity=10000):
        self.buffer = deque(maxlen=capacity)
        self.priorities = deque(maxlen=capacity)
    
    def add_rollout(self, rollout, reward):
        self.buffer.append(rollout)
        # أولوية أعلى للتطوير ذي المكافأة الأعلى
        self.priorities.append(abs(reward))
    
    def sample_batch(self, batch_size):
        # أخذ عيّنات قائم على الأولوية
        indices = weighted_sample(self.priorities, batch_size)
        return [self.buffer[i] for i in indices]

آثار إعادة التشغيل:

  • تخفيض تكلفة الحوسبة: وفورات 70% في تكلفة توليد التطوير الجديد
  • استقرار التعلم: تعلم مستمر من الخبرات الجيدة السابقة
  • سرعة التقارب: انخفاض الوقت 25-65% للوصول إلى الأداء ذاته

النتائج المتكاملة للأداء

نتائج تجارب عبر 6 مجموعات مختلفة من النماذج اللغوية الكبيرة والمجموعات البيانية:

المجموعة البيانية GRPO القياسي أخذ عيّنات تكيفي إعادة تشغيل الطريقة المتكاملة
GSM8K 100% 125% 140% 165%
MATH 100% 130% 135% 180%
HumanEval 100% 120% 145% 175%

الأداء نسبة مئوية نسبية للدرجة القابلة للتحقيق في الوقت ذاته

8. دمج الاستدلال والبحث للاسترداد متعدد الخطوات ومتعدد المصادر

الورقة البحثية: ReFT for Multi-Step Multi-Source Search (Reasoning-Search) (arXiv 2506.08352، يونيو 2025)

في البيئات المؤسسية، يحتاج وكلاء الذكاء الاصطناعي في أحيان كثيرة إلى جمع بيانات من مصادر معلومات متعددة لا مصدر واحد، وإجراء استدلال معقد متعدد الخطوات بناءً عليها. يقدم R-Search إطارًا مبتكرًا يدمج التخطيط وتنفيذ الاسترداد متعدد المصادر وتوليف الإجابات داخل LLM واحد.

تصميم الإخراج البنيوي

جوهر R-Search هو هيكلة إخراج النموذج في أربعة مكوّنات واضحة:

1. خطوات الاستدلال

الخطوة 1: تحديد الكيانات الجوهرية في السؤال
الخطوة 2: تحديد نوع المعلومات المطلوبة لكل كيان
الخطوة 3: تحديد أولوية الاسترداد لكل مصدر معلومات

2. DAG بلغة طبيعية (رسم بياني موجه بلا دورات)

search_plan ::= {
  "financial_metrics_collection": ["Bloomberg", "Yahoo Finance"],
  "news_analysis": ["Reuters", "Financial Times"],
  "analyst_opinions": ["Morning Star", "Seeking Alpha"]
}
dependencies ::= {
  "financial_metrics_collection" -> "news_analysis" -> "analyst_opinions"
}

3. النتائج المسترداة

  • نتائج استرداد بنيوية لكل مصدر
  • تشمل البيانات الوصفية (الموثوقية، الطابع الزمني، إلخ)

4. الإجابة النهائية

  • إجابة قائمة على الاستدلال تجمع النتائج المسترداة

نظام المكافأة متعدد المكوّنات

يُجري R-Search تدريب RL بتصميم إشارات مكافأة منفصلة لكل مكوّن إخراج:

\[R_{total} = w_1 R_{reasoning} + w_2 R_{planning} + w_3 R_{retrieval} + w_4 R_{synthesis}\] 
def compute_component_rewards(output, ground_truth):
    rewards = {}
    
    # مكافأة خطوة الاستدلال: الاتساق المنطقي
    rewards['reasoning'] = evaluate_logical_consistency(
        output.reasoning_steps
    )
    
    # مكافأة التخطيط: كفاءة الاسترداد
    rewards['planning'] = evaluate_search_efficiency(
        output.search_dag, ground_truth.required_sources
    )
    
    # مكافأة الاسترداد: الصلة والاكتمال
    rewards['retrieval'] = evaluate_retrieval_quality(
        output.retrieved_results, ground_truth.relevant_info
    )
    
    # مكافأة التوليف: دقة الإجابة النهائية
    rewards['synthesis'] = evaluate_answer_accuracy(
        output.final_answer, ground_truth.answer
    )
    
    return rewards

تحقيق الأداء والكفاءة معًا

أداء المعايير:

  • FinSearchBench-24: تحسن 12% على أفضل مستوى سابق
  • SearchExpertBench-25: تحقيق دقة استرداد على مستوى الخبراء
  • 7 معايير إجابة على الأسئلة: تحسن متوسط 8.5%

تحسينات الكفاءة:

  • استخدام رموز السياق: انخفاض 70%
  • زمن الاستجابة للتنفيذ: انخفاض 50%
  • عدد استدعاءات API: انخفاض 60%

9. ReLIFT: تجاوز حدود RL والتعلم الخاضع للإشراف

الورقة البحثية: ReLIFT: Learning What Reinforcement Learning Can’t - Interleaved Online Fine-Tuning for Hardest Questions (arXiv 2506.07527، يونيو 2025)

يحلل ReLIFT بعمق الاختلافات الجوهرية بين التعلم المعزز والتعلم الخاضع للإشراف، ويقدم مقاربةً مبتكرةً تجمع مزايا المنهجيتين بصورة استراتيجية. الرؤية الجوهرية لهذا البحث هي اكتشاف أن RL وSFT يُحققان أنواعًا مختلفة من التحسين.

تمايز أدوار RL وSFT

نقاط قوة RL وقيوده:

  • يُحسِّن المعرفة الحالية التي يمتلكها النموذج بالفعل
  • يحسّن أنماط الاستدلال
  • اكتساب محدود لمعرفة جديدة

نقاط قوة SFT وقيوده:

  • يُدخل معرفةً جديدةً لا يعرفها النموذج
  • تكيّف سريع بأمثلة قليلة عالية الجودة
  • توظيف غير كفء للمعرفة الحالية

استراتيجية التكامل التكيفي لـ ReLIFT

1. الكشف الديناميكي عن الصعوبة

def assess_question_difficulty(model, question, threshold=0.3):
    """
    تحديد ما إذا كان النموذج يجد صعوبة في سؤال محدد
    """
    # محاولات متعددة للتحقق من الاتساق
    attempts = [model.generate(question) for _ in range(5)]
    
    # حساب درجة اتساق الإجابة
    consistency_score = calculate_consistency(attempts)
    
    # التحقق من معدل الدقة
    accuracy = evaluate_answers(attempts, ground_truth)
    
    # معيار السؤال الصعب
    is_hard = (consistency_score < threshold) or (accuracy < 0.5)
    
    return is_hard, consistency_score, accuracy

2. عملية التدريب المتشابكة

def relift_training(model, questions, rl_optimizer, sft_optimizer):
    """
    تدريب ReLIFT المتشابك RL-SFT
    """
    for epoch in range(num_epochs):
        # المرحلة 1: تحسين الأداء العام بـ RL
        rl_loss = rl_training_step(model, questions, rl_optimizer)
        
        # المرحلة 2: تحديد الأسئلة الصعبة
        hard_questions = []
        for q in questions:
            is_hard, _, _ = assess_question_difficulty(model, q)
            if is_hard:
                hard_questions.append(q)
        
        # المرحلة 3: جمع حلول عالية الجودة للأسئلة الصعبة
        if hard_questions:
            expert_solutions = collect_expert_solutions(hard_questions)
            
            # المرحلة 4: حقن معرفة/أنماط جديدة بـ SFT
            sft_loss = sft_training_step(
                model, hard_questions, expert_solutions, sft_optimizer
            )
        
        print(f"Epoch {epoch}: RL Loss = {rl_loss:.4f}, "
              f"SFT Loss = {sft_loss:.4f}, "
              f"Hard Questions = {len(hard_questions)}")

الابتكار في كفاءة البيانات

من أكثر إنجازات ReLIFT إثارةً للاهتمام هو تحقيق تحسينات أداء كبيرة ببيانات توضيحية محدودة للغاية:

استخدام البيانات:

  • يستخدم 13% فقط من إجمالي بيانات التوضيح
  • يطبّق SFT بكثافة على المشكلات الصعبة فقط

تحسين الأداء:

  • 5 معايير على مستوى المسابقات: تحسين متوسط 5.2 نقطة
  • معيار واحد خارج التوزيع: تحسين 4.8 نقطة

الانعكاسات النظرية: التكامل بين التعلمَين

يقدم ReLIFT الرؤية النظرية المهمة التالية:

تمايز أدوار منهجيات التعلم:

  • RL: “كيف نؤدي بشكل أفضل؟” (تحسين)
  • SFT: “ماذا نتعلم جديدًا؟” (توسيع المعرفة)

مبادئ التصميم للتعلم الفعّال:

  1. أولًا: تعظيم القدرات الحالية بـ RL
  2. حقن معرفة جديدة بـ SFT عند نقطة الحد
  3. النمو المستمر عبر التكرار الدوري

10. L2T: تعلم التفكير بكفاءة نظرية-معلوماتية

الورقة البحثية: L2T: Learning to Think - Information-Theoretic Reinforcement Fine-Tuning (arXiv 2505.10425، مايو 2025)

يحل L2T (تعلم التفكير) أحد أعمق معضلات التدريب القائم على RL للنماذج: التوازن بين فعالية الاستدلال وكفاءة الرموز. الاستدلال الأعمق والأكثر تفصيلًا يُنتج نتائج أفضل بشكل عام، لكنه في الوقت ذاته يولّد تكاليف حوسبة أعلى وزمن استجابة أطول.

نمذجة الجلسة الهرمية

يُنمذج L2T كل تفاعل استعلام-استجابة بوصفه جلسةً هرمية:

بنية الجلسة:

الجلسة = {
  الاستعلام،
  سلسلة الاستدلال: [
    خطوة_استدلال_1،
    خطوة_استدلال_2،
    ...،
    خطوة_استدلال_n
  ]،
  الإجابة النهائية
}

صنع القرار الهرمي:

  • القرار الكلي: كم عدد خطوات الاستدلال المطلوبة؟
  • القرار الجزئي: ما الاستدلال الواجب إجراؤه في كل خطوة؟

تصميم المكافأة النظرية-المعلوماتية

الابتكار الجوهري لـ L2T هو تصميم مكافآت عملية كثيفة مستندة إلى الكسب المعلوماتي في فضاء المعاملات.

قياس الكسب المعلوماتي: \(\text{الكسب المعلوماتي} = \mathbb{E}[\log p(\theta_{t+1} | D_{t+1}) - \log p(\theta_t | D_t)]\)

حيث $\theta_t$ معاملات النموذج في الوقت $t$ و$D_t$ بيانات التدريب حتى الوقت $t$.

التقدير العملي باستخدام حدود PAC-Bayes: \(\text{الكسب المعلوماتي} \approx \frac{1}{2} \text{tr}(F(\theta)^{-1} \Delta\theta \Delta\theta^T)\)

حيث $F(\theta)$ مصفوفة معلومات فيشر.

آلية توازن الكفاءة والفعالية

تصميم دالة المكافأة:

def compute_l2t_reward(reasoning_steps, final_answer, ground_truth):
    """
    حساب مكافأة L2T النظرية-المعلوماتية
    """
    # 1. مكافأة الدقة
    accuracy_reward = evaluate_answer_quality(final_answer, ground_truth)
    
    # 2. مكافأة الكسب المعلوماتي
    info_gain_rewards = []
    for step in reasoning_steps:
        # قياس مقدار المعلومات التي توفرها كل خطوة استدلال للنموذج
        info_gain = estimate_information_gain(step)
        info_gain_rewards.append(info_gain)
    
    # 3. عقوبة الكفاءة
    length_penalty = -lambda_efficiency * len(reasoning_steps)
    
    # 4. تنظيم لمنع التحديثات المفرطة
    excessive_update_penalty = -lambda_stability * max(0, 
        max(info_gain_rewards) - info_gain_threshold
    )
    
    # المكافأة الكلية
    total_reward = (
        accuracy_reward + 
        sum(info_gain_rewards) + 
        length_penalty + 
        excessive_update_penalty
    )
    
    return total_reward

التحكم التكيفي في طول الاستدلال

تتعلم النماذج المُدرَّبة بـ L2T ضبط طول الاستدلال تلقائيًا وفق تعقيد المشكلة:

مشكلة بسيطة:

السؤال: 2 + 3 = ؟
الاستدلال: جمع 2 و3 يعطي 5
الإجابة: 5
(خطوات الاستدلال: 1، الرموز: 8)

مشكلة معقدة:

السؤال: مسألة هندسية معقدة
الاستدلال:
1. تحليل الشروط المعطاة...
2. تطبيق النظريات ذات الصلة...
3. الحساب خطوةً خطوة...
4. التحقق من النتائج...
الإجابة: [حل مفصل]
(خطوات الاستدلال: 4، الرموز: 156)

نتائج الأداء والكفاءة

تحسينات كفاءة الرموز:

  • حل المسائل الرياضية: متوسط انخفاض الرموز 32%، تحسين الأداء 2%
  • الاستدلال المنطقي: متوسط انخفاض الرموز 28%، الأداء محافَظ عليه
  • مسائل البرمجة: متوسط انخفاض الرموز 35%، تحسين الأداء 1.5%

مقاييس جودة الاستدلال:

المقياس RL القياسي L2T التحسن
الدقة 78.5% 80.2% +1.7%
متوسط الرموز 245 168 -31%
اتساق الاستدلال 0.72 0.81 +12.5%
تكلفة الحوسبة 100% 68% -32%

الخلاصة: مستقبل تطوير الذكاء الاصطناعي الوكيل القائم على RL

تُثبت الأوراق البحثية العشر الجوهرية المنشورة بعد أبريل 2025 أن التدريب اللاحق القائم على RL يترسّخ بوصفه النموذج الجوهري لبناء أنظمة وكيلة حقيقية مستقلة وذكية، متجاوزًا مجرد تحسين النماذج اللغوية.

الاختراقات التقنية الجوهرية

1. الدمج متعدد الوسائط للأدوات كما أثبت Visual-ARFT وReTool، تستطيع النماذج الآن عبر التعلم المعزز استخدام أدوات خارجية معقدة استراتيجيًا بما يتجاوز توليد النصوص. هذا أرسى الأساس للوكلاء لأداء مهام عالمية حقيقية معقدة.

2. التعاون متعدد الوكلاء أتاح الإطار متعدد الوكلاء الذي قدمه MARFT حل المشكلات المعقدة عبر التعاون الجماعي، متجاوزًا حدود الوكلاء الفرديين.

3. التوازن بين الكفاءة والفعالية حلّت L2T وبحوث تحسين كفاءة البيانات بصورة جوهرية مشكلة التكاليف الحوسبية المرتفعة التي كانت العائق الأكبر أمام التدريب القائم على RL.

الاستراتيجية المتكاملة للتطبيق العملي

المرحلة الأولى: بناء القدرات التأسيسية (UFT + التحديثات المتفرقة)

  • تدريب وكلاء أساسيين يدمجون التعلم الخاضع للإشراف والتعلم المعزز بـ UFT
  • تحسين فعّال للمعاملات مستفيدًا من خصائص التحديثات المتفرقة

المرحلة الثانية: تطوير قدرة استخدام الأدوات (Visual-ARFT + ReTool)

  • تعلّم استخدام الأدوات الجوهرية الخاصة بالمجال
  • تعزيز القدرة على توقيت استدعاء الأدوات وتفسير النتائج

المرحلة الثالثة: الاستدلال والاسترداد المتقدم (R-Search + ReLIFT)

  • تطوير قدرة استرداد المعلومات متعددة المصادر وتجميعها
  • بناء أنظمة تعلم تكيفية لسد ثغرات المعرفة

المرحلة الرابعة: التعاون الجماعي وتحسين الكفاءة (MARFT + L2T + SEC)

  • بناء أنظمة تعاون متعددة الوكلاء
  • التحسين المستمر عبر تعلم المناهج الآلي
  • تحقيق كفاءة التكلفة عبر تحسين الاستدلال النظري-المعلوماتي

سيكون عام 2025 نقطة تحول يتحوّل فيها التدريب اللاحق القائم على RL من بحث نظري إلى تقنية عملية. المنهجيات التي قدمتها هذه الأوراق لم تعد تجارب معملية بل تقنيات موثّقة قابلة للتطبيق الفوري في البيئات المؤسسية الحقيقية.

참고