-->

⏱️ وقت القراءة المقدر: 10 دقائق

مقدمة

في يوليو 2025، نشر باحثون من مؤسسات صينية بارزة ورقة بحثية حول ARPO (Agentic Reinforced Policy Optimization)، التي تقدم مقاربة جديدة في مجال التعلم المعزز لوكلاء النماذج اللغوية الكبيرة (LLM). ينطلق البحث من ملاحظة مثيرة للاهتمام: بعد تفاعل الوكيل مع الأدوات، ترتفع قيمة الانتروبيا (مقياس التشتت في التوزيع الاحتمالي) بشكل لافت. أفرز هذا الاكتشاف خوارزمية تستثمر هذه التغيّرات لتحقيق أداء أعلى بموارد أقل بنسبة 50% مقارنةً بالأساليب القائمة.

الاكتشاف الجوهري: ارتفاع الانتروبيا بعد استخدام الأدوات

رصد فريق البحث ظاهرة مهمة: بعد تفاعل الوكيل مع الأدوات، ترتفع قيمة الانتروبيا بنسبة تتراوح بين 40% و60%. تكشف هذه الظاهرة أن لحظات الانتروبيا المرتفعة هي أشد اللحظات أهمية في تشكيل سلوك الوكيل. فعند تلقّي النموذج نتيجة أداة ما، يواجه خيارات متعددة في التفسير، وهنا تغدو قرارات المسار التالي حاسمة.

الخوارزمية: آلية العمل

الأخذ بعينات التكيّفي القائم على الانتروبيا

class ARPOAdaptiveRollout:
    def __init__(self, entropy_threshold=0.5, max_branches=4):
        self.entropy_threshold = entropy_threshold
        self.max_branches = max_branches
    
    def rollout(self, model, state, tool_result):
        current_entropy = self.calculate_entropy(model, state)
        
        if current_entropy > self.entropy_threshold:
            # حالة انتروبيا مرتفعة: توليد مسارات متعددة
            num_branches = min(
                int(current_entropy / self.entropy_threshold),
                self.max_branches
            )
            branches = []
            for _ in range(num_branches):
                branch = model.generate(state, temperature=0.8)
                branches.append(branch)
            return branches
        else:
            # حالة انتروبيا منخفضة: مسار واحد كافٍ
            return [model.generate(state, temperature=0.3)]

إسناد الميزة (Advantage Attribution)

class AdvantageAttribution:
    def calculate_advantage(self, trajectory, tool_interactions):
        shared_advantage = self.baseline_model(trajectory)
        
        branch_advantages = []
        for branch in trajectory.branches:
            branch_specific = self.evaluate_branch(branch, tool_interactions)
            combined = shared_advantage + branch_specific
            branch_advantages.append(combined)
        
        return branch_advantages

النتائج: الأداء على المعايير

اختُبرت ARPO على 13 معيارًا مرجعيًا متنوعًا وأظهرت نتائج لافتة:

المعيار النتيجة
GAIA 61.2%
HLE 24.0%
Xbench-DS 59.0%
AIME24 42.1%
AIME25 38.7%
HotpotQA 67.8%

الكفاءة

  • أقل بنسبة 50% في استدعاءات الأدوات مقارنةً بـ GRPO
  • يكفي 1000 عينة تدريبية للحصول على أداء تنافسي
  • نتائج تجاوزت GRPO على معظم المعايير

الأسس الرياضية

صيغة عتبة الانتروبيا

تُحسب درجة الانتروبيا بعد كل تفاعل مع أداة، وإذا تجاوزت العتبة المحددة (الافتراضية 0.5) تُفعَّل آلية التفرع:

entropy_score = H(p(next_token | state, tool_result))
if entropy_score > threshold:
    activate_branching()

صيغة عدد الفروع التكيّفية

يتحدد عدد الفروع ديناميكيًا:

num_branches = min(floor(entropy_score / threshold), max_branches)

صيغة الميزة الموزونة

تجمع دالة الميزة بين مسار الجذر والفروع المتخصصة:

A(trajectory) = w_shared * A_shared + w_branch * A_branch

خط أنابيب التدريب الكامل

def setup_arpo_training():
    base_model = load_model("Qwen3-7B")
    
    arpo_config = {
        "entropy_threshold": 0.5,
        "max_branches": 4,
        "advantage_weights": {"shared": 0.6, "branch": 0.4},
        "tool_interaction_bonus": 0.1
    }
    
    return ARPOTrainer(
        model=base_model,
        config=arpo_config,
        rollout_strategy="adaptive_entropy"
    )

def train_with_arpo(trainer, dataset):
    for episode in dataset:
        rollout = trainer.adaptive_rollout(episode)
        advantage = trainer.calculate_advantage(rollout)
        trainer.update_policy(advantage)
        
        if episode.has_tool_interactions():
            trainer.apply_entropy_bonus(episode)
    
    return trainer.model

إعداد البيئة وتشغيل التدريب

# تثبيت المتطلبات
pip install transformers torch arpo-framework

# تشغيل التدريب
python train_arpo.py \
    --model Qwen3-7B \
    --entropy-threshold 0.5 \
    --max-branches 4 \
    --dataset multi-turn-agent-data \
    --epochs 3

القيود والتوجهات المستقبلية

القيود الراهنة

  • التخصص في المجال: قد تتباين النتائج عبر مجالات مختلفة جذريًا
  • العبء الحسابي: يزيد التفرع التكيّفي من تكلفة الاستدلال في مراحل بعينها
  • ضبط العتبة: تتطلب العتبة المثلى ضبطًا دقيقًا حسب المجال
  • التوسع في حوارات طويلة: قد تتراجع الفاعلية في الحوارات الطويلة جدًا

الاتجاهات المستقبلية

  • وكلاء البرمجة: أتمتة كتابة الكود وتصحيحه بفاعلية أعلى
  • الأعمال الإبداعية: توليد محتوى متنوع
  • التطبيقات العلمية: تحليل الأبحاث وتوليد الفرضيات
  • التعليم: أنظمة تعليمية تكيّفية
  • العتبات الديناميكية: عتبات انتروبيا تتكيّف تلقائيًا مع السياق
  • كفاءة الذاكرة: تحسين استهلاك الذاكرة في حالات التفرع المتعدد
  • الوسائط المتعددة: دعم مدخلات الصورة والصوت

التأثير على قطاع الصناعة

تخفيض التكلفة بنسبة 50%

تعني كفاءة ARPO أن خدمات وكلاء الذكاء الاصطناعي قد تصبح أرخص بنسبة 50% في جوانب بعينها. ما كان يستلزم موارد ضخمة بات أكثر جدوى اقتصادية، مما يفتح الباب أمام نشر أوسع لتقنيات الوكلاء في تطبيقات تجارية.

توسيع منظومة أدوات التطوير

يدعو نجاح ARPO المطورين إلى بناء وكلاء ذكاء اصطناعي معقدة لمهام متخصصة: أتمتة اختبار البرمجيات، ومعالجة الوثائق، وإدارة قواعد البيانات، وغيرها.

المصدر المفتوح

أتاح الفريق البحثي مصادر ARPO للمجتمع العلمي:

  • GitHub: dongguanting/ARPO
  • HuggingFace Collections: نماذج مدرَّبة ومجموعات بيانات

خلاصة

تُقدم ARPO مساهمة نوعية في مجال التعلم المعزز لوكلاء اللغة، إذ تحوّل ظاهرة ارتفاع الانتروبيا بعد استخدام الأدوات من مجرد ملاحظة إلى آلية تحسين فعّالة. النتائج على 13 معيارًا مرجعيًا مع استهلاك موارد أقل بنسبة 50% تجعل هذا البحث إضافة ذات قيمة للمجال، وإن كانت التطبيقات العملية ستحتاج إلى مزيد من التحقق عبر مجالات متنوعة.

مراجع:

참고