أتمتة البحث بمستوى الدكتوراه باستخدام منهجية STORM: سير عمل من أربع خطوات لتنسيق المعرفة
البحث عمل يستهلك وقتًا كبيرًا. فلكي تتعمّق في موضوع ما كما ينبغي، عليك أن تصوغ الأسئلة، وتجمع المواد من زوايا متعددة، وتبني هيكلًا، ثم تكتب ناتجًا مرفقًا بالاستشهادات. إن STORM (Synthesis of Topic Outlines through Retrieval and Multi-perspective question asking)، الذي أصدره مختبر OVAL في جامعة ستانفورد، هو نظام لتنسيق المعرفة يؤتمت هذه العملية باستخدام نموذج لغة كبير. وقد عُرض في مؤتمر NAACL 2024، وهدفه توليد مقالات طويلة بمستوى ويكيبيديا، مرفقة بالاستشهادات، من الصفر.
في ThakiCloud نُشغّل منصة SaaS للذكاء الاصطناعي والتعلم الآلي قائمة على K8s، وقد تعاملنا مباشرةً مع سير عمل العمل المعرفي متعدد الوكلاء. فيما يلي ننظر في كيفية نقل تصميم STORM إلى خط أنابيب عملي، ولماذا هو أفضل بنيويًا من موجِّه بسيط من نوع “لخّص لي هذا”.
جوهر STORM: مرحلة ما قبل الكتابة هي التي تصنع الجودة
معظم الكتابة بنماذج اللغة الكبيرة تسير على نحو “أعطِها موضوعًا فتكتب المتن فورًا”. ما يميّز STORM أنه يركّز على مرحلة ما قبل الكتابة (pre-writing). فهو يحاكي ما يفعله الخبير البشري قبل أن يبدأ الكتابة.
ينقسم خط أنابيب STORM إلى مرحلتين رئيسيتين.
- توليد الأسئلة متعددة المنظورات + كتابة المخطط: ينظر إلى الموضوع من خلال عدة شخصيات (منظورات)، ويصوغ الأسئلة، ويجمع لكل سؤال أدلة عبر البحث، ثم يركّب النتائج في مخطط هرمي.
- كتابة المتن استنادًا إلى المخطط: يتبع المخطط الذي بناه فيملأ المتن قسمًا قسمًا، ويربط الأدلة المسترجَعة على هيئة استشهادات.
الفكرة المحورية هي “طرح الأسئلة من منظورات متعددة”. فالسؤال من منظور واحد يترك نقاطًا عمياء، أما حين تطرح عدة شخصيات أسئلتها انطلاقًا من اهتماماتها الخاصة فإن التغطية تتسع. وهذا هو تمامًا نمط التحقق من المشكلة نفسها عبر عدسات مختلفة في نظام متعدد الوكلاء.
نقلها إلى سير عمل من أربع موجِّهات
حتى دون تشغيل قاعدة شيفرة STORM كاملة (stanford-oval/storm)، يمكنك نقل هيكل المنهجية إلى سير عمل موجِّهات من أربع خطوات. والمفتاح هو “ألّا تطلب منه كل شيء دفعةً واحدة، بل أن تفصل الخطوات”.
- الخطوة 1، اكتشاف المنظورات: اجعله يستخرج من 3 إلى 5 شخصيات مختلفة لأصحاب المصلحة/الخبراء حول الموضوع. وحدِّد صراحةً ما الذي يثير فضول كل شخصية أكثر من غيره.
- الخطوة 2، الأسئلة متعددة المنظورات: ولِّد أسئلة محددة من زاوية كل شخصية، واجمع لكل سؤال أدلة قابلة للبحث (موصولة بالبحث على الويب / إدخال المستندات).
- الخطوة 3، تركيب المخطط: ركِّب الأدلة المجموعة في مخطط هرمي. وعند هذه المرحلة، أزِل التكرار وثبِّت الترتيب المنطقي.
- الخطوة 4، كتابة المتن مع الاستشهادات: اكتب المتن متبعًا المخطط، لكن اربط كل ادّعاء بدليل.
فصل الخطوات يتيح لك التحقق من النواتج الوسيطة. فإذا كان المخطط رديئًا كان المتن رديئًا أيضًا، ومن ثَمّ فإن التوقف عند الخطوة 3 وإصلاحها أرخص بكثير من رمي ناتج الخطوة 4 بأكمله.
القيمة العملية من منظور عالم البيانات
هناك ثلاثة أسباب تجعل STORM مفيدًا كمنهجية لا مجرّد نصيحة في صياغة الموجِّهات.
- فصل المراحل هو نقطة التحقق: يتيح لك خط الأنابيب المُفكَّك قياس الجودة عند كل مرحلة. فعند تقييم وكيل بحثي، ينبغي أن تنظر إلى “تغطية الأسئلة” و”معدل الاستشهاد بالأدلة” و”اتساق المخطط” مرحلةً مرحلة، بدلًا من سطر واحد لجودة التقرير النهائي. هكذا يصبح عنق الزجاجة مرئيًا.
- تعدد المنظورات = محرّك التغطية: تنويع المنظورات التي تطرح منها الأسئلة أكثر فاعلية في سدّ الثغرات من مجرد تشغيل المزيد من عمليات البحث. وهذا يتوافق مع الخبرة العملية القائلة إن محرّك التنوع الحقيقي هو تنوّع استراتيجيات الاستعلام، لا عدد أدوات البحث.
- فرض الاستشهاد يقلّل الهلوسة: ربط كل ادّعاء بدليل مسترجَع يقلّل المجال المتاح للنموذج كي يختلق. ومع ذلك، فإن كون رابط الدليل قابلًا للوصول فعلًا أمرٌ يجب التحقق منه بالشيفرة. وثمة حاجة إلى حارس منفصل يمنع النموذج من تلفيق الاستشهادات.
منظور ThakiCloud: التعامل مع سير عمل المعرفة كبنية تحتية
نحن نعمل على تشغيل خطوط أنابيب البحث متعددة المراحل هذه بصورة قابلة للتكرار على K8s. فبفصل كل مرحلة إلى مهمة مستقلة، يمكنك توجيه البحث والتركيب والكتابة إلى مستويات نماذج مختلفة: الاستكشاف إلى نموذج رخيص، والتركيب والحكم إلى نموذج قوي. هذا التصميم الذي يفصل التكلفة عن الجودة هو جوهر العمل المعرفي متعدد الوكلاء.
رسالة STORM واضحة. لا تأتي الأتمتة الجيدة للبحث من “نموذج أذكى” بل من “تصميم أفضل لمرحلة ما قبل الكتابة”. قبل أن تكتب، اطرح الأسئلة، وابحث، وابنِ الهيكل. ثم اكتب.
المصدر: STORM (Synthesis of Topic Outlines through Retrieval and Multi-perspective question asking), Stanford OVAL Lab (NAACL 2024). GitHub: https://github.com/stanford-oval/storm