-->

⏱️ وقت القراءة المقدر: 20 دقيقة

مقدمة

العامل الأكثر أهمية في بناء أنظمة RAG (الجيل المعزز بالاسترجاع) المؤسسية هو البيانات عالية الجودة المخصصة للمجال. يقدم هذا الدليل مجموعات بيانات عامة مُتحقق منها وطرق تنفيذ عملية متاحة عبر 7 قطاعات صناعية رئيسية.

ميزات الدليل

  • ✅ وصول مجاني: جميع مجموعات البيانات متاحة مجاناً
  • ✅ هيكل منظم: هياكل واضحة تسهل تصميم أنظمة RAG
  • ✅ جاهز للإثبات: قابل للتطبيق فوراً لعروض العملاء المؤسسيين
  • ✅ كود عملي: أمثلة تنفيذ مقدمة لكل مجموعة بيانات
  • ✅ مُتحقق في الإنتاج: فقط مجموعات البيانات المُتحقق منها في البيئات التشغيلية الفعلية

ملخص مجموعات البيانات الصناعية

القطاع مجموعة البيانات الموصى بها حجم البيانات حالات الاستخدام الأساسية
البنوك FDIC Call Report أكثر من 5,000 مؤسسة، ربع سنوي أسئلة وأجوبة البيانات المالية، تحليل المخاطر
التأمين NAIC InsData أكثر من 3,000 شركة تأمين تحليل المطالبات، معالجة الشكاوى
المحاسبة SEC XBRL أكثر من 8,000 شركة عامة البحث في البنود المالية، تحليل الإفصاحات
القانون CourtListener أكثر من 4 مليون قضية البحث في السوابق القضائية، الاستشارة القانونية
الرعاية الصحية MIMIC-IV أكثر من 300 ألف مريض أسئلة وأجوبة سريرية، دعم التشخيص
السيارات NHTSA API مئات الآلاف من عمليات الاستدعاء استفسارات السلامة، إشعارات الاستدعاء
الأوراق المالية NASDAQ Data أكثر من 15 سنة من أسعار الأسهم تحليل الاستثمار، توقع الاتجاهات

1. البنوك وتحليل الائتمان

1-1. FDIC Call Report

نظرة عامة: بيانات البيانات المالية الربع سنوية المقدمة من جميع البنوك الخاضعة لإشراف FDIC

هيكل البيانات: تتضمن مجموعة البيانات معلومات بنكية شاملة مثل أسماء البنوك ومعرفات الشهادات والفترات الربع سنوية وإجمالي الأصول ونسب رأس المال من الطبقة الأولى وصافي الدخل ومخصصات خسائر القروض.

تنفيذ RAG: يمكن تنفيذ النظام باستخدام محملات المستندات LangChain لبيانات CSV، ومقسمات النص العودية المحسنة لبيانات CSV بأحجام قطع ومفصلات مناسبة، ومخازن المتجهات باستخدام تضمينات OpenAI. يمكن إنشاء قطع ملفات البنوك التي تحتوي على المقاييس المالية الأساسية والمعلومات الربع سنوية.

سيناريوهات الاستخدام:

  • 📊 تحليل المخاطر: تحديد الخصائص المشتركة بين البنوك ذات نسب رأس المال أقل من 10%
  • 📈 مقارنة الأداء: تحديد موقع البنك بالنسبة للمؤسسات ذات الحجم المماثل
  • 🔍 الامتثال التنظيمي: تحديد البنود التي لا تلبي معايير بازل III

الوصول للبيانات: FDIC Call Reports

1-2. FRED API (بيانات الاحتياطي الفيدرالي الاقتصادية)

نظرة عامة: قاعدة بيانات المؤشرات الاقتصادية للاحتياطي الفيدرالي التي تحتوي على أكثر من 800,000 سلسلة زمنية

المؤشرات الرئيسية: تشمل قاعدة البيانات أسعار الفائدة مثل معدل الأموال الفيدرالية وعوائد الخزانة، ومقاييس المعروض النقدي بما في ذلك M1 وM2 وM3، ومؤشرات التوظيف مثل معدل البطالة وكشوف المرتبات غير الزراعية، ومقاييس التضخم بما في ذلك مؤشر أسعار المستهلك ونفقات الاستهلاك الشخصي.

تنفيذ RAG: يستخدم النظام FRED API لجمع المؤشرات الاقتصادية، وينشئ سياقاً اقتصادياً مع تحليل البيانات التاريخية، ويولد تقارير شاملة تشمل أحدث القيم والمقارنات السنوية والقيم القصوى التاريخية مع التواريخ المقابلة.

سيناريوهات الاستخدام:

  • 📊 سياسة الائتمان: تحديد اتجاهات تعديل محفظة القروض في بيئات أسعار الفائدة الحالية
  • 📉 التنبؤ الاقتصادي: تحليل دورة الأعمال بناءً على معدلات البطالة ونمو الناتج المحلي الإجمالي
  • 💹 تخصيص الأصول: استراتيجيات تخصيص الأصول المثلى خلال فترات التضخم

2. التأمين

2-1. NAIC InsData

نظرة عامة: بيانات السوق لشركات التأمين المقدمة من الرابطة الوطنية لمفوضي التأمين (NAIC)

مكونات البيانات: تشمل مجموعة البيانات الحصة السوقية ودخل الأقساط، ونسب الخسائر ونسب المصروفات، وعدد الشكاوى والتحليل حسب النوع، ومؤشرات السلامة المالية.

تنفيذ RAG: يصنف النظام أنواع الشكاوى بما في ذلك معالجة المطالبات وخدمة البوليصة وفوترة الأقساط والاكتتاب والمبيعات والتسويق. يتم إنشاء ملفات شركات التأمين التي تحتوي على أسماء الشركات والحصص السوقية ونسب الخسائر ونسب المصروفات وإجمالي الشكاوى وأنواع الشكاوى الأساسية والتصنيفات المالية.

حالات الاستخدام العملية: يمكّن النظام من قياس أداء شركات التأمين من خلال مقارنة المنافسين عبر مقاييس متعددة بما في ذلك نسب الخسائر ومعدلات الشكاوى والحصص السوقية، وإنشاء تقارير مقارنة شاملة لاتخاذ القرارات الاستراتيجية.

2-2. OpenFEMA NFIP Claims

نظرة عامة: بيانات مطالبات التأمين ضد الفيضانات من وكالة إدارة الطوارئ الفيدرالية (FEMA)

خصائص البيانات: تغطي مجموعة البيانات جميع مطالبات التأمين ضد الفيضانات من 1978 حتى الوقت الحاضر، والتصنيف التفصيلي حسب المنطقة ونوع الكارثة، ومبالغ تعويضات التأمين مع معلومات تقييم الأضرار.

التنفيذ: ينشئ النظام سياقات تقييم المخاطر حسب الرمز البريدي، ويحلل بيانات المطالبات التاريخية لإنشاء ملفات المخاطر بما في ذلك عدد المطالبات السابقة ومتوسط وأقصى مبالغ التعويض وأنواع الأضرار الأساسية ودرجات المخاطر المحسوبة.

3. المحاسبة ومواد الإفصاح

3-1. SEC XBRL Data

نظرة عامة: بيانات البيانات المالية المعيارية من لجنة الأوراق المالية والبورصات (SEC) للشركات العامة

هيكل XBRL: يشمل التنسيق المعياري الأصول والخصوم والإيرادات وعناصر مالية أخرى مع مراجع سياقية ومواصفات الوحدات لتفسير البيانات بدقة.

تنفيذ RAG: يحلل النظام ملفات XBRL لاستخراج البنود المالية الرئيسية بما في ذلك الأصول والخصوم وحقوق المساهمين والإيرادات وصافي الدخل والأرباح لكل سهم. يتم إنشاء ملخصات مالية تحتوي على أسماء الشركات وإجمالي الأصول وإجمالي الخصوم وحقوق المساهمين والإيرادات وصافي الدخل والأرباح لكل سهم.

معالجة الاستعلامات المتقدمة: يحسب النظام النسب المالية بما في ذلك النسب الجارية من الأصول والخصوم الجارية، ونسب الديون من الخصوم وحقوق المساهمين، والعائد على حقوق الملكية من صافي الدخل وحقوق المساهمين.

3-2. EDGAR 10-K Risk Factor Analysis

تنفيذ RAG: يستخرج النظام عوامل المخاطر من ملفات 10-K من خلال تحديد أقسام عوامل المخاطر في البند 1A، واستخراج محتوى القسم، وتقسيم عوامل المخاطر إلى وحدات ذات معنى. يتم تصنيف عوامل المخاطر إلى فئات السوق والتشغيل والمالية والتنظيمية والتكنولوجيا بناءً على تحليل الكلمات المفتاحية.

4. القانون

4-1. CourtListener

نظرة عامة: قاعدة بيانات قانونية تحتوي على أكثر من 4 مليون قضية محكمة أمريكية

تنفيذ API: يبحث النظام في القضايا باستخدام معاملات الاستعلام ومواصفات المحكمة ونطاقات التاريخ. يتم إنشاء ملخصات القضايا بما في ذلك أسماء القضايا والمحاكم وتواريخ التقديم واللجان والقضايا الرئيسية والتصرفات وعدد الاستشهادات.

نظام الأسئلة والأجوبة القانونية: يحدد النظام المجالات القانونية من الأسئلة، ويبحث في القضايا ذات الصلة بناءً على سياق الاختصاص، وينشئ إجابات قانونية مع السوابق القضائية ذات الصلة، مع تقديم إخلاء مسؤولية حول استشارة المحامين للمشورة القانونية المحددة.

4-2. Caselaw Access Project

بيانات السوابق القضائية لمدة 360 عاماً من كلية الحقوق بجامعة هارفارد: يحلل النظام التطور القانوني من خلال تتبع المفاهيم القانونية عبر الفترات الزمنية، وتحديد القضايا المعلمة والاتجاهات القانونية، وإنشاء سرديات التطور التي تظهر عمليات التطوير القانوني مع عدد القضايا والقرارات الرئيسية والاتجاهات الأساسية لكل فترة.

5. الرعاية الصحية

5-1. MIMIC-IV v3.1

نظرة عامة: مجموعة بيانات وحدة العناية المركزة من MIT تحتوي على أكثر من 300,000 مريض مع إزالة تحديد الهوية المكتملة

هيكل البيانات: يعالج النظام جداول متعددة بما في ذلك معلومات القبول ومعلومات المريض الأساسية ومعلومات الإقامة في وحدة العناية المركزة وسجلات الرسوم البيانية ونتائج المختبر ومعلومات الوصفات والملاحظات السريرية.

نظام الأسئلة والأجوبة الطبية: يصنف النظام الأسئلة الطبية إلى فئات التشخيص أو العلاج أو التشخيص أو العامة، ويتعامل مع كل نوع بالمعرفة الطبية المناسبة وتحليل الحالات المماثلة.

تحليل التفاعلات الدوائية: يحلل النظام سلامة الوصفات من خلال فحص التفاعلات الدوائية، وتقييم مستويات الخطورة، وإنشاء تقارير السلامة مع التحذيرات والتوصيات المناسبة.

5-2. PubMed Central OA

البحث في أدلة الأدبيات الطبية: يبحث النظام في الأدلة للأسئلة الطبية من خلال استخراج المصطلحات الطبية، وتنفيذ عمليات البحث في PMC، واستخراج معلومات الورقة التفصيلية بما في ذلك العناوين والمؤلفين والملخصات وعناوين URL. يتم إنشاء ملخصات الأدلة مع النتائج البحثية ذات الصلة وإخلاء المسؤولية الطبية المناسبة.

6. السيارات

6-1. NHTSA API

نظرة عامة: بيانات سلامة السيارات من الإدارة الوطنية لسلامة المرور على الطرق السريعة

تنفيذ API: يسترد النظام معلومات المركبة باستخدام استعلامات قائمة على VIN ومعلومات الاستدعاء حسب الشركة المصنعة والطراز والسنة. يتم إنشاء ملفات السلامة بما في ذلك تفاصيل الشركة المصنعة ومعلومات الطراز وسنوات الطراز وإجمالي عدد عمليات الاستدعاء والبنود الرئيسية للاستدعاء مع الوحدات المتأثرة والعلاجات.

تحليل بيانات الحوادث (FARS): يحلل النظام أنماط الحوادث لماركات وطرازات مركبات محددة، ويحدد العوامل المشتركة والاتجاهات الموسمية، وينشئ رؤى السلامة مع الإحصائيات الأساسية وعوامل المخاطر الرئيسية والديناميكيات الموسمية.

7. الأوراق المالية

7-1. NASDAQ Stock Data

نظام RAG شامل لبيانات الأسهم: يسترد النظام بيانات الأسهم مع حسابات المؤشرات الفنية بما في ذلك المتوسطات المتحركة البسيطة وRSI وMACD. يتم إنشاء سياقات تحليل الأسهم مع الأسعار الحالية والتغيرات اليومية وأعلى وأدنى مستويات 52 أسبوعاً والمؤشرات الفنية ومعلومات الشركة بما في ذلك القيمة السوقية ونسب السعر إلى الأرباح وعوائد الأرباح.

نظام تحليل المحفظة: يحلل النظام المحافظ من خلال حساب عوائد المحفظة ومؤشرات المخاطر بما في ذلك العوائد السنوية والتقلبات ونسب شارب والانخفاضات القصوى والقيمة المعرضة للخطر ومصفوفات الارتباط. يتم إنشاء تقارير محفظة شاملة تظهر التركيب ومقاييس الأداء ومؤشرات المخاطر وتحليل الارتباط.

دليل استراتيجية RAG مقابل الضبط الدقيق

الأساليب المثلى المخصصة للصناعة

يوفر النظام تكوينات مثلى لصناعات مختلفة. تستخدم تطبيقات البنوك أحجام قطع 512 مع تداخل 50، وتضمينات text-embedding-ada-002، ومخازن متجهات Pinecone، ونماذج إعادة ترتيب cross-encoder. تتطلب التطبيقات القانونية أحجام قطع أكبر 1024 مع تداخل 100 لاحتياجات السياق الأطول، وتضمينات sentence-transformers، ومخازن متجهات Weaviate، ونماذج إعادة ترتيب محسنة. تستخدم التطبيقات الطبية أحجام قطع أصغر 256 مع تداخل 25 للدقة، وتضمينات all-mpnet-base-v2، ومخازن متجهات Qdrant، ونماذج إعادة ترتيب متخصصة.

تنفيذ النهج المختلط

ينفذ النظام المختلط تطويراً من ثلاث مراحل: المرحلة الأولى تتضمن نشر نظام RAG مع بناء مخزن المتجهات لكل صناعة. المرحلة الثانية تجمع سجلات الأسئلة والأجوبة للمستخدمين خلال فترات المراقبة، وتقييم جودة استجابة RAG وتحديد مرشحي التحسين بدرجات جودة أقل من 0.7. المرحلة الثالثة تؤدي الضبط الدقيق على البيانات المختارة، وإعداد بيانات التدريب وإنشاء مهام الضبط الدقيق مع إجابات محسنة مدمجة مع سياقات مسترجعة من RAG.

اعتبارات الأمان والامتثال

إطار أمان البيانات

ينفذ إطار RAG الآمن أماناً على مستوى الصف مع قواعد وصول قائمة على الأدوار لأنواع مستخدمين مختلفة بما في ذلك محللي البنوك والمستشارين القانونيين والباحثين الطبيين. كل دور له جداول مسموحة محددة وحقول مقيدة ومتطلبات إخفاء البيانات.

تنفيذ حوكمة البيانات: يصنف النظام حساسية البيانات، ويحدد فترات الاحتفاظ، ويمكّن تسجيل الوصول، وينفذ التشفير أثناء الراحة والنقل.

امتثال GDPR والخصوصية

يضمن نظام RAG المتوافق مع الخصوصية امتثال GDPR من خلال اكتشاف المعلومات الشخصية والإخفاء التلقائي وتنفيذ الحق في المحو من خلال العثور على بيانات المستخدم وتمييزها للحذف مع تحديث تضمينات المتجهات.

تحسين الأداء والمراقبة

مقاييس أداء RAG

يقيس نظام مراقبة الأداء جودة الاسترجاع من خلال الدقة والاستدعاء وصلة السياق وصلة الإجابة والإخلاص والاكتمال. تشمل مؤشرات الأداء أوقات الاستجابة واستخدام الرموز والتكلفة لكل استعلام.

الضبط التلقائي للأداء

يحسن محسن RAG التلقائي أحجام القطع من خلال اختبار أحجام مختلفة مع تقييم الأداء، ويحسن معاملات الاسترجاع من خلال البحث الشبكي عبر قيم top-k وعتبات التشابه ومعاملات إعادة الترتيب.

مثال تنفيذ عملي

منصة RAG متعددة الصناعات

تشمل المنصة الشاملة معالجات صناعية للبنوك والتأمين والقانون والطب والسيارات وقطاعات الأوراق المالية. يقوم النظام بتهيئة أنظمة RAG المخصصة للصناعة من خلال معالجة البيانات المسبقة وبناء مخزن المتجهات وإعداد خط أنابيب RAG.

الاستعلام متعدد الصناعات: يتعامل النظام مع الاستعلامات عبر صناعات متعددة بناءً على أذونات المستخدم، ويدمج النتائج من قطاعات مختلفة، ويرتب المصادر حسب درجات الثقة لتقديم إجابات متكاملة شاملة.

الخلاصة

مجموعات البيانات العامة المُتحقق منها لـ 7 قطاعات صناعية المقدمة في هذا الدليل يمكن أن تكون نقاط انطلاق لبناء أنظمة RAG المؤسسية.

🎯 عوامل النجاح الرئيسية

  1. البناء التدريجي: التطوير التدريجي من RAG إلى المراقبة إلى الضبط الدقيق
  2. التحسين الصناعي: استراتيجيات التقسيم والتضمين المصممة خصيصاً لخصائص كل مجال
  3. الأمان أولاً: اعتبار حوكمة البيانات وتحكم الوصول من البداية
  4. التحسين المستمر: إنشاء أنظمة مراقبة الأداء والتحسين التلقائي

🚀 الخطوات التالية

  1. مرحلة إثبات المفهوم: ابدأ بـ 1-2 صناعات للتحقق من الوظائف الأساسية
  2. مرحلة التوسع: أضف مجالات صناعية أخرى بناءً على حالات النجاح
  3. المرحلة المتقدمة: دعم البيانات متعددة الوسائط والتحديثات في الوقت الفعلي

لا تتردد في طلب أدلة تنفيذ إضافية لصناعات محددة أو طرق استخدام مجموعات البيانات التفصيلية! 🤝

참고