نظرة عامة
FAISS (بحث التشابه من Facebook) هي مكتبة بحث متقدمة للبحث عن التشابه في المتجهات طورتها Meta AI. وهي مرنة ومفتوحة المصدر ومثالية للتطبيقات الحكومية والعراقة. وهي تعالج مليارات المتجهات بسرعة رهيبة.
كيف تعمل
تخزين وفهرسة المتجهات
يتم تحويل الوثائق إلى متجهات وتخزينها في FAISS:
- Embedding للنص — تحويل الوثائق إلى متجهات رقمية
- تخزين البيانات الوصفية — النص الأصلي والمصدر والتاريخ وغيرها
- طرق فهرسة متعددة - IVF (Inverted File)، HNSW، أو PQ (Product Quantization)
- تسريع GPU - دعم اختياري لـ CUDA لمعالجة أسرع
- كفاءة الذاكرة - فهرسة مضغوطة للتطبيقات واسعة النطاق
البحث الدلالي
يعثر FAISS على الوثائق بناءً على المعنى:
- بحث سريع عن أقرب الجيران - إيجاد أكثر k متجهات تشابهًا في ميلي ثانية
- قابلية التوسع - بحث فعّال على ملايين أو مليارات المتجهات
- دعم التصفية - دمج البحث عن التشابه مع تصفية البيانات الوصفية
- بحث شبه خطي - خوارزميات تقريبية للأداء الأسرع
التكامل مع وكلاء الذكاء الاصطناعي
يوفّر FAISS السياق الغني لتوليد إجابات دقيقة:
- RAG - توليد مدعوم بالوثائق المسترجعة للإجابات الموثوقة
- تحديث فوري - إضافة وثائق جديدة وإعادة بناء الفهارس بكفاءة
- تتبع المصدر - معرفة الوثائق التي دعمت الإجابة
- البحث متعدد الفهارس - البحث عبر مجموعات وثائق مختلفة في الوقت ذاته
- فهرسة مرنة - اختيار نوع الفهرس حسب توازن السرعة والدقة
مثال: وكيل الأنظمة والتشريعات
سيناريو: يسأل المستخدم "ما متطلبات السلامة من الحريق للمباني العامة؟"
- تحويل السؤال إلى Embedding
- بحث FAISS عن متجهات متشابهة في مجموعة التشريعات باستخدام فهرسة IVF
- استرجاع أفضل 10 مقاطع تشريعية بسرعة فائقة
- إرسال المقاطع المسترجعة إلى Ollama كسياق
- توليد إجابة شاملة مع الاستشهادات المناسبة
لماذا FAISS؟
المميزات الرئيسية
- الأداء: بحث على ملايين المتجهات خلال ميلي ثانية
- كفاءة الذاكرة: ضغط Product Quantization بنسبة 10-100x
- مفتوح المصدر: يتم صيانته بنشاط بواسطة Meta AI Research
- دعم GPU: تسريع CUDA اختياري لسرعة أكبر
- فهرسة مرنة: خوارزميات متعددة لموازنة الدقة والسرعة
- جاهز للإنتاج: مستخدم على نطاق واسع من قبل شركات الذكاء الاصطناعي الرائدة
أنواع الفهرسة
طرق الفهرسة المتاحة
- IVF (Inverted File): تقسيم المتجهات إلى مجموعات للبحث الأسرع
- HNSW: بحث قائم على الرسم البياني الهرمي، دقة وسرعة عالية
- PQ (Product Quantization): ضغط المتجهات مع الحفاظ على جودة البحث
- Flat: بحث شامل للدقة المثالية على مجموعات البيانات الأصغر
- المجموعات: دمج طرق الفهرسة (IVF+PQ، IVF+HNSW) للنتائج المثلى
مواصفات تقنية
المكتبة: FAISS من Meta AI Research
السعة المتجهة: مليارات المتجهات
وقت البحث: ميلي ثانية عند البحث عن k-NN على مجموعات كبيرة
الذاكرة: محسّنة مع الضغط (خفض 10-100x)
دعم GPU: مفعّل CUDA للتسريع
الواجهة: Python API مع Backend C++