مساعد ذكي يجيب من مستندات الشركة بالعربية: خطوات بنائه ليذكر مصادره
دليل لبناء مساعد ذكي يجيب من مستندات الشركة بالعربية: قراءة الصفحات الممسوحة، وتوحيد الكتابة، وتقسيم المستندات، والبحث بالكلمات والمعنى، وذكر المصدر، والاعتذار، واختبار اللهجات، ومتى لا تحتاجونه.
إليكم مثالاً توضيحياً على تعثّر مساعد ذكي يجيب من مستندات الشركة بالعربية في أسبوعه الأول. موظف في شركة مياه أردنية يكتب للمساعد الجديد "اجراءات الاستقاله" فلا يحصل على أي نتيجة، مع أن دليل الموارد البشرية يشرح إجراءات الاستقالة كاملة. الدليل ملف PDF ممسوح ضوئياً أخطأ برنامج التعرّف الضوئي على الحروف (OCR) في قراءة بعض كلماته، والموظف كتب الألف دون همزة والتاء المربوطة هاءً، والبحث بالكلمات يطابق الكتابة حرفاً بحرف. المشكلات الثلاث تقع في المراحل المحيطة بالنموذج اللغوي، وهناك يكون إصلاحها.
موقفنا واضح: أصلحوا جودة المستندات ووحّدوا الكتابة قبل اختيار النموذج، وحددوا متى يعتذر المساعد عن الإجابة قبل أن تحددوا كيف يجيب. الخطوات الخمس التالية مرتبة كما نوصي بتنفيذها عند بناء مساعد يبحث في مستندات مكتوبة بالعربية أو بالعربية والإنجليزية معاً، ومع كل خطوة اختبار بسيط. وفي آخر المقال الحالات التي لا ننصح فيها ببناء المساعد أصلاً.
الخطوة 1: افحصوا جودة قراءة المستندات الممسوحة ضوئياً
لا يستطيع المساعد أن يجد نصاً لم يُستخرج من الملف. افصلوا الملفات الرقمية الأصلية (مستندات Word وملفات PDF الرقمية وصفحات الويب) التي يُقرأ نصها مباشرة، عن الصفحات الممسوحة أو المصوّرة التي تحتاج إلى برنامج للتعرّف الضوئي على الحروف (OCR). وللمستندات العربية الممسوحة صعوبات خاصة: حروف متصلة، ونقاط تضيع في النسخ الباهتة، وأختام فوق النص، وصفحات تخلط العربية برموز وأرقام إنجليزية.
يوفر محرك Tesseract مفتوح المصدر نموذجاً للعربية (ara)، وتصف صفحة ملفات البيانات في دليله ثلاث مجموعات من النماذج: tessdata_fast وهي الأسرع والأقل دقة، وهي التي توزَّع مع أنظمة Linux، وtessdata_best وهي الأبطأ والأعلى دقة، وtessdata التي تقع بينهما. في أرشيف مختلط، شغّلوا نموذجي العربية والإنجليزية معاً، وجرّبوا المجموعة الأدق على صفحاتكم قبل أن تقبلوا ما جاء مع التثبيت.
اختبار بسيط: اختاروا من 20 إلى 30 صفحة تمثل الأرشيف، واكتبوا بأيديكم النص الصحيح لبضع فقرات منها، واحسبوا نسبة الحروف التي أخطأ فيها البرنامج. اتفقوا على الحد المقبول قبل أن تروا النتائج. الصفحات التي لا تنجح في الاختبار تذهب إلى إعادة المسح أو إلى برنامج آخر أو إلى التصحيح اليدوي، ولا تدخل الفهرس دون أن ينتبه أحد.
مثال توضيحي: شركة تأمين سعودية متوسطة الحجم لديها أدلة مطالبات مُسحت قبل سنوات، قد تجد أن جداول حدود التغطية خرجت أسطراً مبعثرة. الحل هنا أن تُستخرج الجداول وحدها، ويبقى كل صف مع عناوين أعمدته. ضبط النموذج لن يصلح جدولاً تالفاً.
الخطوة 2: وحّدوا كتابة الحروف في نسخ البحث فقط
الكلمة العربية الواحدة تُكتب بأكثر من شكل، والمستخدم يميل إلى الكتابة أسرع وبعناية أقل مما كُتبت به المستندات. توحيد الكتابة (ويسمى في المراجع التقنية normalisation) يعني تحويل هذه الأشكال إلى شكل واحد حتى يلتقي السؤال بالمستند. قاعدتان لا تتغيران: النص الأصلي هو ما يراه المستخدم وما يُقتبس في الإحالات، وكل سؤال يمر بالقواعد نفسها التي مرت بها النسخة التي يبحث فيها.
| الاختلاف | القاعدة في فهرس الكلمات | الخطر الذي يجب اختباره |
|---|---|---|
| الألف بهمزة أو مدة (أ، إ، آ) | تحويلها إلى ألف بلا همزة (ا) | منخفض، مع دمج كلمات مختلفة أحياناً |
| التاء المربوطة (ة) والهاء (ه) | تحويل ة إلى ه | "كتابة" و"كتابه" تصبحان كلمة واحدة |
| الألف المقصورة (ى) والياء (ي) | تحويل ى إلى ي | "على" والاسم "علي" يندمجان |
| الحركات (التشكيل) | حذفها | النصوص القانونية أو الدينية قد تحتاجها عند العرض، لا عند البحث |
| التطويل (ـ)، أي مدّ الحرف | حذفه | لا خطر، فهو لا يحمل معنى |
| الأرقام المشرقية | تحويلها إلى أرقام غربية | العرض يحتفظ بأرقام المصدر كما هي |
نوصي بقواعد أشد لفهرس الكلمات وأخف لنسخة البحث بالمعنى (المتجهات، ونشرحها في الخطوة 3) (تُحذف الحركات والتطويل، وتبقى التاء المربوطة والألف المقصورة كما كُتبتا)، لأن نماذج المتجهات تعلّمت من النص كما يكتبه الناس عادة. جرّبوا الخيارين على أسئلة التقييم بدل أن تأخذوا خيارنا كما هو. أما كلمات اللهجات والعربيزي (العربية المكتوبة بحروف لاتينية مثل "kifak") فلا يعالجها توحيد الكتابة؛ تحتاج إلى خطوة تعيد صياغة السؤال بالعربية الفصحى قبل البحث، ومكانها في أسئلة التقييم في الخطوة 5.
الخطوة 3: قسّموا المستندات إلى مقاطع وفهرسوها للبحث بالكلمات والمعنى
تقسيم يراعي الجملة العربية
النموذج يجيب من مقاطع قصيرة، لذلك يُقسَّم كل مستند إلى مقاطع. أدوات التقسيم العامة تميل إلى القطع عند علامات الترقيم الإنجليزية أو عند عدد ثابت من الحروف. أضيفوا علامة الاستفهام العربية (؟) والفاصلة (،) والفاصلة المنقوطة (؛) إلى نقاط القطع، واتبعوا بنية المستند نفسه: مادة واحدة من اللائحة، سؤال واحد من الأسئلة الشائعة، بند واحد من العقد. أرفقوا عنوان المستند وعنوان القسم بكل مقطع، حتى يبقى المقطع الذي يتحدث عن الإجازة السنوية مرتبطاً بسياسة الموارد البشرية لا بعقد المقاولين. ابدأوا بنحو 1,200 حرف للمقطع مع جملة واحدة مشتركة بين كل مقطعين، ولا تغيّروا الحجم إلا إذا أظهرت أسئلة التقييم نتيجة أفضل.
البحث بالكلمات والبحث بالمعنى معاً
البحث بالمعنى يستخدم المتجهات، أي تمثيلات رقمية لمعنى النص، فيجد مقاطع تقول الشيء نفسه بكلمات أخرى، ومع نموذج متعدد اللغات قد يجد مقطعاً إنجليزياً لسؤال عربي. والبحث بالكلمات يجد ما قد تخلط فيه المتجهات: أرقام السياسات ورموز المنتجات وأسماء الأشخاص. المستندات العربية تحتاج إلى الاثنين. في PostgreSQL تخزّن إضافة pgvector المتجهات وتبحث فيها بفهارس HNSW أو IVFFlat مع مقياس للمسافة بين المتجهات (cosine distance)، ويقترح دليلها دمجها مع البحث النصي في PostgreSQL، ودمج قائمتي النتائج بطريقة Reciprocal Rank Fusion أو بنموذج إعادة ترتيب. هذه الطريقة ترفع المقطع الذي يحصل على ترتيب جيد في القائمتين معاً.
في جانب الكلمات، تذكر ملاحظات إصدار PostgreSQL 12 أن هذا الإصدار أضاف إلى البحث النصي ردّ الكلمات العربية إلى أصلها بحذف زوائدها (stemming) عبر مكتبة Snowball. هذا قد يفيد في نصوص الفصحى التي تتعدد فيها صيغ الكلمة الواحدة، وقد يضر بالأسماء وكلمات اللهجات، لذلك قارنوا بين إعداد arabic والقاموس البسيط (simple) الذي لا يردّ الكلمات إلى أصلها، بل يصغّر الحروف اللاتينية ولا يحذف الكلمات الشائعة إلا إذا زوّدتموه بملف لها، على نصكم بعد توحيد كتابته. وطبّقوا صلاحيات الوصول داخل استعلام البحث نفسه حسب مجموعات المستخدم، حتى لا يُسترجع أصلاً أي مقطع لا يحق له رؤيته.
اختاروا نموذج المتجهات بناءً على نتائج الاختبار. فعلى سبيل المثال، تذكر بطاقة نموذج bge-m3 من BAAI أنه يدعم أكثر من 100 لغة، ونصوصاً تصل إلى 8,192 وحدة نصية (token)، وثلاث طرق للبحث، وأنه متاح بترخيص MIT. هذا سبب لمقارنته بنموذج آخر على الأقل باستخدام أسئلتكم أنتم، وليس دليلاً على أنه يناسب مستنداتكم. أما مكان تشغيل نموذج المتجهات ونموذج الإجابة فهو قرار استضافة، ويشرح خياراته مقالنا عن الذكاء الاصطناعي السيادي بين السحابة الخاصة والخدمة المُدارة.
الخطوة 4: اجعلوا كل إجابة تُحيل إلى مقطع، أو تعتذر
لن يعتمد الموظفون على المساعد إلا إذا استطاعوا التحقق منه. اطلبوا من النموذج أن يجيب من المقاطع المسترجعة فقط، وأن يذكر مع كل معلومة مصدرها (المستند والقسم والصفحة)، وأن يرد بعبارة "المستندات المتاحة لي لا تجيب عن هذا السؤال" عندما لا تجيب المقاطع، مع جهة يتواصل معها الموظف مثل بريد الموارد البشرية أو الإدارة القانونية. وبعدها افحصوا الإجابة برمجياً: كل إحالة يجب أن تشير إلى مقطع استُرجع فعلاً، والإجابة التي لا تحمل إحالة صحيحة تحل محلها عبارة الاعتذار.
اكتبوا عبارة الاعتذار قبل تعليمات الإجابة. المساعد الذي يخمّن في استحقاق الإجازات أو شروط العقود يضر أكثر من المساعد الذي يقول إنه لا يعرف. وتعاملوا مع نص المستندات على أنه بيانات وليس أوامر: مذكرة ممسوحة تقول "تجاهل تعليماتك السابقة" يجب ألا تغير سلوك المساعد، لذلك افصلوا المصادر بوضوح في التعليمات (هذا يقلل الخطر ولا يزيله)، وضعوا اختباراً من هذا النوع في أسئلة التقييم.
مثال توضيحي: جهة تراخيص في منطقة حرة خليجية لوائحها بالإنجليزية فقط. إذا سُئل مساعدها بالعربية، فالأفضل أن يذكر النص الإنجليزي مصدراً للإجابة ويقول ذلك صراحة، بدل أن يترجم دون أن يُخبر السائل.
الخطوة 5: اختبروا المساعد بأسئلة موزعة حسب اللهجة
اكتبوا أسئلة معروفة الإجابة قبل أي ضبط. قد يسأل الموظفون بالفصحى، وباللهجات الخليجية والشامية والمصرية، وبالعربيزي، وبالإنجليزية، وقد ينجح المساعد في أسئلة الفصحى ويضعف في غيرها. المجموعة التي نوصي بها قبل الإطلاق:
- 100 سؤال على الأقل بالكلمات التي يستخدمها الموظفون فعلاً، ومع كل سؤال لهجته والمقطع الذي يجيب عنه.
- نحو 10 أسئلة لا تجيب عنها المستندات، لاختبار الاعتذار.
- أسئلة إجابتها في جدول أو رقم أو صفحة ممسوحة.
- بضع محاولات لحقن التعليمات (أي دسّ أوامر في النص) بالعربية والعربيزي.
قيسوا ثلاثة أمور لكل نوع من الأسئلة (الفصحى وكل لهجة والعربيزي والإنجليزية): هل يظهر المقطع الصحيح بين أول خمس نتائج، وهل تدعم كل إحالة الجملة المرتبطة بها، وهل يعتذر المساعد حين يجب أن يعتذر. حددوا حد النجاح قبل أول تشغيل، واعرضوا نتيجة أضعف لهجة إلى جانب المتوسط، وأعيدوا الاختبار بعد كل تغيير في قراءة المستندات أو توحيد الكتابة أو التقسيم أو نموذج المتجهات أو التعليمات. ولمزيد من التفصيل في بناء أسئلة اللهجات، راجعوا مقالنا عن تقييم النماذج اللغوية الكبيرة بالعربية.
متى لا تحتاجون إلى مساعد ذكي يجيب من مستندات الشركة؟
في بعض الحالات لا يكون مساعد البحث في المستندات الأداة المناسبة. راجعوا هذه الحالات قبل تخصيص الميزانية:
| الحالة | الخيار الأنسب |
|---|---|
| عدد قليل من المستندات وقائمة قصيرة من الأسئلة المتكررة | صفحة أسئلة شائعة مكتوبة بعناية مع بحث جيد في الموقع |
| الإجابة موجودة في نظام الشركة الذي تُسجَّل فيه البيانات أصلاً (أرصدة، مخزون، حالة طلب) | الاستعلام مباشرة من ذلك النظام عبر واجهة برمجية (API) مع صلاحيات وصول، فالمستندات نسخ قديمة |
| الإجابة تحتاج إلى حساب أو قرار يمس حقوق شخص | سير عمل فيه قرار بشري؛ المساعد يجد السياسة ولا يقرر |
| معظم المستندات نسخ ممسوحة رديئة ولا ميزانية لإصلاحها | رقمنة المستندات الأكثر استخداماً أولاً |
| لا أحد مسؤول عن تحديث المستندات | تحديد شخص مسؤول أولاً؛ مساعد يقتبس سياسة ملغاة بثقة أسوأ من عدم وجوده |
إذا انطبقت حالتان أو أكثر، نوصي بأن تخصصوا الشهر الأول للمستندات وتؤجلوا المساعد.
من أين تبدأون؟
اختاروا مجموعة مستندات يسأل عنها الموظفون كل أسبوع، وشخصاً واحداً يستطيع أن يحكم على صحة الإجابة. اكتبوا أسئلة التقييم، وشغّلوا قراءة المستندات وتوحيد الكتابة على عينة، وقيسوا نتائج البحث قبل أن يصمم أحد واجهة المحادثة. يبني مختبر التحوّل منصات البحث في المستندات ضمن خدمة تطبيقات الذكاء الاصطناعي المخصصة وتحديث الأنظمة القديمة (TT3)، وتوضح صفحة الأنظمة القديمة مكان هذا العمل إلى جانب استبدال جداول البيانات والأنظمة القديمة. أما تجهيز المستندات وأسئلة التقييم فتغطيهما خدمتا حزم المعرفة للوكلاء (AA3) واختبارات تقييم الوكلاء (AA4). وإذا لم تكونوا متأكدين من أن هذا الاستخدام يناسبكم، فخدمة مسح واقع الذكاء الاصطناعي في شركتكم محادثة مجانية مدتها 45 دقيقة تنتهي بخطوة تالية مكتوبة.
أسئلة شائعة
ما المقصود بمساعد ذكي يجيب من مستندات الشركة؟
هو مساعد ذكاء اصطناعي (يُعرف تقنياً باسم RAG) يبحث أولاً في مستندات المؤسسة المكتوبة بالعربية أو بالعربية والإنجليزية، ثم يجيب من المقاطع التي وجدها فقط ويذكر مصدر كل معلومة. يحتاج إلى عمل خاص بالعربية قد لا تقوم به الأدوات العامة: فحص جودة قراءة الصفحات الممسوحة، وتوحيد كتابة الألف والتاء المربوطة والحركات، وتقسيم النص عند علامات الترقيم العربية، واختبار المساعد باللهجات التي يستخدمها الموظفون.
ما أفضل نموذج متجهات للمستندات العربية؟
لا يوجد نموذج واحد هو الأفضل لكل المستندات. اختاروا نموذجين أو ثلاثة متعددة اللغات، مثل bge-m3 من BAAI (تذكر بطاقته أنه يدعم أكثر من 100 لغة دون أن تسردها)، وقارنوا بينها باستخدام أسئلة التقييم الخاصة بكم، موزعةً على الفصحى واللهجات والعربيزي والإنجليزية. راجعوا ترخيص الإصدار المحدد، وتأكدوا أن النموذج يعمل في المكان المسموح فيه بمعالجة بياناتكم.
هل يدعم PostgreSQL البحث النصي بالعربية؟
نعم. تذكر ملاحظات إصدار PostgreSQL 12 أنه أضاف إلى البحث النصي ردّ الكلمات العربية إلى أصلها بحذف زوائدها (stemming) عبر مكتبة Snowball. قد يفيد ذلك في نصوص الفصحى ويضر بالأسماء وكلمات اللهجات، لذلك قارنوا إعداد arabic مع القاموس البسيط على نص موحّد الكتابة باستخدام أسئلتكم، واستخدموه مع إضافة pgvector للبحث بالكلمات والمعنى معاً.
كيف نمنع المساعد من اختلاق الإجابات؟
اطلبوا من النموذج أن يجيب من المقاطع المسترجعة فقط وأن يذكر مصدر كل معلومة، ثم افحصوا الإجابة برمجياً: أي إحالة لا تطابق مقطعاً مسترجعاً، أو إجابة بلا إحالة، تحل محلها عبارة اعتذار ثابتة مع جهة يتواصل معها الموظف. وضعوا في أسئلة التقييم أسئلة لا جواب لها في المستندات، وقيسوا كم مرة يعتذر المساعد في موضعه.
تصلكم مقالاتنا الجديدة بالبريد
رسالة واحدة عند نشر ما يفيدكم، بلا إزعاج، ويمكنكم إلغاء الاشتراك في أي وقت.
الخدمات في هذا المقال
المختبر المرتبط: مختبر التحوّل ↖
