تقييم أثر أنظمة الذكاء الاصطناعي وفق ISO/IEC 42005: قالب يغيّر القرار

قبل أسبوعين من تشغيل نظام ذكاء اصطناعي، يكون أمام الإدارة سؤال واحد: هل نطلقه كما هو، أم نغيّره أولاً، أم نوقفه؟ ودور تقييم أثر أنظمة الذكاء الاصطناعي أن يغيّر هذا القرار حين تستدعي الأدلة ذلك. ونقصد بتقييم الأثر دراسة مكتوبة لما قد يصيب الناس من ضرر أو نفع بسبب النظام. فإذا كانت الوثيقة لا تستطيع أن تنقل القرار من "نطلق" إلى "نغيّر" أو "نوقف"، فهي ملف يُحفظ في درج، وليست تقييماً.

نقدّم هنا قالباً جاهزاً للنسخ، مع قواعد واضحة لتحديد متى تجرون التقييم ومن يوقّعه. القالب من إعدادنا، واستندنا فيه إلى الملخص الذي تنشره ISO عن المعيار ISO/IEC 42005، وهو لا ينقل بنية المعيار نفسه، لذلك قارنوه بنص المعيار. هذه معلومات عامة وليست استشارة قانونية، وتتوقف التزامات كل مؤسسة على قطاعها وبياناتها والدول التي تعمل فيها.

ما القرار الذي يجب أن يغيّره تقييم الأثر؟

ينبغي أن ينتهي كل تقييم بواحد من ثلاثة قرارات، يُكتب في سطر واحد أعلى الوثيقة:

• نطلق: فهمنا أثر النظام في الناس، والضوابط مطبّقة، ووافق شخص يملك الصلاحية على تحمّل الخطر المتبقي.
• نغيّر: لا يعمل النظام إلا بعد تغييرات محددة، لكل منها مسؤول وموعد. ومن الأمثلة: أن يراجع موظف كل طلب مرفوض، أو أن نختبر الإجابات العربية، أو أن نحصر الاستخدام في فرع واحد.
• نوقف: لا يمكن تخفيف ضرر كبير بما يكفي، أو كان الهدف لا يبرّر الخطر على الناس المتأثرين.

ننصح بكتابة هذه الخيارات الثلاثة، والأدلة التي تقود إلى كل منها، في الصفحة الأولى قبل ملء بقية القالب. يستغرق ذلك عشر دقائق، ويدفع من يجري التقييم إلى البحث عن أدلة قد توقف المشروع، لا عن أدلة تؤيده فقط. والثمن أن فريق المشروع قد يرى التقييم عائقاً لا مساعدة. وهذا مقصود جزئياً، لذلك اجعلوا التقييم قصيراً للأنظمة قليلة الأثر، وخصّصوا التقييم الكامل للأنظمة التي تمسّ أموال الناس أو وظائفهم أو صحتهم أو حصولهم على الخدمات.

متى تجرون تقييم أثر نظام الذكاء الاصطناعي؟

توصي صفحة ISO الخاصة بالمعيار ISO/IEC 42005 بإجراء التقييم طوال عمر النظام، من التصميم والتطوير إلى التشغيل والمتابعة بعد الإطلاق، مع تحديثه عند الحاجة. وعملياً يعني ذلك فحصاً سريعاً لكل استخدام جديد، وتقييماً كاملاً حين يدل الفحص على ذلك.

خمسة أسئلة للفحص السريع

1. هل يتخذ النظام قراراً بشأن شخص، أو يؤثر في قرار يخصه (تمويل، توظيف، مساعدات، علاج، إجراء تأديبي)؟
2. هل يستخدم بيانات شخصية، أو بيانات عن الصحة أو المال أو الأطفال؟
3. هل يخاطب العملاء أو الجمهور دون أن يراجع موظف ما يقوله؟
4. هل يمكن أن يخسر شخص مالاً أو خدمة أو وظيفة، أو تتعرض سلامته للخطر، بسبب خطأ في النظام؟
5. هل يتصرف من تلقاء نفسه، فيرسل رسائل أو يدفع مبالغ أو يعدّل سجلات؟

إجابة واحدة بـ"نعم" تعني تقييماً كاملاً. وإذا كانت كل الإجابات "لا"، يكفي سجل من صفحة واحدة بالإجابات يوقّعه المسؤول عن النظام.

متى تعيد التقييم

• عند هدف جديد للنظام، أو فئة جديدة من المستخدمين أو المتأثرين.
• عند مصدر بيانات جديد، أو نموذج جديد، أو تغيير المورّد.
• عند شكوى مهمة أو حادث خطير يخص النظام.
• في موعد المراجعة المكتوب في التقييم السابق.

قالب تقييم أثر أنظمة الذكاء الاصطناعي (انسخوه)

انسخوا الأقسام التسعة التالية إلى وثيقتكم. اجعلوا الإجابات قصيرة ومحددة، وإذا كتبتم "لا ينطبق" فاذكروا السبب.

1. النظام والهدف منه. اسم النظام، والمورّد والنموذج إن عُرفا، والمسؤول عنه في الإدارة المستفيدة، والمهمة التي يؤديها، والقرار الذي يساعد فيه. واذكروا كيف يُنجز العمل اليوم دون ذكاء اصطناعي.
2. الأشخاص المتأثرون. من يستخدمه، ومن تمسّه نتائجه، ومن تمسّه دون أن يعلم بوجوده. وسجّلوا الفئات التي قد تتأثر به على نحو مختلف عن غيرها: متحدثو العربية والإنجليزية، وكبار السن، وسكان المناطق خارج العاصمة، وذوو الإعاقة.
3. البيانات. ما البيانات التي يستخدمها، ومن أين تأتي، وهل تشمل بيانات شخصية أو حساسة، وأين تُعالج وتُخزَّن، ومدة حفظها. وأرفقوا مراجعة حماية البيانات إن وُجدت.
4. الأضرار والمنافع المحتملة. اكتبوا المنافع الواقعية (إجابات أسرع، أخطاء أقل) والأضرار الواقعية (رفض طلب بالخطأ، معلومة خاطئة عن رسوم خدمة، تسرّب بيانات شخصية، معاملة غير عادلة لفئة ما). وأضيفوا سوء الاستخدام الذي يمكن توقعه.
5. شدة الضرر واحتماله. قيّموا كل ضرر بالجدول أدناه قبل تطبيق الضوابط، وقيّموه مرة أخرى بعد تطبيقها.
6. الضوابط. لكل ضرر كبير: الضابط الذي يخففه، ومن يطبّقه، وكيف تعرفون أنه يعمل، مثل الاختبار قبل الإطلاق، وحدود لما يستطيع النظام فعله، والمتابعة بعد الإطلاق.
7. الإشراف البشري. أي النتائج يراجعها موظف قبل أن تُطبَّق، ومن هو، وما الذي يستطيع إلغاءه، وكيف يطلب الشخص المتأثر مراجعة بشرية أو يقدّم شكوى.
8. القرار والتوقيع. نطلق أو نغيّر أو نوقف، والشروط المرفقة، وأسماء الموقّعين ووظائفهم، والتاريخ.
9. موعد المراجعة. تاريخ محدد (من ثلاثة أشهر إلى اثني عشر شهراً، وأقصر كلما زاد الأثر)، إضافة إلى أسباب إعادة التقييم المذكورة أعلاه.

تقدير شدة الضرر واحتماله

ومن المهم تقييم المنافع إلى جانب الأضرار. فدليل NIST للذكاء الاصطناعي التوليدي (NIST AI 600-1، يوليو 2024) يكرر البند الفرعي MAP 5.1 من إطار إدارة مخاطر الذكاء الاصطناعي (AI RMF): تحديد احتمال كل أثر وحجمه وتوثيقهما، سواء كان الأثر نافعاً أو ضاراً. ويسهل الدفاع عن قرار الإيقاف حين تُكتب أيضاً المنفعة التي سيخسرها الإيقاف.

من يوقّع تقييم الأثر؟

القاعدة التي نوصي بها: من يوقّع يجب أن يكون قادراً على قول "لا"، ومن بنى النظام أو باعه لا يوقّع وحده.

في الأنظمة عالية الأثر، ينبغي أن يكون صاحب الموافقة هو اللجنة التنفيذية أو لجنة الذكاء الاصطناعي المسؤولة عن مخاطره، لا راعي المشروع (المسؤول التنفيذي الداعم له) وحده. وتُحدَّد صلاحيات القرار في إطار الحوكمة، أي القواعد التي تحدد من يقرر ماذا. ويشرح دليلنا عن إطار حوكمة الذكاء الاصطناعي في السعودية والإمارات والأردن كيف تحددونها.

ثلاثة أمثلة توضيحية من الأردن والخليج

نغيّر: شركة تمويل أصغر في الأردن (مثال توضيحي). تخطط الشركة لنموذج يفرز طلبات القروض فرزاً أولياً. يكشف التقييم أن بيانات التدريب جاءت في معظمها من فروع المدن، فقد يُرفض أصحاب الدخل غير المنتظم في الأرياف أكثر من غيرهم. الشدة عالية (الحصول على التمويل) والاحتمال ممكن. القرار: نغيّر. يجوز للنموذج أن يوصي بالموافقة، أما كل رفض فيذهب إلى موظف القروض، وتُقارن نسب الرفض بين الفروع كل شهر، وموعد المراجعة بعد ثلاثة أشهر من الإطلاق.

نطلق بشروط: مركز خدمات حكومي في الإمارات (مثال توضيحي). يجيب روبوت محادثة عن الرسوم والوثائق المطلوبة بالعربية والإنجليزية. الضرر الأساسي إجابة خاطئة ترسل الشخص في مشوار بلا فائدة: شدة متوسطة، واحتمال مرجّح إذا اعتمد الروبوت على صفحات قديمة. الضوابط: يجيب من الصفحات المعتمدة فقط ويعرض الرابط، ويحوّل المحادثة إلى موظف حين لا يكون متأكداً، ويُختبر الروبوت على 100 سؤال حقيقي باللغتين قبل الإطلاق. القرار: نطلق عند نجاح الاختبار.

نوقف: شركة تجزئة في الرياض (مثال توضيحي). يعرض مورّد أداة تعطي الموظفين درجة عن "سلوكهم" من رسائلهم في المحادثات الداخلية. يجد التقييم أنه لا صلة واضحة بين الدرجة والأداء الفعلي، وأن خطر المعاملة غير العادلة عالٍ، وأن الهدف لا يبرّر قراءة رسائل الموظفين. القرار: نوقف، مع تسجيل الأسباب.

ما العلاقة بين ISO/IEC 42005 وISO/IEC 42001؟

صدر المعيار ISO/IEC 42005:2025 في طبعته الأولى في مايو 2025، وهو يقدّم إرشادات للمؤسسات التي تجري تقييم أثر أنظمة الذكاء الاصطناعي: كيف يمكن أن يؤثر النظام واستخداماته المتوقعة في الأفراد أو الجماعات أو المجتمع. وتقول ISO إنه ينطبق على أي مؤسسة تطوّر الذكاء الاصطناعي أو تقدّمه أو تستخدمه، وإنه يكمّل ISO/IEC 42001 (أنظمة إدارة الذكاء الاصطناعي) وISO/IEC 23894 (إدارة مخاطر الذكاء الاصطناعي) وISO/IEC 38507 (حوكمة الذكاء الاصطناعي).

أما ISO/IEC 42001:2023 فهو معيار نظام الإدارة. ويُظهر فهرسه، كما في معاينة متجر IEC، بنداً بعنوان "تقييم أثر نظام الذكاء الاصطناعي" مرتين: البند 6.1.4 في التخطيط، والبند 8.4 في التشغيل. لذلك إذا كنتم تستعدون لشهادة 42001، فتوقعوا أن تُطلب منكم سجلات تقييم الأثر. ويمكن أن يكون القالب أعلاه نقطة بداية، لكن قارنوه بنص البندين في نسختكم من المعيار. ويشرح مقالنا عن الاستعداد لشهادة ISO 42001 بقية هذا العمل. جهات منح الشهادات المستقلة هي التي تمنح الشهادة، ونحن نساعد المؤسسات على الاستعداد لها.

من أين تبدؤون؟

اختاروا نظام ذكاء اصطناعي واحداً سيبدأ العمل في الربع القادم. اطرحوا أسئلة الفحص الخمسة، وإذا كانت أي إجابة "نعم"، املؤوا القالب في جلسة مدتها 90 دقيقة مع المسؤول عن النظام، وشخص من خارج المشروع يجري التقييم، وموظف من الميدان. واكتبوا القرار في الصفحة الأولى قبل أن تغادروا الغرفة.

وإذا أردتم مساعدة، يقدّم مختبر الحوكمة خدمة إرساء حوكمة الذكاء الاصطناعي والامتثال، وتشمل السياسات، وصلاحيات القرار، وسجل أنظمة الذكاء الاصطناعي وسجل المخاطر، والتوافق مع أنظمة حماية البيانات الشخصية، والاستعداد لمعيار ISO/IEC 42001. ولأسئلة حماية البيانات والجهات التنظيمية، راجعوا صفحة حماية البيانات الشخصية والجهات التنظيمية. أو ابدؤوا بخدمة مسح واقع الذكاء الاصطناعي في شركتكم، وهي محادثة مجانية مدتها 45 دقيقة تنتهي بخطوة تالية مكتوبة.

المختبر المرتبط: مختبر الحوكمة ↖