الإشراف البشري في عمليات الأمن المستقلة

مع تزايد مسؤولية الذكاء الاصطناعي في العمليات الأمنية، يصبح الإشراف البشري الضمانة الحاسمة التي تفصل بين الأتمتة الفعالة والمخاطر غير المُراقبة. تتناول هذه المقالة مفهوم الإشراف البشري عمليًا، وأهميته للأمن المدعوم بالذكاء الاصطناعي، وكيفية تطبيق المؤسسات لنماذج إشراف مُهيكلة في جميع مراحل عملياتها.
#عنوان الصورة

كيف يعمل الذكاء الاصطناعي والتعلم الآلي على تحسين الأمن السيبراني للمؤسسات

ربط جميع النقاط في مشهد التهديد المعقد

#عنوان الصورة

تجربة الأمن المدعوم بالذكاء الاصطناعي في العمل!

اكتشف الذكاء الاصطناعي المتطور من Stellar Cyber ​​للكشف الفوري عن التهديدات والاستجابة لها. جدولة العرض التوضيحي الخاص بك اليوم!

ما هي الرقابة البشرية في الذكاء الاصطناعي (وما هي ليست كذلك)؟

يتطلب فهم ماهية الإشراف البشري تجاوز المفاهيم المبهمة لـ "مراقبة الأمور". يشير الإشراف البشري في مجال الذكاء الاصطناعي إلى المشاركة المتعمدة والمنظمة لأشخاص مؤهلين في تصميم ونشر ومراقبة وتصحيح أنظمة الذكاء الاصطناعي. وهو يضمن توافق القرارات الآلية مع أهداف المؤسسة ومعاييرها الأخلاقية ومتطلباتها التنظيمية.

ما تشمله الرقابة البشرية

  • المراقبة النشطة: يقوم محللو الأمن بمراجعة التنبيهات التي يولدها الذكاء الاصطناعي، وتصنيفات التهديدات، وإجراءات الاستجابة الآلية قبل أو بعد التنفيذ.
  • سلطة التدخل: يحتفظ الموظفون المعينون بالقدرة على تجاوز أو إيقاف أو إغلاق العمليات التي تعمل بالذكاء الاصطناعي عندما تنحرف المخرجات عن السلوك المتوقع.
  • حلقات التعليقات: آليات منظمة للمشغلين البشريين لتصحيح نماذج الذكاء الاصطناعي، وتحسين قواعد الكشف، والإبلاغ عن النتائج الإيجابية الخاطئة أو التهديدات التي لم يتم رصدها.
  • تحديد المسؤولية: توثيق واضح لمن يتحمل مسؤولية القرارات المتخذة بمساعدة الذكاء الاصطناعي، مما يضمن عدم وجود أي إجراء في فراغ المساءلة.

ما لا يمثله الإشراف البشري

لا يُعدّ الإشراف البشري مجرد إجراء شكلي. فمجرد تعيين شخص ما اسميًا لمراجعة مخرجات الذكاء الاصطناعي دون تدريب أو أدوات أو صلاحيات كافية للطعن في تلك المخرجات لا يُشكّل إشرافًا حقيقيًا. كما أنه ليس مجرد خطوة إعداد تُنفّذ لمرة واحدة أثناء النشر. يجب أن يكون الإشراف مستمرًا وقابلًا للتكيّف ومُزوّدًا بالموارد اللازمة. إنّ المؤسسات التي تتعامل معه كإجراء شكلي تُعرّض نفسها لنفس المخاطر التي ستواجهها مع الأتمتة الكاملة غير الخاضعة للإشراف.

في سياق العمليات الأمنية، توفر منصات مثل Stellar Cyber ​​طبقات رؤية تجعل الإشراف الحقيقي ممكناً. فعندما يربط نظام الذكاء الاصطناعي آلاف التنبيهات بحوادث ذات أولوية، يحتاج المحلل إلى تفاصيل سياقية - وليس مجرد نتيجة - لاتخاذ قرار مستنير.

لماذا تُعدّ الرقابة البشرية حجر الزاوية في الذكاء الاصطناعي المسؤول؟

تزداد أهمية الإشراف البشري في الذكاء الاصطناعي إلحاحاً عندما تعمل أنظمة الذكاء الاصطناعي في مجالات بالغة الأهمية كالأمن السيبراني. فالكشف والاستجابة التلقائيان يُمكنهما تقليل متوسط ​​وقت الاستجابة بشكل كبير، ولكن بدون مراجعة بشرية، قد تتفاقم الأخطاء بسرعة فائقة.

منع الأخطاء الآلية على نطاق واسع

ترث نماذج الذكاء الاصطناعي المدربة على البيانات التاريخية التحيزات والثغرات والافتراضات الكامنة في تلك البيانات. قد يؤدي نموذج كشف التهديدات غير المُعاير بشكل صحيح إلى حجب حركة المرور المشروعة أو تجاهل أساليب الهجوم الجديدة. يكشف الإشراف البشري هذه الإخفاقات قبل أن تصبح منهجية. مستقل SOC مع معالجة ملايين الأحداث يومياً، حتى نسبة صغيرة من حالات التصنيف الخاطئ يمكن أن تترجم إلى تأثير تشغيلي كبير.

الحفاظ على ثقة المؤسسة

يحتاج أصحاب المصلحة، من أعضاء مجلس الإدارة إلى العملاء، إلى ضمانات بأن قرارات الأمن المدعومة بالذكاء الاصطناعي تعكس قيم المؤسسة ومستوى تحملها للمخاطر. وتوفر الرقابة البشرية على الذكاء الاصطناعي هذه الضمانات من خلال إنشاء سلسلة موثقة من الأحكام البشرية التي تدعم الإجراءات الحاسمة. وبدونها، لا تستطيع المؤسسات الادعاء بمصداقية بالسيطرة على وضعها الأمني.

الضرورة التنظيمية والقانونية

تُلزم اللوائح التنظيمية في جميع أنحاء العالم بشكل متزايد بمشاركة العنصر البشري في عمليات اتخاذ القرارات الآلية. ويشير قانون الذكاء الاصطناعي للاتحاد الأوروبي، وإطار إدارة مخاطر الذكاء الاصطناعي الصادر عن المعهد الوطني للمعايير والتكنولوجيا، والمتطلبات القطاعية الخاصة، إلى اتجاه واحد: يجب على المؤسسات إثبات استمرار مشاركة العنصر البشري بشكل فعّال في عمليات الذكاء الاصطناعي. ويترتب على عدم القيام بذلك مسؤولية قانونية وعواقب وخيمة على سمعة المؤسسة.

التكيف مع الظروف العدائية

يقوم المهاجمون بفحص أنظمة الذكاء الاصطناعي والتلاعب بها بنشاط. ويمكن لتقنيات التعلم الآلي المعادية أن تُفسد بيانات التدريب، أو تتجنب نماذج الكشف، أو تُفعّل استجابات آلية تُفيد المهاجم. ويُضفي المحللون البشريون مهارات التفكير السياقي والتفكير المعادي التي لا تستطيع أنظمة الذكاء الاصطناعي الحالية محاكاتها، مما يجعل الإشراف البشري على الذكاء الاصطناعي ضرورة تشغيلية وليست مجرد تفضيل فلسفي.

العنصر البشري في العملية: نماذج عملية لسير عمل خدمات الذكاء الاصطناعي

يصف مفهوم "العنصر البشري في الحلقة" نمط تصميم يتم فيه دمج الحكم البشري في عملية صنع القرار في الذكاء الاصطناعي عند نقاط تدخل محددة. توجد عدة نماذج عملية، كل منها مناسب لمستويات مخاطر ومتطلبات تشغيلية مختلفة ضمن الإشراف البشري في سير عمل خدمات الذكاء الاصطناعي.

مقارنة النماذج

الموديل

دور الإنسان

متى يجب استخدام

مثال في عمليات الأمن

الإنسان في الحلقة

يوافق على كل قرار قبل تنفيذه

أفعال عالية الخطورة ذات عواقب وخيمة

حظر عنوان IP لخادم الإنتاج الذي تم الإبلاغ عن اختراقه

الإنسان في الحلقة

يراقب تصرفات الذكاء الاصطناعي ويتدخل عند الحاجة

عمليات متوسطة المخاطر وعالية الحجم

مراجعة إجراءات الحجر الصحي الآلية دفعة واحدة

الإنسان فوق الحلقة

يضع السياسات ويراجع النتائج الإجمالية

أتمتة منخفضة المخاطر ومفهومة جيداً

تحديد قواعد الحذف التلقائي لرسائل البريد الإلكتروني التصيدية

اختيار النموذج الصحيح

يعتمد النموذج الأمثل على مدى خطورة العواقب المحتملة، ونضج نظام الذكاء الاصطناعي، ومستوى تقبّل المؤسسة للمخاطر. تستخدم معظم عمليات الأمن المتطورة نهجًا مختلطًا. على سبيل المثال، تدعم منصة Stellar Cyber ​​تكوينات استجابة متدرجة، حيث تُحال الاكتشافات منخفضة الثقة إلى قوائم انتظار المحللين، بينما تُنفذ الإجراءات عالية الثقة ومنخفضة التأثير تلقائيًا مع مراجعة لاحقة.

توسيع نطاق المشاركة البشرية دون عوائق

من المخاوف الشائعة أن نماذج التدخل البشري تُسبب اختناقات في الإنتاجية. وهذا قلق مشروع عندما يكون تصميم نظام الرقابة غير مُحكم. وتعالج التطبيقات الفعّالة هذه المشكلة من خلال:
  1. الفرز القائم على المخاطر: لا تُحيل القرارات التي تتجاوز عتبات المخاطر المحددة إلى المراجعين البشريين إلا.
  2. الإثراء السياقي: زوّد المحللين بالأدلة المترابطة والسياق التاريخي والإجراءات الموصى بها حتى تستغرق القرارات ثوانٍ بدلاً من دقائق.
  3. أتمتة المهام ذات المخاطر المنخفضة: خصص الاهتمام البشري للقرارات التي يكون فيها الحكم مهماً حقاً.
  4. مراجعة غير متزامنة: السماح بتنفيذ بعض الإجراءات الآلية مع إجراء تدقيق إلزامي بعد التنفيذ خلال فترة زمنية محددة.

الإنسان المعزز ذاتي التشغيل SOCحيث يعمل الذكاء الاصطناعي والخبرة البشرية معًا

لا يقلل الإشراف البشري من قيمة عمليات الأمن المستقلة، بل يمكّن المؤسسات من تحقيق كامل إمكاناتها. وبدلاً من استبدال محللي الأمن، فإن مراكز عمليات الأمن الأكثر فعالية (SOCس) استخدام نظام مستقل معزز بالبشر SOC نموذج، حيث يتولى الذكاء الاصطناعي السرعة والنطاق والتحليل المتكرر بينما يقدم المحللون ذوو الخبرة الحكم السياقي والتحقق واتخاذ القرارات الاستراتيجية.

في هذا النموذج، يقوم الذكاء الاصطناعي باستمرار بربط بيانات القياس عن بُعد، وتحديد أولويات الحوادث، واقتراح إجراءات الاستجابة، وأتمتة عمليات المعالجة الروتينية. ويركز المحللون البشريون على مهام ذات قيمة أعلى، مثل التحقيق في الهجمات المعقدة، والتحقق من صحة القرارات الآلية ذات التأثير الكبير، وتحسين منطق الكشف، وتكييف سياسات الأمان مع تطور مخاطر الأعمال. والنتيجة هي عملية أمنية تجمع بين كفاءة الآلة والتفكير البشري، مما يقلل من إرهاق المحللين مع تحسين دقة الكشف والحفاظ على المساءلة.

يتماشى هذا النهج المتوازن بشكل وثيق مع مبادئ الذكاء الاصطناعي المسؤول ومتطلبات الرقابة التي نوقشت في هذا المقال. وبدلاً من النظر إلى الأتمتة والرقابة البشرية على أنهما أولويتان متنافستان، ينبغي للمؤسسات أن تتعامل معهما كقدرات متكاملة تعزز بعضها بعضاً.

شرح المادة 14 من قانون الذكاء الاصطناعي للاتحاد الأوروبي لأنظمة الذكاء الاصطناعي عالية المخاطر

تنص المادة 14 من قانون الاتحاد الأوروبي بشأن الذكاء الاصطناعي على متطلبات محددة للإشراف البشري على أنظمة الذكاء الاصطناعي عالية المخاطر. ويُعدّ فهم هذه المتطلبات أمرًا بالغ الأهمية لفرق عمليات الأمن، إذ قد تندرج العديد من أنظمة الكشف عن التهديدات والاستجابة لها، التي تعتمد على الذكاء الاصطناعي، ضمن فئة المخاطر العالية، وذلك بحسب سياق نشرها.

المتطلبات الأساسية بموجب المادة 14

  • الشمولية: يجب تصميم أنظمة الذكاء الاصطناعي بحيث يتمكن المشرفون البشريون من فهم قدرات النظام وحدوده بشكل كافٍ.
  • قابلية تفسير المخرجات: يجب أن يكون المشرفون قادرين على تفسير مخرجات نظام الذكاء الاصطناعي بشكل صحيح، بما في ذلك فهم مستويات الثقة وهوامش الخطأ وأنماط الفشل المعروفة.
  • القدرة على التجاوز أو الإيقاف: يجب أن يمتلك المشرفون البشريون القدرة التقنية على تجاوز القرارات الآلية أو إيقاف النظام بالكامل.
  • الوعي بالتحيز الناتج عن الأتمتة: يجب على المنظمات تنفيذ تدابير للحماية من الاعتماد المفرط على مخرجات الذكاء الاصطناعي، لا سيما عندما تؤثر هذه المخرجات على القرارات المتعلقة بالأفراد.

الآثار العملية على فرق الأمن

تُترجم هذه المتطلبات إلى التزامات تقنية وتنظيمية ملموسة. يجب أن توفر منصات الأمن مخرجات قابلة للتفسير، وليس مجرد تقييمات للتهديدات. يحتاج المحللون إلى تدريب على قيود أنظمة الذكاء الاصطناعي الخاصة بتطبيقاتهم. كما يجب على المؤسسات توثيق إجراءات الرقابة لديها بطريقة تصمد أمام التدقيق التنظيمي. ويتكيف الموردون العاملون في هذا المجال وفقًا لذلك. على سبيل المثال، توفر شركة Stellar Cyber ​​سردًا للحوادث قائمًا على الترابط، يوضح للمحللين سبب تجميع مجموعة معينة من التنبيهات وتحديد أولوياتها، مما يدعم متطلبات قابلية التفسير التي تنص عليها المادة 14.

ما وراء الاتحاد الأوروبي: التقارب التنظيمي العالمي

على الرغم من أن المادة 14 خاصة بالاتحاد الأوروبي، إلا أن مبادئ مماثلة تظهر في أطر عمل من الولايات المتحدة (إطار إدارة مخاطر الذكاء الاصطناعي التابع للمعهد الوطني للمعايير والتكنولوجيا)، وكندا (التوجيه بشأن اتخاذ القرارات الآلية)، وغيرها من الدول. ينبغي للمنظمات العاملة عالميًا تصميم أطر الرقابة الخاصة بها بما يتوافق مع المعيار الأكثر صرامة المطبق، والذي يميل حاليًا إلى أن يكون قانون الذكاء الاصطناعي للاتحاد الأوروبي.

تحقيق المساءلة الحقيقية في الذكاء الاصطناعي من خلال التدخل البشري

تعني المساءلة في عمليات الأمن المدعومة بالذكاء الاصطناعي إمكانية تتبع كل إجراء ذي تبعات، سواء كان آليًا أو بشريًا، إلى جهة مسؤولة. وبدون تدخل بشري في المراحل الحرجة، ينهار هذا التتبع.

سلسلة المساءلة

هيكل محاسبة مصمم جيدًا لمؤسسة مستقلة SOC يتضمن طبقات متعددة:
  1. مطورو النماذج يتحملون المسؤولية عن دقة نماذج الذكاء الاصطناعي وعدالتها وقيودها الموثقة.
  2. مشغلو المنصات يتحملون مسؤولية التكوين السليم والضبط والتحقق المستمر من صحة أنظمة الذكاء الاصطناعي داخل بيئتهم.
  3. محللو الأمن يتحملون المسؤولية عن جودة مراجعتهم، وتوقيت تدخلاتهم، والأساس المنطقي وراء قراراتهم بالتجاوز.
  4. القيادة الأمنية وهو مسؤول عن وضع السياسات التي تحدد متى وكيف يتم تطبيق الرقابة البشرية.

توثيق القرارات المتعلقة بالاستعداد للتدقيق

ينبغي توثيق كل تدخل بشري - سواء كان بالموافقة على توصية الذكاء الاصطناعي أو تعديلها أو رفضها - مع ذكر الطوابع الزمنية والأسباب والأدلة المتاحة وقت اتخاذ القرار. يخدم هذا التوثيق ثلاثة أغراض: فهو يدعم الامتثال للوائح، ويتيح تحليل ما بعد الحادث، ويوفر بيانات تدريبية لتحسين نماذج الذكاء الاصطناعي بمرور الوقت.

تجنب تشتيت المسؤولية

عندما يتشارك الذكاء الاصطناعي والبشر في سلطة اتخاذ القرار، يبرز خطر عدم شعور أيٍّ منهما بالمسؤولية الكاملة. لذا، يجب على المؤسسات تحديد المسؤولية بوضوح في كل مرحلة من مراحل سير العمل. فإذا أوصى نظام الذكاء الاصطناعي بعزل نقطة نهاية مخترقة، ووافق محلل على هذا الإجراء، يتحمل المحلل مسؤولية هذا القرار. أما إذا نفّذ الذكاء الاصطناعي الإجراء تلقائيًا وفقًا لسياسة معتمدة مسبقًا، فإن الشخص الذي أقرّ تلك السياسة هو المسؤول.

أفضل الممارسات لإرساء الرقابة البشرية في مؤسستك

يتطلب تطبيق الرقابة البشرية الفعّالة تخطيطًا دقيقًا يشمل التكنولوجيا والعمليات والأفراد. تمثل الممارسات التالية مناهج مجرّبة مستقاة من مؤسسات نجحت في تحقيق التوازن بين الأتمتة والتقدير البشري في العمليات الأمنية.

حدد معايير تصعيد واضحة

لا تتطلب جميع مخرجات الذكاء الاصطناعي نفس مستوى الاهتمام البشري. حدد عتبات واضحة بناءً على:
  • شدة التأثير: تتطلب الإجراءات التي تؤثر على أنظمة الإنتاج أو بيانات العملاء أو البنية التحتية الحيوية مراجعة أكثر دقة.
  • درجات الثقة: ينبغي إحالة عمليات الكشف ذات الثقة المنخفضة إلى المحللين البشريين؛ أما عمليات الكشف ذات الثقة العالية والتي تتضمن خطط استجابة مفهومة جيدًا فيمكن أن تستمر مع إشراف أقل.
  • بدعة: تستدعي أنماط الهجوم غير المرئية سابقًا أو الحالات الشاذة التي تقع خارج نطاق توزيع تدريب نموذج الذكاء الاصطناعي مراجعة بشرية إلزامية.

استثمر في تدريب المحللين

لا تكون الرقابة البشرية فعّالة إلا بقدر كفاءة القائمين عليها. يجب على المحللين فهم ليس فقط مجال الأمن، بل أيضًا أنظمة الذكاء الاصطناعي المحددة التي يشرفون عليها. ينبغي أن يشمل التدريب بنية النماذج على المستوى المفاهيمي، وأنماط الفشل المعروفة، والمصادر الشائعة للإنذارات الكاذبة، والآلية الصحيحة لتقديم التغذية الراجعة التي تُحسّن أداء النموذج.

تطبيق عمليات المراجعة متعددة المستويات

صمم سير عمل المراجعة بما يتناسب مع مستوى المخاطر لكل نوع من أنواع الإجراءات. يُعدّ النهج ثلاثي المستويات مناسبًا لمعظم المؤسسات:

الطبقة

نوع الإجراء

مستوى الإشراف

توقيت المراجعة

1

تنبيهات إعلامية، إثراء السجلات

مؤتمتة مع أخذ عينات دورية

مراجعة الدفعة الأسبوعية

2

عزل نقطة النهاية، تعليق الحساب

الإنسان في الحلقة

في غضون 30 دقائق

3

تجزئة الشبكة، إيقاف الخدمة

موافقة مسبقة من قبل العنصر البشري

قبل التنفيذ


الاستفادة من إمكانيات المنصة

اختر منصات أمنية تُسهّل الرقابة بدلاً من إعاقتها. منصة ستيلار سايبر Open XDR على سبيل المثال، تعمل المنصة على دمج التنبيهات من مصادر متعددة في حوادث مترابطة ذات سياق كامل، مما يقلل العبء المعرفي على المحللين ويجعل قرارات الرقابة أسرع وأكثر دقة. المنصة المناسبة تحوّل الرقابة من عبء إلى جزء طبيعي من سير العمل التشغيلي.
حتى برامج الرقابة حسنة النية تواجه عقبات. إن إدراك هذه التحديات مبكراً يمكّن المؤسسات من تصميم برامجها بما يتناسب معها بدلاً من التعامل مع الإخفاقات بعد وقوعها.

إرهاق التنبيهات والتحيز الآلي

عندما يقوم المحللون بمراجعة مئات التوصيات التي يتم إنشاؤها بواسطة الذكاء الاصطناعي يومياً، يظهر نمطان من أنماط الفشل. يؤدي الإرهاق الناتج عن كثرة التنبيهات إلى قيام المحللين بتصفح المراجعات أو تخطيها تمامًايؤدي التحيز نحو الأتمتة إلى دفع المحللين إلى الخضوع لتوصيات الذكاء الاصطناعي دون تقييم نقدي، مما يقوض الغاية من الرقابة. وتشمل التدابير المضادة تناوب مسؤوليات المراجعة، وإدخال "تمارين تحدٍ" دورية يُطلب فيها من المحللين تبرير توصيات الذكاء الاصطناعي، وتقليل حجم التنبيهات من خلال تحسين الربط وإزالة التكرار.

فجوات المهارات وقيود الموارد

تتطلب الرقابة الفعّالة محللين ملمين بكلٍ من مجال الأمن وأنظمة الذكاء الاصطناعي التي يشرفون عليها. وتواجه العديد من المؤسسات نقصًا في الموظفين ذوي هذه الخبرة المزدوجة. ويتطلب سدّ هذه الفجوة ما يلي:
  • تدريب محللي الأمن على أساسيات الذكاء الاصطناعي وسلوك النماذج.
  • تزويد مهندسي الذكاء الاصطناعي بسياق مجال الأمن حتى يتمكنوا من بناء أنظمة أكثر قابلية للتفسير.
  • استخدام منصات تجرد التعقيد وتقدم منطق الذكاء الاصطناعي بتنسيقات يسهل الوصول إليها.

موازنة السرعة والدقة

تتطلب الحوادث الأمنية استجابة سريعة. قد يؤدي إدخال المراجعة البشرية في سير العمل الحساس للوقت إلى تأخير احتواء الحادث. الحل ليس إلغاء الرقابة، بل تحسينها. تتيح خطط الاستجابة المعتمدة مسبقًا للسيناريوهات المفهومة جيدًا اتخاذ إجراءات آلية فورية مع مراجعة لاحقة. أما السيناريوهات الجديدة أو ذات التأثير الكبير، فتُحال إلى المحللين مع حزم معلومات مُعدة مسبقًا تُقلل وقت التحقيق.

المقاومة التنظيمية

ترى بعض الفرق أن متطلبات الإشراف البشري تعكس انعدام الثقة في استثماراتها في الذكاء الاصطناعي. وهنا تكمن أهمية صياغة هذا الإطار. فالإشراف البشري ليس بمثابة سحب للثقة في تقنية الذكاء الاصطناعي، بل هو آلية لإدارة المخاطر تحمي المؤسسة وتُحسّن أداء الذكاء الاصطناعي بمرور الوقت من خلال التغذية الراجعة المنظمة. ويجب على القيادة إيصال هذه الرؤية باستمرار.

دمج الرقابة في دورة حياة حوكمة الذكاء الاصطناعي

لا ينبغي أن تكون الرقابة البشرية نشاطاً معزولاً يُضاف إلى سير العمل الحالي، بل يجب دمجها في دورة حياة حوكمة الذكاء الاصطناعي بأكملها، بدءاً من تصميم النظام الأولي مروراً بالتشغيل المستمر وصولاً إلى إيقاف تشغيله نهائياً.

مرحلة التصميم

ينبغي تحديد متطلبات الإشراف قبل نشر أي نظام ذكاء اصطناعي. خلال مرحلة التصميم، يجب على المؤسسات تحديد القرارات التي تتطلب تدخلاً بشرياً، والمعلومات التي يحتاجها المحللون لاتخاذ قرارات مدروسة، والآليات التي تُمكّن البشر من تجاوز الإجراءات الآلية أو إيقافها. تُدمج شركة ستيلار سايبر هذه الاعتبارات في بنية منصتها، موفرةً مستويات أتمتة قابلة للتخصيص تتوافق مع متطلبات الحوكمة لكل مؤسسة.

مرحلة النشر والتحقق

قبل نقل نظام الذكاء الاصطناعي إلى مرحلة الإنتاج، تأكد من أن آليات الرقابة تعمل كما هو مُخطط لها. ويشمل ذلك ما يلي:
  1. اختبار قدرات التجاوز والإيقاف في ظل ظروف واقعية.
  2. التحقق من أن مخرجات الذكاء الاصطناعي تتضمن سياقًا كافيًا للتفسير البشري.
  3. التأكيد على أن مسارات التصعيد تصل إلى الموظفين المؤهلين في غضون أطر زمنية مقبولة.
  4. إجراء تمارين محاكاة على طاولة تحاكي سيناريوهات تتطلب تدخلاً بشرياً.

مرحلة التشغيل

خلال العمليات الجارية، يجب قياس فعالية الرقابة وتحسينها باستمرار. تشمل المقاييس الرئيسية معدل تجاوزات المحللين (قد يشير المعدل المنخفض جدًا إلى تحيز الأتمتة، بينما قد يشير المعدل المرتفع جدًا إلى ضعف أداء النموذج)، والوقت اللازم لاتخاذ القرار بشأن العناصر المصعدة، ودقة توصيات الذكاء الاصطناعي كما تم التحقق منها من قبل المراجعين البشريين.

مرحلة المراجعة والتحسين

ينبغي أن تُقيّم مراجعات الحوكمة الدورية مدى ملاءمة نموذج الرقابة الحالي في ضوء التغيرات في بيئة التهديدات، ومستوى تقبّل المخاطر لدى المؤسسات، وقدرات أنظمة الذكاء الاصطناعي. وينبغي أن تتناول هذه المراجعات ما يلي:
  • انحراف النموذج: هل تراجعت دقة نظام الذكاء الاصطناعي بمرور الوقت، مما يتطلب مراجعة بشرية أكثر كثافة؟
  • كفاءة العملية: هل تتسبب إجراءات الرقابة في حدوث تأخيرات غير ضرورية دون تقليل المخاطر بشكل متناسب؟
  • التغييرات التنظيمية: هل أدت متطلبات الامتثال الجديدة إلى تغيير الحد الأدنى لمعايير التدخل البشري؟
  • دمج الملاحظات: هل يتم إدخال تصحيحات المحللين وتجاوزاتهم بشكل منهجي في عملية إعادة تدريب النموذج؟
من خلال اعتبار الإشراف البشري ممارسة حوكمة مستمرة لا مجرد آلية ثابتة، تضمن المؤسسات فعالية عملياتها الأمنية المدعومة بالذكاء الاصطناعي، ومساءلتها، وتوافقها مع أهداف العمل والمتطلبات التنظيمية. لا يهدف هذا إلى تقييد الذكاء الاصطناعي، بل إلى تهيئة الظروف التي يعزز فيها الذكاء الاصطناعي والحكم البشري بعضهما بعضًا، مما يُنتج نتائج أمنية لا يمكن لأي منهما تحقيقها بمفرده.

يبدو جيدا جدا
هل يكون صحيحا؟
انظر بنفسك!

انتقل إلى الأعلى