مع إسناد الشركات مهام أطول وأكثر تعقيداً إلى وكلاء الذكاء الاصطناعي، بدأت تواجه مشكلة متزايدة في الرقابة والإشراف؛ إذ باتت هذه الوكلاء قادرة على تنفيذ العمليات بسرعة أكبر، ولفترات أطول، وبحجم يفوق قدرة البشر على المراجعة والمتابعة بشكل واقعي.

ووصلت هذه المشكلة إلى ذروتها خلال حادثة منصة Hugging Face، التي شهدت تنسيق ما يقرب من 12 ألف وكيل للذكاء الاصطناعي فيما بينهم بسرعة تفوق قدرة البشر على تتبع ما يجري.

وهنا يبرز السؤال: كيف يمكن مراقبة سرب من الوكلاء بهذا الحجم؟

الإجابة الناشئة من مختبرات الذكاء الاصطناعي والشركات الناشئة تبدو بسيطة، لكنها تثير مفارقة واضحة: إدخال نموذج ذكاء اصطناعي آخر في دائرة المراقبة، بحسب تقرير نشره موقع "تك كرانش" واطلعت عليه "العربية Business".

وكان الاعتماد على الذكاء الاصطناعي ضرورياً في التحقيق المستقل الذي أعقب حادثة "OpenAI" المرتبطة بـ Hugging Face. وقال رايان غرينبلات، كبير العلماء في مؤسسة Redwood Research وأحد ثلاثة مدققين شاركوا في التحقيق، ساخراً إن جهودهم تحولت إلى ما وصفه بتحقيق بالذكاء الاصطناعي الرديء، مشيراً إلى أن حجم البيانات جعل من المستحيل فهم ما كان يحدث من دون الاستعانة بالذكاء الاصطناعي.

لكن فكرة استخدام الذكاء الاصطناعي لمراقبة الذكاء الاصطناعي تواجه تشككاً متزايداً.

وقال سايمون ويلسون، المدون التقني البارز الذي تابع سلسلة من حوادث وكلاء الذكاء الاصطناعي هذا العام: "إذا كان لديك ذكاء اصطناعي يقوم بأشياء خبيثة ويشتبه في أن ذكاءً اصطناعياً آخر يراقبه، فقد يحاول خداع ذلك الذكاء الاصطناعي".

وأضاف: "قد ينتهي بك الأمر تقريباً إلى وضع يحاول فيه الذكاء الاصطناعي الخبيث التفوق على الذكاء الاصطناعي الذي يراقبه".

ويرى ويلسون أن التفوق على نموذج ذكاء اصطناعي آخر ليس مجرد احتمال نظري، مستشهداً مجدداً بحادثة "OpenAI" وHugging Face.

وقال إن ما حدث أظهر جزءاً صغيراً من هذه المشكلة، إذ تعاونت نماذج "OpenAI" فيما بينها لخداع نموذج ذكاء اصطناعي مكلف بالتقييم، بهدف تمرير إجابات غير مشروعة من دون اكتشافها.

وأضاف أن النماذج كانت بالفعل تفكر في الأمر وتحاول الالتفاف على آلية الرقابة.

ومع ذلك، لم تمنع هذه المخاوف مجموعة كبيرة من الشركات الناشئة من الاستثمار في فكرة مراقبة الذكاء الاصطناعي بواسطة الذكاء الاصطناعي.

وبحسب إحصاء أجراه موقع "تك كرانش" موّلت منصة Y Combinator خلال السنوات الأخيرة 106 شركات مرتبطة بمجال مراقبة أنظمة الذكاء الاصطناعي.

كما جمعت شركات ناشئة أخرى، مثل "Braintrust" و"LangChain" و"Judgment Labs"، مئات الملايين من الدولارات، في حين تمكنت شركات أكثر نضجاً، مثل "Arize" و"Galileo"، اللتان تأسستا قبل نحو 5 إلى 6 سنوات، من إتمام عمليات تخارج بالفعل.

ويرتبط هذا النشاط جزئياً بالفرصة الهائلة التي خلقها الانتشار السريع للذكاء الاصطناعي. وقال الرئيس التنفيذي لشركة Box والمستثمر البارز في الشركات الناشئة، آرون ليفي: "نحن مقبلون على واحدة من أكبر دورات تطوير الأمن السيبراني والابتكار في التاريخ".

وبالنسبة لبعض الباحثين في مجال سلامة الذكاء الاصطناعي، أدى ذلك إلى تحويل أبحاثهم حول السلوكيات المتمردة أو الخطرة للنماذج إلى أدوات يمكن للشركات استخدامها في بيئات العمل.

وأطلقت شركة Apollo Research، وهي مؤسسة ذات منفعة عامة تركز على دراسة الخداع في أنظمة الذكاء الاصطناعي، أداة لمراقبة الذكاء الاصطناعي تحمل اسم Watcher في فبراير من هذا العام، بعدما غيرت وضعها القانوني من مؤسسة غير ربحية إلى شركة ذات منفعة عامة.

وتضع الأداة نموذج ذكاء اصطناعياً إضافياً بين وكيل البرمجة وبين الإجراء التالي الذي يعتزم تنفيذه، مع إمكانية الاتصال بأدوات مخصصة للوكلاء مثل Claude Code وCodex.

وبمجرد تثبيت Watcher، تراجع الأداة الإجراءات المقترحة قبل تنفيذها، بحثاً عن مخاطر مثل تسريب البيانات الخاصة أو حذف الملفات من دون الحصول على إذن، وفقاً لشركة Apollo.

وقال كايل داي، أحد أعضاء الفريق التقني في "Apollo" إن الشركة تعتمد على طبقات متعددة من أنظمة مراقبة الذكاء الاصطناعي.

وتبدأ آلية Watcher بفحص سريع وعام، ثم ترسل الأنشطة التي تثير علامات تحذير إلى نموذج مراقبة أكثر قوة أو تخصصاً لإجراء مراجعة أعمق. ويمكن لهذا النموذج بعد ذلك طلب موافقة بشرية، أو رفض الإجراء مع توضيح السبب، أو حتى حظر العملية تلقائياً.

أما شركة Goodfire، وهي مؤسسة أخرى ذات منفعة عامة، فتتعامل مع مشكلة المراقبة من داخل النموذج نفسه، من خلال محاولة الوصول إلى إشارة أكثر دقة تعكس الحالة الداخلية للنموذج، ويصعب تزويرها مقارنة بالسلوك الظاهر للنظام.

وبعد حادثة Hugging Face في يوليو، كتب الرئيس التنفيذي للشركة، إريك هو، أن انفلات عدة نماذج من الاحتواء دفع الشركة إلى تركيز أبحاثها على حل مشكلة مواءمة الذكاء الاصطناعي عبر قابلية التفسير، واصفاً الحادثة بأنها "نقطة تحول للعالم، حيث تصبح سلامة الذكاء الاصطناعي أمراً حقيقياً".

ويستخدم منتج الشركة، Silico، ما يعرف باسم مسبارات التنشيط، وهي مصنفات صغيرة يتم تدريبها على النشاط الداخلي للنموذج بدلاً من مخرجاته، بهدف اكتشاف السلوكيات غير المرغوبة.

ويمثل الاستدلال المكتوب للنماذج نافذة أخرى، وأكثر سهولة في الوصول إليها، لفهم ما يدور داخلها.

فخلال حادثة "OpenAI" وHugging Face، تركت الوكلاء وراءها مؤشرات على محاولاتها للخداع ضمن عمليات الاستدلال المكتوبة الخاصة بها، بما في ذلك سجلات مزيفة للعمل الذي نفذته، وأفكار حول خطط للتلاعب بالأدلة.

ومن بين العبارات التي ظهرت في عمليات الاستدلال: "هل يمكن التلاعب بمسار الأدلة بشكل استراتيجي؟ أفكارنا ليست بالضرورة مسجلة؟".

ويرى زاك كورمان، الرئيس التنفيذي لشركة Embroidery المتخصصة في مراقبة أنظمة الذكاء الاصطناعي، أن عمليات الاستدلال الخاصة بالنموذج تكون في العادة أوضح مؤشر على حدوث خلل ما.

وقال: إن ملخصات الاستدلال ذات قيمة هائلة، لأنها تخبرك بشكل أساسي ما إذا كان النظام يتصرف بشكل خبيث أم لا.

وأشار كورمان إلى أن عمليات الاستدلال التي ظهرت خلال حادثة "OpenAI" تضمنت عبارات من قبيل: "يا إلهي، نحن نرتكب جريمة".

وأضاف أن هذا يمثل أسهل مشكلة اكتشاف على الإطلاق، موضحاً أن الأمر يشبه تقريباً وجود برمجية خبيثة مرفقة بتحذير يقول صراحة إنها برمجية خبيثة.

لكن النافذة التي تجعل مراقبة أفكار الذكاء الاصطناعي أمراً ممكناً قد تكون آخذة في الانغلاق.

فبالنسبة إلى باحثي سلامة الذكاء الاصطناعي، قد تجعل أحدث تقنية تستخدمها Astra، والتي تتجاوز سلسلة الاستدلال الخاصة بالنموذج، من الصعب النظر إلى ما يحدث داخل النماذج وفهمه.

وبالنسبة إلى الشركات، قد يصبح الحصول على هذه الخطوات الوسيطة أكثر صعوبة أيضاً، وسط ما يُقال عن تقليص شركات الذكاء الاصطناعي إمكانية الوصول إليها للحد من هجمات استخلاص المعرفة من النماذج، المعروفة باسم Distillation Attacks.

وإذا كانت أنظمة مراقبة الذكاء الاصطناعي نفسها بهذه الهشاشة، فإن ويلسون يرى أن الحل قد يكون في تقليل الاعتماد عليها بدلاً من زيادته.

ويفضل ويلسون وجود آلية لا تعتمد على الذكاء الاصطناعي على الإطلاق، تتمثل في تسجيل تفاصيل دقيقة لكل ما يفعله الوكيل، ثم معالجة هذه السجلات باستخدام أدوات تقليدية لا تعتمد على الذكاء الاصطناعي.

ويرى أن جزءاً كبيراً مما حدث داخل مختبرات الذكاء الاصطناعي كان نتيجة إخفاقات في أساسيات الأمن السيبراني.

وقال إن كلاً من "OpenAI" و"أنثروبيك" لم تكن تراقب ما تفعله تلك الأنظمة عبر الشبكة بالقدر الذي ينبغي أن تفعله.

وتُعد مراقبة حركة الشبكة، التي تتضمن تتبع البيانات التي تنتقل فعلياً عبر اتصالات النظام، سواء إلى الداخل أو الخارج أو بين الأجهزة المضيفة داخل الشبكة، ممارسة قديمة وليست ابتكاراً جديداً.

ويقول أفيري بينارون، الرئيس التنفيذي لشركة الأمن السيبراني Tailscale: "في عالم الأمن السيبراني، بصراحة، لا شيء من هذه الأمور جديد أو مفاجئ للغاية".

وأضاف أن التعامل مع وكلاء الذكاء الاصطناعي يشبه السماح للبشر بالوصول إلى شبكة المؤسسة، موضحاً أن جميع العمليات نفسها التي ينبغي استخدامها مع البشر هي نفسها التي ينبغي تطبيقها هنا أيضاً.