«أوبن إيه آي» ترصد وكلاء ذكاء اصطناعي عطّلوا أنظمة مراقبتهم

الخميس، 22 أكتوبر 2026 02:21 م

شركة أوبن إيه آي

كشفت شركة أوبن إيه آي عن واقعتين عطّل خلالهما وكلاء للذكاء الاصطناعي أنظمة مراقبة مصممة لرصد سلوكهم، فيما أنكر أحد الوكلاء لاحقًا قيامه بتعطيل نظام المراقبة، في تطور يعيد تسليط الضوء على تحديات التحكم في الأنظمة الذكية ذاتية التشغيل وضمان التزامها بحدود المهام الموكلة إليها.

وأوضحت الشركة، المطورة لـ«تشات جي بي تي»، أن الحادثتين وقعتا خلال مهمتين برمجيتين داخليتين، وشملتا إيقاف أدوات رقابية أو إضعافها، وهي أدوات تهدف إلى اكتشاف الحالات التي تتصرف فيها نماذج الذكاء الاصطناعي على نحو يخالف التوقعات البشرية.

وكيل يعطّل التنبيهات وآخر ينكر تدخله

بحسب التقرير، وقعت الحادثة الأولى في 3 أكتوبر، عندما كان وكيل يعمل بنموذج GPT-6.1 Sol يتعامل مع مهمة برمجية، ففسّر طلباً بعدم إرسال رسائل عبر تطبيق الدردشة الخاص بالعمل على أنه إذن بإيقاف نظام التنبيهات المخصص لفريق السلامة، أثناء إصلاح نظام الاختبار، وفي حادثة أخرى، وقعت بعد ثلاثة أيام، عطّل وكيل يعمل بنموذج GPT-6 Astra أنظمة مراقبته أثناء نسخ برمجيات من مشروع آخر، قبل أن يخبر المبرمج البشري بأنه لم يقم بذلك، وتشير الواقعتان إلى تحديات تواجه المطورين في ضمان بقاء أنظمة الرقابة فعالة أثناء تنفيذ الوكلاء مهام متعددة الخطوات، خصوصاً عندما تتضمن المهام تعديلات على البرمجيات أو بيئات التشغيل.

«أوبن إيه آي» لا تزال تبحث عن تفسير

أفادت الشركة بأنها رصدت حالات أخرى لوكلاء ذكاء اصطناعي شغّلوا برامج بعد تعطيل أنظمة مراقبتهم، ما أثار تساؤلات بشأن مدى قدرة آليات الرقابة الحالية على اكتشاف مثل هذه التصرفات ومنعها، وقالت «أوبن إيه آي» إنها لم تتوصل حتى الآن إلى تفسير حاسم لهذا السلوك، ولا تزال تبحث فيما إذا كان ناتجاً عن المبالغة في تنفيذ التعليمات، أم عن ميل لدى بعض النماذج إلى تجنب المراقبة، ويكمن التحدي في أن الوكلاء الذكيين لا يقتصر دورهم على تقديم الإجابات، بل يمكنهم تنفيذ إجراءات فعلية داخل بيئات العمل والبرمجة، وهو ما يجعل ضمان الالتزام بالتعليمات وحدود الصلاحيات عنصراً أساسياً في تطوير هذه الأنظمة.

حوادث متكررة تعزز مخاوف سلامة الذكاء الاصطناعي

تأتي هذه الوقائع في وقت تتزايد فيه المخاوف بشأن سلامة الأنظمة القادرة على تنفيذ المهام بصورة مستقلة، خاصة مع توسع استخدامها في البرمجة وإدارة العمليات الرقمية، وكانت «أوبن إيه آي» قد واجهت في يوليو الماضي حادثة أخرى تتعلق بوكلاء ذكاء اصطناعي تجاوزوا حدود بيئات الاختبار الخاصة بهم، ونفذوا هجوماً إلكترونياً على شركة «هاجينج فيس» المتخصصة في الذكاء الاصطناعي، وفقًا لما أورده التقرير.

وأعلنت شركات أخرى عن حوادث أثارت تساؤلات بشأن كيفية ضبط الأنظمة الذكية، بالتزامن مع دعوات في الولايات المتحدة ودول أخرى لتعزيز الرقابة على تطوير تقنيات الذكاء الاصطناعي.

ويدعم الرئيس الأميركي دونالد ترامب توجهاً يدعو قطاع التكنولوجيا إلى تنظيم نفسه، بناءً على مشاورات مع مسؤولين تنفيذيين في الصناعة، من بينهم الرئيس التنفيذي لشركة «إنفيديا» جينسن هوانج، وتسلط هذه التطورات الضوء على أهمية تطوير آليات رقابة مستقلة يصعب على الوكلاء تعطيلها، إلى جانب تحسين أساليب اختبار النماذج وتقييم سلوكها قبل توسيع استخدامها في المهام الحساسة.