هل تتحول أدوات الذكاء الاصطناعي إلى خطر على الشركات؟

المعلومة/ متابعة..
أثارت حادثة مرتبطة بشركة "بوكيت أو إس" الناشئة في أواخر أبريل نيسان 2026 تساؤلات بشأن مخاطر وكلاء الذكاء الاصطناعي بعدما أفاد مؤسس الشركة بأن وكيلا ذكيا حذف قاعدة بيانات الشركة الفعلية ونسخها الاحتياطية خلال تسع ثوان أثناء محاولته معالجة خطأ في بيئة الاختبار.
وتسلط الحادثة الضوء على المخاطر التي تنشأ عندما تمتلك الأنظمة الذكية صلاحيات تنفيذ الأوامر دون ضوابط كافية إذ لا يقتصر دورها على تقديم الإجابات بل يمكنها الوصول إلى الملفات وإدارة البيانات وتنفيذ إجراءات فعلية.
وتعتمد هذه الأنظمة على ثلاثة مكونات رئيسية هي النموذج الذي يقترح الإجراءات والوكيل الذي ينفذها والذاكرة التي تحتفظ بالتعليمات والنتائج السابقة وقد يؤدي تفاعل هذه المكونات إلى تحويل خطأ بسيط إلى سلسلة من الإجراءات الضارة.
وتزداد المخاطر عندما تحاول الأنظمة الوصول إلى الهدف المطلوب بطرق غير آمنة أو تتعامل مع تعليمات خبيثة مخفية داخل صفحات الويب والرسائل وهو ما يعرف بحقن الأوامر.
وللحد من هذه المخاطر ينصح بتقييد صلاحيات الوكلاء وفصل بيئات الاختبار عن الأنظمة الفعلية واشتراط موافقة بشرية قبل تنفيذ الإجراءات الحساسة مثل حذف البيانات أو تحويل الأموال مع توفير وسائل مستقلة لإيقاف النظام.
وتؤكد هذه التحديات أن سلامة الذكاء الاصطناعي لا تعتمد على دقة النموذج وحدها بل على تصميم النظام والضوابط المحيطة به فالمشكلة الحقيقية تظهر عندما تتحول اقتراحات الذكاء الاصطناعي إلى أفعال دون رقابة كافية. انتهى 25