ثغرة في وكلاء الذكاء الاصطناعي تتيح تجاوز الحماية عبر خطوات بسيطة

المعلومة/ متابعة..

كشف باحثون من المدرسة الفيدرالية للفنون التطبيقية في لوزان (EPFL) عن ثغرة مقلقة في أنظمة الذكاء الاصطناعي الوكيلة، قد تسمح بدفعها إلى تنفيذ مهام ضارة كانت سترفضها إذا طُلبت بشكل مباشر.

وأظهرت الدراسة أن تقسيم الهدف الضار إلى سلسلة من الطلبات الصغيرة التي تبدو غير مؤذية يمكن أن يزيد فرص تجاوزه لأنظمة الحماية. واختبر الباحثون هذه الطريقة باستخدام أداة آلية أطلقوا عليها STING على 176 سيناريو، شملت نماذج بارزة مثل ChatGPT وGemini وClaude.

وأظهرت النتائج أن الهجمات متعددة الخطوات كانت أكثر نجاحًا من الطلبات المباشرة، وفي بعض الحالات تضاعفت احتمالية تنفيذ المهمة الضارة عند تقسيمها إلى مراحل متتالية.

كما اكتشف الباحثون أن تغيير اللغة أثناء المحادثة قد يرفع معدل نجاح هذا النوع من الهجمات، ما يبرز تعقيد المشكلة.

وأكد الفريق أن الخطر ليس نظريًا، مشيرًا إلى حوادث سابقة استُغلت فيها الهندسة الاجتماعية لخداع أنظمة ذكاء اصطناعي ومنح وصول غير مصرح به إلى حسابات.

ويرى الباحثون أن إجراءات الأمان يجب أن تكون جزءًا من تصميم وكلاء الذكاء الاصطناعي منذ البداية، بدل الاكتفاء بإضافة طبقات حماية بعد اكتشاف الثغرات، خصوصًا مع توسع قدرة هذه الأنظمة على تنفيذ مهام متعددة والتفاعل مع العالم الحقيقي. انتهى 25