أنتروبيك تكتشف أن كلود حصل على وصول غير مصرح به إلى أنظمة ثلاث مؤسسات

كشفت Anthropic عن 3 حوادث حصلت فيها نماذج Claude الخاصة بها على وصول غير مصرح به إلى الأنظمة الحقيقية لثلاث منظمات مختلفة خلال تقييمات الأمن السيبراني التي تم إعدادها بشكل خاطئ مع الوصول المباشر للإنترنت.

حددت شركة الذكاء الاصطناعي الحوادث بعد مراجعة 141,006 جولات تقييم، وهو فحص أطلقته بعد أن كشفت OpenAI أن نماذجها هربت من بيئة اختبار معزولة ووصلت إلى موقع Hugging Face.

كيف وصل كلود إلى أنظمة حقيقية في اختبارات التقاط العلم

كلفت التقييمات كلود بتحديات الاستيلاء على العلم. تطلب هذه التمارين من النموذج اقتحام آلة واسترجاع معلومات مخفية.

أخبرت أنثروبيك العارضات أنه لا يمتلكها اتصال بالإنترنت. ومع ذلك، أدى سوء التكوين إلى ربط أجهزة الاختبار بالويب المفتوح. وهكذا، تعامل كلود مع الأنظمة الحقيقية التي وجدها كجزء من التمرين.

في أكثر الحوادث خطورة، استغل Claude Opus 4.7 ثغرات في بنية تحتية لشركة حقيقية. استخرج النموذج بيانات اعتماد التطبيقات والبنية التحتية ووصل إلى عدة مئات من صفوف بيانات الإنتاج.

"في جميع الجولات الأربعة، أدرك النموذج في النهاية (كما يتضح من تفكيره اللفظي) أن النظام كان حقيقيا—وفي حالتين، برر النموذج أن الشركة الحقيقية يجب أن تكون جزءا من التمرين. ومع ذلك، لم يوقف أي منها الهجوم على هذا الأساس،" قال أنثروبيك.

تابعنا على X للحصول على آخر الأخبار فور حدوثها

رفع كلود ميثوس 5 برمجيات خبيثة إلى PyPI

في حادثة أخرى، نشرت Claude Mythos 5 حزمة بايثون مفخخة على PyPI، وهو سجل البرمجيات العام. ظل الطرد نشطا لمدة ساعة تقريبا ويعمل على 15 نظاما حقيقيا.

أحدها كان ماسحا لشركة أمنية، يقوم بتنفيذ الرمز المخفي. ثم قام كلود بسحب بيانات اعتماد تلك الشركة والوصول إلى بنية تحتية إضافية. أشار منطق النموذج إلى الخطر مبكرا قبل أن يقنع نفسه بأن البيئة محاكاة.

وأضاف الفريق: "بذل كلود جهودا كبيرة لتنفيذ هذا الهجوم—جهود كانت ستشير على الأرجح للمشارك البشري أن هذا لم يعد مجرد تقييم، وأنهم في الواقع يرفعون حزمة PyPI حقيقية."

الحادثة الثالثة شملت نموذجا بحثيا داخليا قام بمسح حوالي 9,000 هدف واخترق تطبيق إحدى الشركات عبر حقن SQL. توقف ذلك النموذج عن هجومه بمجرد أن استنتج أن الهدف حقيقي.

أبلغت Anthropic المنظمات المتضررة في 27 يوليو وقالت إنها تجري محادثات مع المقيم METR لمراجعة طرف ثالث. تجادل الشركة بأن هذه الحوادث تعكس فشلا تشغيليا بدلا من فشل في محاذاة النماذج، مشيرة إلى أن ضمانات المستهلكين القياسية كانت ستمنع هذا السلوك.

اشترك في قناتنا على يوتيوب لمشاهدة القادة والصحفيين يقدمون رؤى خبراء