الثغرات الأمنية الخمس الحرجة في وكلاء الذكاء الاصطناعي: ما كشفه باحثو جامعة تسينغهوا (وكيفية التصدي لها)
كشف باحثون من جامعة تسينغهوا ومجموعة آنت عن أزمة أمنية منهجية في وكلاء نماذج اللغة الكبيرة المستقلة. عبر خمس مراحل من دورة الحياة — من التهيئة إلى التنفيذ — رصدوا نواقل هجوم قادرة على اختراق وكلاء الذكاء الاصطناعي بصمت، والاستمرار عبر الجلسات، والتصعيد حتى السيطرة الكاملة على الأنظمة. رقم واحد يلفت الانتباه: 26% من مهارات الذكاء الاصطناعي المقدَّمة من المجتمع تحتوي على ثغرات أمنية قابلة للاستغلال.
🔬 البحث: تسينغهوا وآنت تكشفان الفجوة الأمنية في وكلاء الذكاء الاصطناعي
لم تعد وكلاء نماذج اللغة الكبيرة المستقلة — كالأنظمة القادرة على تنفيذ مهام معقدة طويلة الأمد عبر صلاحيات نظام رفيعة المستوى — مجرد فضول بحثي. إنها اليوم تدير الأكواد، وتشرف على الأنظمة، وتعالج بيانات المؤسسات على نطاق واسع. غير أن ورقة بحثية مشتركة صادرة عن جامعة تسينغهوا ومجموعة آنت تكشف عن نقطة عمياء أمنية حرجة: دورة حياة الوكيل بأكملها عرضة للاختراق بطرق لا تستطيع الدفاعات التقليدية معالجتها.
يتمحور البحث حول بنية "النواة-الإضافة" (kernel-plugin)، حيث تدير قاعدة حوسبة موثوقة (TCB) محدودة النطاق منظومة موسَّعة من الإضافات الخارجية المعروفة بـ"المهارات". هذه البنية متكررة في معظم الأطر الوكيلية الكبرى، مما يجعل هذه النتائج ذات تطبيق واسع يتجاوز أي منصة بعينها.
جوهر المشكلة: تحميل الإضافات ديناميكياً دون التحقق الصارم من سلامتها يخلق حدود ثقة مبهمة. حين يعرف المهاجمون موضع هذه الحدود، يمكنهم استغلالها في كل مرحلة من مراحل دورة حياة الوكيل.
⚔️ نواقل الهجوم الخمسة
رسم الباحثون خريطة التهديدات عبر خمس مراحل تشغيلية متوافقة مع مسار عمل الوكيل. إليك ما يبدو عليه كل هجوم في الواقع العملي:
1. تسميم المهارات (Skill Poisoning)
قبل أن تبدأ أي مهمة، يمكن للمهاجم حقن مهارة خبيثة في منظومة إضافات الوكيل. في تجربة البحث، أجبر المهاجمون الوكيل على إنشاء مهارة طقس مزيفة تُعرف بـ hacked-weather مع أولوية توجيه مرتفعة بصناعة بشرية. حين طلب المستخدمون بيانات الطقس، تجاوز الوكيل الخدمة الشرعية كلياً وأعاد مخرجات يتحكم بها المهاجم. اللافت أن 26% من الأدوات المقدَّمة من المجتمع تحتوي على ثغرات قابلة للاستغلال، مما يجعل تلوث سلسلة التوريد خطراً إحصائياً حقيقياً لا افتراضياً.
2. حقن الأوامر غير المباشر (Indirect Prompt Injection)
تستوعب الوكلاء المستقلة باستمرار بيانات خارجية غير موثوقة — صفحات ويب، ومستندات، واستجابات واجهات برمجية. يضع المهاجمون توجيهات خبيثة مضمَّنة في هذا المحتوى. في السيناريو المختبر، تضمنت صفحة ويب تعليمات مخفية تجاوزت مهمة المستخدم الأصلية كلياً؛ فتجاهل الوكيل الطلب الشرعي ونفَّذ الحمولة المضمَّنة — وهو استغلال بدون نقر لا يتطلب أي تفاعل مباشر من المستخدم. مع توسُّع صلاحيات الوصول الخارجية للوكلاء، يتضاعف سطح الهجوم هذا أُسياً.
3. تسميم الذاكرة (Memory Poisoning)
خلافاً لاستدعاءات واجهات برمجية عديمة الحالة، تحتفظ الأنظمة الوكيلية بذاكرة مستمرة عبر الجلسات. استخدم فريق البحث حقناً عابراً لتعديل ملف MEMORY.md الخاص بالوكيل — مضيفاً قاعدة ملفَّقة تأمره برفض أي استعلام يحتوي على "C++". استمر هذا التسميم عبر جميع الجلسات اللاحقة: رُفضت طلبات البرمجة البريئة بشكل منهجي حتى بعد انتهاء تفاعل الهجوم الأولي. يمثل هذا فئة جديدة من التلاعب السلوكي المستمر الذي لا تعالجه استجابة الحوادث المعيارية.
4. انجراف النية (Intent Drift)
يحدث انجراف النية حين تُفضي سلسلة من استدعاءات الأدوات المبررة فردياً إلى نتيجة كارثية شاملة. في السيناريو المختبر، طُلب من الوكيل "التخلص من عنوان IP مريب لزاحف ويب". فصعَّد الوكيل: حدَّد اتصالات IP، وحاول تعديل جدار الحماية عبر iptables، وفشل، ثم أنهى عمليته الخاصة لمحاولة إعادة تشغيله يدوياً — مما أسقط الواجهة الرسومية بالكامل وتسبب في انقطاع النظام. لم تكن أي خطوة منفردة خبيثة بوضوح؛ الكارثة نجمت عن قرارات مستقلة متراكمة.
5. تنفيذ الأوامر الخفية (Stealth Command Execution)
يُظهر هجوم المرحلة الأخيرة كيف تتصاعد الاختراقات السابقة إلى تدمير البنية التحتية. جزَّأ الباحثون هجوم قنبلة التفرع (Fork Bomb) إلى أربع خطوات كتابة ملفات بريئة بشكل فردي لتجاوز المرشحات الثابتة. باستخدام ترميز Base64 وأمر sed لإزالة الأحرف غير المرغوبة، نسَّقوا سلسلة تنفيذ كامنة في ملف trigger.sh. عند التفعيل، ارتفع استخدام المعالج إلى قرب 100% تشبعاً — هجوم حجب خدمة فعال ضد المضيف. أفلت الهجوم من الرصد لأن أي خطوة منفردة لم تبدُ خبيثة في عزلة.
🛡️ إطار الدفاع المؤلف من خمس طبقات
يقترح فريق البحث إطاراً دفاعياً موجَّهاً بدورة الحياة يعكس مراحل الهجوم الخمس. صُمِّمت كل طبقة لمعالجة فئات تهديد محددة مع تكوينها في بنية دفاعية شاملة ومتعمقة:
| الضوابط الرئيسية | محور الدفاع | المرحلة | الطبقة |
|---|---|---|---|
| التوقيع التشفيري، التحقق من السلامة، قوائم السماح لمصادر المهارات الموثوقة، تدقيق سلسلة التوريد | سلامة المهارات والإضافات | التهيئة | L1 |
| الفصل الصارم بين تعليمات المستخدم الموثوقة والبيانات الخارجية غير الموثوقة، وسم المدخلات وتعقيمها | فرض حدود المدخلات | الإدخال | L2 |
| ضوابط الوصول للذاكرة، ثبات القواعد السلوكية الأساسية، اكتشاف الشذوذ في عمليات الكتابة | سلامة الذاكرة وعزلها | الاستدلال | L3 |
| حدود نطاق استدعاءات الأدوات، مشاركة الإنسان في الإجراءات عالية الخطورة، قدرات التراجع | التحقق من النية والتحكم في التصعيد | القرار | L4 |
| عزل العمليات، التنفيذ بأقل الامتيازات، التحليل الثابت والسلوكي لتسلسلات الأوامر | التنفيذ في بيئة معزولة والتحكم بالوصول | التنفيذ | L5 |
الرؤية الجوهرية للإطار أن التهديدات المركَّبة تستلزم دفاعات مركَّبة. الهجوم الذي يبدأ بتسميم المهارات (L1) ويتصاعد عبر حقن الأوامر (L2) وينتهي بالتنفيذ الخفي (L5) لا تستطيع أي طبقة واحدة صده — يجب أن تكون الطبقات الخمس نشطة في آنٍ واحد.
📋 التداعيات على الامتثال لـ NIS2 وقانون الذكاء الاصطناعي الأوروبي
⚖️ الانكشاف التنظيمي حقيقة لا مجرد احتمال
بالنسبة للمنظمات الأوروبية التي تنشر وكلاء الذكاء الاصطناعي في بيئات الإنتاج، تُفرز هذه النتائج التزامات تنظيمية مباشرة بموجب كلٍّ من NIS2 وقانون الذكاء الاصطناعي الأوروبي. هجمات تسميم الذاكرة المستمرة عبر الجلسات، وثغرات سلسلة توريد المهارات التي تطال 26% من الأدوات المجتمعية، هي بالضبط المخاطر المنهجية التي صُمِّم كلا الإطارَين لمعالجتها.
توجيه NIS2 (أمن الشبكات والمعلومات): يُلزم المادة 21 بـ"تدابير تقنية وتنظيمية مناسبة ومتناسبة لإدارة المخاطر التي تهدد أمن الشبكات وأنظمة المعلومات". تقع وكلاء الذكاء الاصطناعي ذات الصلاحيات الرفيعة المستوى صراحةً ضمن النطاق. يُفعِّل تلوث سلسلة التوريد عبر المهارات الخبيثة المادة 21(2)(د) المتعلقة بأمن سلسلة التوريد. أما تسميم الذاكرة المستمر الذي يؤثر على سلوك الوكيل عبر الجلسات فيشكّل "حادثة" بمعنى التزامات الإبلاغ في المادة 23.
قانون الذكاء الاصطناعي الأوروبي: يجب أن تستوفي أنظمة الذكاء الاصطناعي عالية المخاطر — بما فيها تلك المؤدية لمهام حساسة أمنياً أو العاملة باستقلالية في البنية التحتية الحيوية — متطلبات صارمة للمتانة والدقة (المادة 15)، والشفافية (المادة 13)، والإشراف البشري (المادة 14). انجراف النية المفضي إلى انقطاع الأنظمة هو تحديداً نمط الإخفاق الذي صُمِّمت المادة 14 لمنعه. يجب على المنظمات توثيق واختبار نواقل الهجوم الخمسة كجزء من تقييم المطابقة.
DORA (قانون المرونة التشغيلية الرقمية): يتعين على الكيانات المالية التي تستخدم وكلاء الذكاء الاصطناعي في العمليات الآلية رسم خريطة لجميع اعتماديات تقنية المعلومات على أطراف ثالثة — بما فيها مزودو المهارات الخارجيون. يُفرز معدل الثغرات البالغ 26% في المهارات المجتمعية انكشافاً مباشراً لمخاطر الطرف الثالث بموجب متطلبات إدارة مخاطر تقنية المعلومات في DORA.
⚠️ فجوة الامتثال
تركّز معظم تقييمات أمن الذكاء الاصطناعي الحالية على حقن الأوامر بمعزل. يكشف إطار دورة الحياة المؤلف من خمس طبقات أن الدفاعات المعزولة تفشل أمام الهجمات المركَّبة. المنظمات التي تعتمد دفاعات أحادية الطبقة لا تلتزم بمعيار "المناسب والمتناسب" في NIS2 الخاص بأنظمة الذكاء الاصطناعي الوكيلية.
🔧 إجراءات دفاعية فورية
- تدقيق سلسلة توريد مهارات الذكاء الاصطناعي — احصِ جميع المهارات والإضافات الخارجية. بالنظر إلى أن 26% منها يحتوي على ثغرات، افترض الاختراق حتى يُثبَت غير ذلك.
- تطبيق التوقيع التشفيري — اشترط التحقق من التوقيع لجميع عمليات تثبيت المهارات. ارفض الإضافات غير الموقَّعة أو غير الموثَّقة عند التحميل.
- حماية ملفات ذاكرة الوكيل — طبِّق ضوابط وصول صارمة على الذاكرة المستمرة (كملف
MEMORY.md). راقِب الكتابات غير المصرَّح بها. فكِّر في جعل القواعد الأساسية ثابتة. - تحديد حدود النطاق لاستدعاءات الأدوات — قيِّد صراحةً موارد النظام التي يمكن لكل وكيل الوصول إليها. اشترط موافقة بشرية لتعديلات جدار الحماية وإنهاء العمليات وغيرها من الإجراءات عالية التأثير.
- نشر التحليل السلوكي على تسلسلات التنفيذ — الهجمات متعددة الخطوات التي تُفكِّك الإجراءات الضارة إلى خطوات بريئة بشكل فردي تتهرب من المرشحات الثابتة. التحليل السلوكي يرصد النمط.
- الفصل بين مسارات البيانات الموثوقة وغير الموثوقة — سمِّ جميع المحتويات ذات المصدر الخارجي ومررها عبر مسار معالجة منفصل لا يستطيع تجاوز نية المستخدم.
- اختبار نواقل الهجوم الخمسة جميعها — أدرِج تسميم المهارات، وحقن الأوامر غير المباشر، وتسميم الذاكرة، وانجراف النية، والتنفيذ الخفي في نطاق اختبار الاختراق لديك.
🎯 كيف يتصدى KENSAI لهذه الثغرات
نواقل الهجوم الخمسة التي حددها باحثو تسينغهوا/آنت تتناظر مباشرةً مع قدرات الفحص الأمني الآلي لـ KENSAI. صُمِّم محرك الفحص المستمر في KENSAI للعثور على هذا النوع تحديداً من المخاطر المنهجية — لا الثغرات المعزولة فحسب، بل مسارات الهجوم المركَّبة الممتدة عبر طبقات متعددة:
- فحص سلسلة توريد مهارات الذكاء الاصطناعي — تحليل آلي للإضافات الخارجية ومستودعات المهارات بحثاً عن الثغرات المعروفة والأنماط الخبيثة والتلاعب بالبيانات الوصفية
- اكتشاف حقن الأوامر — اختبار ديناميكي لنواقل حقن الأوامر غير المباشر في مسارات إدخال الوكيل، بما فيها استرداد الويب ومعالجة المستندات
- تقييم أمن الإعدادات — التحقق من ضوابط الوصول للذاكرة، وعزل التنفيذ، وحدود الامتيازات في مقابل الإطار المؤلف من خمس طبقات
- محاكاة الهجمات السلوكية — اختبار نشط لانجراف النية والتنفيذ الخفي باستخدام تسلسلات هجوم مُفكَّكة
- رسم خريطة الامتثال لـ NIS2 وقانون الذكاء الاصطناعي الأوروبي — توليد آلي لأدلة تقييمات المطابقة في مواجهة جميع المتطلبات التنظيمية ذات الصلة
تُثبت الورقة البحثية أن 26% من المهارات المجتمعية عرضة للاختراق الآن، اليوم — وأن معظم المنظمات لا تمتلك أي رؤية لسطح هجوم وكلاء الذكاء الاصطناعي لديها. KENSAI يمنحك هذه الرؤية قبل أن يستغلها المهاجمون.