لقد أصبحت نماذج التدريب المسبق للغة المتباينة-الصورة المتباينة (CLIP) مكونات أساسية في أنظمة لغة الرؤية الحديثة. ومع تزايد دمج هذه النماذج في نماذج لغات الرؤية الكبيرة (VLMs)، برز ضعفها أمام هجمات الخصوم كمصدر قلق أمني بالغ الأهمية.
في حين ركزت الأبحاث السابقة على إنشاء اضطرابات خاصة بعينة محددة أو هجمات عالمية محدودة، إلا أن الفهم الشامل "لقابلية النقل الفائقة" - حيث يعمل اضطراب واحد عبر عينات بيانات ومجالات ونماذج ومهام مختلفة - لم يتم استكشافه حتى الآن.
ما يجعل هذا البحث مهمًا بشكل خاص هو إثبات أن الاضطراب الواحد يمكن أن ينتقل عبر البيانات والنطاقات والنماذج والمهام في وقت واحد - وهي خاصية تُعرف باسم "قابلية النقل الفائقة". تشكل هذه الإمكانية خطرًا جديدًا على سلامة أنظمة لغة الرؤية وتستدعي آليات دفاعية أكثر قوة.
فهم مشهد CLIP والهجمات المعادية
لقد أحدثت CLIP ثورة في تعلم لغة الرؤية من خلال التدريب المسبق على أزواج النصوص والصور على نطاق الويب من خلال التعلم التبايني. وقد جعلتها قدراتها التعميمية القوية العمود الفقري للعديد من برمجيات تعلم اللغة المرئية (VLMs)، بما في ذلك Flamingo وLLaVA وLLIP2 وMiniGPT-4.
تنقسم هجمات الخصوم ضد الشبكات العصبية إلى فئتين رئيسيتين: هجمات الصندوق الأبيض، حيث يكون لدى المهاجم معرفة كاملة بنموذج الضحية، وهجمات الصندوق الأسود، حيث لا تتوفر هذه المعلومات. تُعد هجمات التحويل، وهي نوع من هجمات الصندوق الأسود، مثيرة للقلق بشكل خاص بسبب طابعها العملي، فهي لا تتطلب استفسارات مشبوهة لنموذج الضحية.
ركز العمل السابق على هجمات الخصوم ضد CLIP في المقام الأول على الاضطرابات الخاصة بالعينة، والتي تم تصميمها خصيصًا للصور الفردية. على النقيض من ذلك، يمكن أن تخدع الاضطرابات العدائية الشاملة (UAPs) النماذج عبر عينات مختلفة.
وقد أدخلت الأبحاث الحديثة اضطرابات UAPs ضد برامج تشفير CLIP، بما في ذلك AdvCLIP و ETU و C-PGC. ومع ذلك، لم يحقق أي منها قابلية نقل فائقة شاملة - القدرة على النقل عبر البيانات والمجالات والنماذج والمهام في وقت واحد. هذه القدرة هي محور التركيز الأساسي ومساهمة برنامج X-Transfer.
آليات نقل X-Transfer: إنشاء هجمات فائقة قابلة للنقل
لفهم كيفية عمل X-Transfer، نحتاج أولاً إلى فهم هدف تدريب CLIP. يتعلم CLIP مساحة تضمين مشتركة للصور والنصوص من خلال التعلم المتباين. تقوم أداة تشفير الصور وأداة تشفير النصوص بإسقاط كلتا الطريقتين في هذا الفضاء المشترك، حيث يتم تقريب أزواج الصور والنصوص ذات الصلة من بعضها البعض بينما يتم إبعاد الأزواج غير ذات الصلة عن بعضها البعض.