صدمه‌پذیری Gemini از تزریق مخفی دستورات با تصاویر کوچک‌سازی‌شده_سیاه پوش

پژوهشگران امنیتی شرکت Trail of Bits اظهار کرده‌اند ابزارهای مبتنی بر Gemini در برابر حملات مبتنی بر مقیاس‌گذاری عکس صدمه‌پذیر می باشند. این دعوا یکی از چالش‌های شناخته‌شده در حوزه یادگیری ماشین محسوب می‌بشود که پیش‌تر نیز در مقالات علمی مورد او گفت و گو قرار گرفته می بود.

به نقل از قسمت امنیت رسانه اخبار فناوری و تکنولوژی تکنا، گوگل این مشکل را یک صدمه‌پذیری امنیتی به شمار نمی‌آورد چون تنها در شرایطی ابراز می‌کند که پیکربندی غیرپیش‌فکر در سیستم اعمال شده باشد. مبنا این حملات بر تزریق دستورهای مخفی درون عکس است؛ دستورهایی که با دستکاری مقیاس‌گذاری توسط الگوریتم‌های خاص آشکار خواهد شد، در حالی که در حالت عادی برای چشم انسان نامرئی باقی می‌همانند. پژوهشگران توضیح دادند اگر کاربری تصویری آلوده را در یک سرویس صدمه‌پذیر بارگذاری کند، مدل هوش مصنوعی پنهانی از این دستورها پیروی کرده و می‌تواند داده‌ها را افشا کند.

به حرف های متخصصان سایبری، این دعوا وقتی موفق عمل می‌کند که سامانه‌های هوش مصنوعی به طور خودکار تصاویر بزرگ را کوچک‌سازی می‌کنند. آنها اشاره کردند که در فرآیند افت ابعاد عکس، دستورهای مخفی آشکار می‌بشود و به همین علت داده‌ها در معرض خروج غیرمجاز قرار می‌گیرند. برای اثبات این نوشته پژوهشگران ابزاری متن‌باز با نام Anamorpher گسترش دادند که قادر است تصاویر آلوده را بر پایه سه الگوریتم رایج کوچک‌سازی شامل nearest neighbor، bilinear و bicubic تشکیل کند. آنها موفق شدند این چنین حملاتی را نه تنها علیه Vertex AI با هسته جمینای بلکه در محیط‌های متنوعی همانند رابط وب جمینای، رابط برنامه‌نویسی API، Google Assistant روی تلفنهای اندرویدی و مرورگر Genspark نیز عملی کنند.

پژوهشگران پافشاری کردند که این دعوا نوعی تزریق غیرمستقیم محسوب می‌بشود چون کاربر از وجود متن مخرب در عکس خبری ندارد. تفاوت این دعوا با راه حلهایی همانند jailbreak در آن است که دستور مخرب به‌طور پنهانی و از طریق ورودی ترکیبی اعمال می‌بشود. شبیه این حرکت پیش‌تر در مرورگر Comet متعلق به Perplexity هم مشاهده شده می بود. مسئله مهم اینجاست که این چنین تزریق‌هایی به علت نهان‌بودن برای کاربر، نرخ پیروزی بالاتری نسبت به دیگر تکنیک‌ها دارند. آنها پیشنهاد کرده‌اند که در صورت منفعت گیری از کوچک‌سازی عکس در سامانه‌های عامل‌محور هوش مصنوعی، کاربر باید مدام پیش‌نمایشی از آنچه مدل می‌بیند دریافت کند تا در معرض دستورهای پنهانی قرار نگیرد.

گوگل در عکس العمل خبرداد که این صدمه‌پذیری تنها در صورتی رخ می‌دهد که کاربران پیکربندی غیرپیش‌فکر را فعال کنند. یک سخنگوی این شرکت گفت که مشکل یادشده به طور پیش‌فکر در Gemini CLI وجود ندارد و تنها وقتی امکان پذیر سوءاستفاده بشود که کاربر تنظیمات امنیتی همانند قبول خودکار فراخوانی MCP را تحول دهد و فایل آلوده را بدون کنترل داخل سیستم کند. به حرف های او گوگل ضمن سپاس از گزارش‌های جامعه امنیتی پافشاری دارد که گسترش‌دهندگان باید تنها به داده‌ها و فایل‌های مورد مطمعن دسترسی دهند و فعالیت‌های خود را در یک محیط ایزوله انجام بدهند. این چنین این شرکت خبرداد که به‌زودی هشدارهای صریح‌تری در ابزارهای خود برای کاربرانی که این حفاظ‌ها را غیرفعال می‌کنند اضافه خواهد کرد.

پژوهشگران Trail of Bits در آخر پافشاری کردند که سامانه‌های هوش مصنوعی به دفاع‌های ساختاریافته در برابر تزریق دستور نیاز دارند. آنها اعتقاد دارند که تنها با تکیه بر پیش‌نمایش یا ابزارهای کمکی نمی‌توان تهدید را رفع کرد بلکه باید راهکارهای جامع‌تری برای افت خطر این گونه حملات طراحی بشود تا مطمعن از ایمنی و کارایی ابزارهای مبتنی بر هوش مصنوعی در شرایط واقعی ضمانت گردد.