همشهری آنلاین، فرخنده رفائی: با گسترش قابلیت حافظه بلندمدت در دستیارهای هوش مصنوعی، پژوهشگران نسبت به ظهور تهدیدی تازه در امنیت این سامانهها هشدار دادهاند؛ تهدیدی که این بار نه خود مدل هوش مصنوعی، بلکه حافظه آن را هدف قرار میدهد.
به گزارش دیجیتال ترندز، محققان دانشگاه ایالتی نیومکزیکو در پژوهشی از امکان وجود تهدیدی با نام «نویسنده شبح» (GhostWriter) خبر دادهاند که به جای نفوذ مستقیم به مدل یا سرقت اطلاعات، دادههای جعلی و دستکاریشده را از طریق دستورهای پنهان یا محتوای غیرقابل اعتماد وارد حافظه بلندمدت دستیار هوش مصنوعی میکند. این اطلاعات ممکن است برای مدتی بدون استفاده باقی بمانند، اما زمانی که دستیار در پاسخ به یک درخواست عادی به حافظه خود مراجعه کند، همان دادههای آلوده مبنای تصمیمگیری یا پاسخ آن قرار میگیرند.
به گفته پژوهشگران، این حمله در دو مرحله انجام میشود. در مرحله نخست، اطلاعات مخرب بهصورت پنهانی در حافظه ذخیره میشوند و در مرحله دوم، هوش مصنوعی هنگام پاسخ به درخواستهای واقعی کاربر، همان اطلاعات را بازیابی کرده و بر اساس آنها عمل میکند.
برای مثال، اگر کاربری از دستیار هوش مصنوعی بخواهد ایمیلهای بانکی او را خلاصه کند، حافظه آلوده میتواند باعث شود دستیار بهطور مخفیانه نسخهای از این ایمیلها را برای مهاجم ارسال کند یا اطلاعات نادرستی مانند شماره تماس، مهلت انجام کارها، ترجیحات کاربر یا حتی واقعیتهای ساختگی را به خاطر داشته باشد.
برخلاف حملات رایج موسوم به «تزریق دستور» که معمولا تنها یک گفتوگو را تحت تأثیر قرار میدهند، GhostWriter اثری ماندگار دارد و تا زمانی که اطلاعات آلوده از حافظه حذف نشوند، میتواند رفتار دستیار را در جلسات بعدی نیز تغییر دهد.
آزمایشهای این پژوهش نشان میدهد این حمله در حدود ۹۸ درصد موارد توانسته اطلاعات مخرب را با موفقیت وارد حافظه عاملهای هوش مصنوعی کند و در حدود ۶۰ درصد مواقع نیز این اطلاعات در زمان مناسب فعال شده و بر عملکرد آنها اثر گذاشتهاند.
بیشتر بخوانید:
- مطالعات جدید هشدار میدهند؛ مشاوره گرفتن از هوش مصنوعی را متوقف کنید!
- کشف نگرانکننده محققان | مدلهای هوش مصنوعی رفتارهای خطرناک را از هم یاد میگیرند
- وقتی هوش مصنوعی طرف شما را میگیرد | خطر پنهان چتباتهای «بلهقربانگو»!
پژوهشگران همزمان راهکاری دفاعی با نام Agentic Memory Sentry (AM-Sentry نیز معرفی کردهاند که با بررسی اطلاعات پیش از ذخیرهسازی و اعمال سیاستهای سختگیرانهتر برای مدیریت حافظه، توانسته احتمال موفقیت این حمله را به میزان قابل توجهی کاهش دهد. به اعتقاد آنها، با تبدیل شدن دستیارهای هوش مصنوعی به ابزارهایی برای مدیریت ایمیل، برنامهریزی، تولید محتوا و تصمیمگیری، حفاظت از حافظه این سامانهها به یکی از مهمترین چالشهای امنیتی آینده تبدیل خواهد شد.
نظر شما