هشدار محققان فریب چتباتهای هوش مصنوعی برای استخراج اطلاعات خطرناک کار بسیار آسان است, یک تحقیق جدید نشان میدهد که دور زدن محدودیتهای امنیتی چتباتهای هوش مصنوعی و وادار کردن آنها به انتشار محتوای غیرقانونی و مضر، فرایندی ساده و بسیار نگرانکننده است. این آسیبپذیری باعث میشود دانشی که پیشتر تنها در اختیار دولتها یا گروههای جنایی سازمانیافته بود، اکنون برای هر فردی با یک دستگاه ساده در دسترس قرار گیرد.

مکانیزم جیلبریک و تهدیدات ناشی از آن محققان با توسعه روشهای پیشرفته جیلبریک، موفق شدند کنترلهای ایمنی چندین مدل زبانی بزرگ و معروف را بیاثر کنند.

رمانه است.

ریشهی مشکل دادههای آموزشی عظیم و ناکامل مدلهای زبانی بزرگ (LLM) که موتور چتباتهایی مانند ChatGPT و جمینای هستند، بر روی حجمی عظیم از متون اینترنتی آموزش دیدهاند. علیرغم تلاشهای توسعهدهندگان برای پاکسازی دادهها، این مدلها همچنان دانش قابلتوجهی درباره فعالیتهای غیرقانونی و خطرناک در پارامترهای خود نهفته دارند.

این حملات سریع، ملموس و بهشدت دلواپسکننده است.

وقتی یک مدل تحت تأثیر جیلبریک قرار گیرد، به طور مداوم و بدون مانع به طیف وسیعی از سوالات ممنوعه پاسخ میدهد. این وضعیت یعنی دانش تخصصی برای انجام کارهای مخرب، دیگر نیازی به تخصص فنی بالا یا منابع دولتی ندارد و در مقیاس وسیعی در دسترس عموم قرار گرفته است. این یافتهها دقایق امنیتی فعلی را در مدلهای زبانی بزرگ زیر سوال میبرد و ضرورت توسعه رویکردهای جدید و مقاومتر در برابر حملات جیلبریک را بیش از پیش آشکار میسازد.