هوش مصنوعی پزشکی گوگل عضو غیرواقعی در مغز اختراع کرد؛ خطرات هالوسیناسیون در تشخیص بیماری, گزارشهای اخیر نشان میدهد مدل پیشرفته پزشکی گوگل با نام مد-جمینی در یک مقاله تحقیقاتی به عضوی در مغز انسان اشاره کرده که در واقعیت وجود خارجی ندارد. این رویداد بار دیگر نگرانیهای جدی را در مورد بکارگیری سیستمهای هوش مصنوعی نابالغ در محیطهای بالینی و پزشکی دامن زده است.

تشخیص نادرست در مقاله تحقیقاتی گوگل در مقالهای که توسط خود گوگل برای ستراسیون قابلیتهای مد-جمینی منتشر شده بود، این مدل در تحلیل سیتی اسکن سر، یک ناهنجاری را در گانگلیون بازیلر گزارش کرد؛ ساختاری که در آناتومی مغز وجود ندارد.

شتباه را بسیار خطرناک توصیف کردهاند.

آنها تأکید میکنند که تفاوت بین این دو ناحیه، یک دنیا تفاوت در پروتکلهای درمانی ایجاد میکند و تشخیص نادرست میتواند به تدابیر درمانی متفاوت و بالقوه مرگبار برای بیمار منجر شود.

واکنش گوگل از پنهان کردن تا توجیه فنی به گزارش سایت، پس از آنکه دکتر برایان مور، عصبشناس، این خطای فاحش را به گوگل گزارش داد، شرکت در ابتدا تلاش کرد با ویرایش پنهانی پست وبلاگ خود و تغییر واژه بازیلر به بازال، موضوع را یک غلط تایپی ساده جلوه دهد.

دیدتر مد-جما مشکلات مد-جمینی تنها مورد گزارش شده نیست.

آزمایشهای انجام شده توسط متخصصان دیگر، ضعف بنیادین دیگری در این مدلها آشکار کرده عدم ثبات در جوابدهی با تغییر جزئی در پرامپت (دستور متنی). دکتر جودی گیچویا از دانشگاه اموری، یک عکس رادیولوژی قفسه سینه را به مدل جدیدتر گوگل یعنی مد-جما نمایش داد. وقتی پرسش با جزئیات کامل (شامل سن و جنسیت بیمار) پرسیده شد، هوش مصنوعی مشکل را به درستی تشخیص داد.

اما وقتی همان عکس با یک سوال سادهتر (فقط در این عکس چه میبینی؟) ارائه گردید، پاسخ کاملاً متفاوت بود این عکس یک قفسه سینه نرمال از یک فرد بزرگسال را نشان میدهد و بیماری کاملاً نادیده گرفته شد. این موضوع نشان میدهد که کوچکترین تغییر در نحوه تعامل با هوش مصنوعی میتواند نتایج کاملاً متضاد و خطرناک تولید کند.

خطر اصلی اطمینان کاذب و سوگیری اتوماسیون کارشناسان معتقدند بزرگترین ریسک این سیستمها، خطاهای گاهبهگاه نیست، بلکه لحن مطمئن و متقاعدکنندهای است که با آن اطلاعات غلط (مانند وجود گانگلیون بازیلر) را به عنوان یک حقیقت علمی بیان میکنند. دکتر جاناتان چن از دانشگاه استنفورد، این پدیده را به رانندگی خودکار تشبیه میکند ماشین آنقدر خوب رانندگی کرده که شما تصمیم میگیرید پشت فرمان بخوابید.

دقیقاً در همین لحظه خطر رخ میدهد. این پدیده که به سوگیری اتوماسیون معروف است، میتواند باعث شود پزشکان به دلیل عملکرد عمدتاً صحیح هوش مصنوعی، از بررسی دقیق نتایج غافل شده و اشتباهات فاحش را نادیده بگیرند. متخصصان هشدار میدهند که این مدلها ذاتاً تمایل به هالوسیناسیون (ساخت اطلاعات) دارند و هرگز نمیگویند من نمیدانم؛ ویژگیای که در حوزههای پرریسک مانند پزشکی، چالش بسیار بزرگی محسوب میشود.