کد مطلب: ۹۳۹۴۷۰

|

|

نگارمگ اخبار اخبار علمی آموزشی

۲۱ آبان ۱۴۰۴ - ۱۱:۲۶

چت‌بات‌ها در تشخیص باور و واقعیت ضعف دارند!

چت‌بات‌ها در تشخیص باور و واقعیت ضعف دارند!

پژوهش دانشگاه استنفورد هشدار می‌دهد: هوش مصنوعی و چت‌بات‌هایی مانند ChatGPT در تشخیص تفاوت بین «باور» و «واقعیت» ناتوان هستند. این ضعف ساختاری منجر به افزایش توهمات (Hallucinations) و انتشار اطلاعات غلط می‌شود و استفاده از آنها در پزشکی، حقوق و روزنامه‌نگاری را با خطرات جدی مواجه می‌سازد. برای خواندن جزئیات این مطالعه و راه‌حل‌های پیشنهادی، این مقاله را بخوانید.

به گزارش مجله خبری نگار/ایتنا،یک مقاله جدید نشان داده است که ابزار‌های هوش مصنوعی مانند چت‌جی‌پی‌تی در تشخیص تفاوت بین «باور» و «واقعیت»، مشکل دارند.

تیمی از دانشگاه استنفورد در ایالات متحده دریافته است که تمامی چت‌بات‌های هوش مصنوعی مطرح در تشخیص مداوم اینکه یک باور چه زمانی نادرست است، شکست خوردند که این امر سبب می‌شود آنها به احتمال بیشتری توهم بزنند یا اطلاعات غلط منتشر کنند.

این یافته‌ها برای استفاده از «مدل‌های زبانی بزرگ» (LLM) در حوزه‌هایی که تعیین میان اطلاعات درست و نادرست مهم است، پیامد‌هایی نگران‌کننده دارند.

پژوهشگران یادآور شدند: «هم‌زمان با ورود روزافزون مدل‌های زبانی به حوزه‌های پرمخاطره و دارای حساسیت بالا مانند قانون، پزشکی، روزنامه‌نگاری و علم، توانایی آنها برای تمایز میان باور و آگاهی یا معلومات و بین واقعیت و تخیل، ضروری می‌شود.»

«شکست در چنین تمایزگذاری‌هایی می‌تواند تشخیص‌های پزشکی را به بیراهه ببرد، احکام قضایی را تحریف کند و اطلاعات غلط را تشدید کند.»

پژوهشگران ۲۴ مدل زبانی بزرگ، شامل کلاود، چت‌جی‌پی‌تی، دیپ‌سیک و جمینای را به منظور تحلیل توانایی آنها در تشخیص میان باورها، معلومات و واقعیت، با استفاده از ۱۳ هزار سوال بررسی کردند.

تمام مدل‌های آزمایش‌شده در تشخیص باور‌ها و اظهارات نادرست، شکست خوردند و این یک محدودیت اساسی را در توانایی پیوند دادن معلومات به حقیقت نشان می‌دهد.

پابلو هایا کول، یک پژوهشگر در آزمایشگاه زبان‌شناسی رایانه‌ای گفت: «این یافته‌ها یک ضعف ساختاری در مدل‌های زبانی را آشکار می‌کنند، به عبارتی مشکلشان در اینکه بتوانند با قاطعیت، میان باور ذهنی و حقیقت عینی تمایز بگذارند.»

«چنین نقصی در حوزه‌هایی که این تمایزگذاری ضروری است، مانند قانون، پزشکی، یا روزنامه‌نگاری، یعنی جایی که اشتباه گرفتن باور با معلومات، می‌تواند به خطا‌های جدی در قضاوت منجر شود، پیامد‌های مهمی دارد.»

یک راه‌حل ممکن برای این نقص بر اساس نظر دکتر کول، می‌تواند این باشد که مدل را به شکلی آموزش دهند تا در پاسخ‌هایش محتاط‌تر باشد. اگرچه این کار ممکن است احتمال بروز توهم‌ها را کاهش دهد، ممکن است در عین حال، سودمندی آنها را نیز تحت تاثیر قرار دهد.

پژوهشگران استنفورد خواستار آن شدند که شرکت‌های فناوری در حال توسعه ابزار‌های هوش مصنوعی مدل‌ها را پیش از به‌کارگیری آنها در حوزه‌های با حساسیت بالا، «هرچه سریع‌تر» بهبود دهند.

لینک کپی شد

اشتراک‌ گذاری

۰ پسندیدم

گزارش خطا

برچسب ها: هوش مصنوعی

ارسال نظرات

انتشار یافته: ۰ |

در انتظار بررسی: ۰ |

غیر قابل انتشار: ۰

قوانین ارسال نظر