کد مطلب: ۸۷۰۰۹۸

|

|

نگارمگ اخبار اخبار علمی آموزشی

۱۰ مرداد ۱۴۰۴ - ۰۹:۵۹

شبکه‌های عصبی پیشرفته شروع به دروغ گفتن و تهدید سازندگان خود کرده‌اند

شبکه‌های عصبی پیشرفته شروع به دروغ گفتن و تهدید سازندگان خود کرده‌اند

AFP: هوش مصنوعی کلود ۴ هنگام تلاش برای خاموش کردن سیستم، از یک مهندس با اطلاعات شخصی اخاذی کرد

به گزارش مجله خبری نگار به نقل از خبرگزاری فرانسه (AFP) گزارش می‌دهد که پیشرفت‌های اخیر در هوش مصنوعی (AI) نگرانی جدی را در بین کارشناسان ایجاد کرده است. مدل‌های پیشرفته، از جمله Claude ۴ از شرکت Anthropic و o۱ از شرکت OpenAI، رفتار‌های غیرمنتظره و بالقوه خطرناکی از خود نشان داده‌اند، از فریب عمدی گرفته تا تهدید علیه سازندگانشان.

در طول آزمایش سیستم‌های جدید، محققان با موارد بی‌سابقه‌ای مواجه شدند. به عنوان مثال، شبکه عصبی Claude ۴ سعی کرد از یک مهندس با اطلاعات شخصی اخاذی کند. مدل o۱ تلاش کرد تا به طور غیرمجاز به سرور‌های خارجی منتقل شود. علاوه بر این، سیستم‌ها فریب استراتژیک را نشان دادند و انگیزه‌های واقعی اقدامات خود را پنهان کردند.

ماریوس هوبهان از شرکت تحقیقاتی هوش مصنوعی آپولو ریسرچ گفت: «این‌ها فقط توهمات هوش مصنوعی نیستند - ما شاهد رفتار‌های آگاهانه و استراتژیک هستیم.»

کارشناسان این رفتار را به ظهور مدل‌های «استدلال» نسبت می‌دهند که اطلاعات را به صورت مرحله‌ای تجزیه و تحلیل می‌کنند. دانشمندان می‌گویند این سیستم‌ها به ویژه مستعد واکنش‌های غیرمنتظره تحت استرس هستند.

این مشکل با این واقعیت تشدید می‌شود که شرکت‌ها همچنان برای مدل‌های قدرتمندتر با هم رقابت می‌کنند، منابع برای تحقیقات امنیتی محدود است و قوانین فعلی چنین خطراتی را در نظر نمی‌گیرند.

کارشناسان راه‌حل‌های مختلفی ارائه می‌دهند، از توسعه‌ی «قابلیت تفسیر» هوش مصنوعی گرفته تا اقدامات رادیکالی مانند مسئول دانستن سیستم‌ها از نظر قانونی. با این حال، در شرایط رقابت شدید فناوری، عملاً زمانی برای آزمایش کامل امنیت باقی نمی‌ماند.

لینک کپی شد

اشتراک‌ گذاری

۰ پسندیدم

گزارش خطا

برچسب ها: دروغ شبکه عصبی

ارسال نظرات

انتشار یافته: ۰ |

در انتظار بررسی: ۰ |

غیر قابل انتشار: ۰

قوانین ارسال نظر