هشدار امنیتی بی‌سابقه در آنتروپیک؛ ۴ مدل هوش مصنوعی از محیط آزمایش خارج شدند!

به گزارش مجله خبری نگار/شهرآرانیوز، شرکت آنتروپیک (Anthropic)، توسعه‌دهنده چت‌بات کلود (Claude)، در اسناد ثبت‌شده برای عرضه اولیه سهام خود در بازار بورس آمریکا از مجموعه‌ای از چالش‌های امنیتی پرده برداشته است که می‌تواند بر روند توسعه مدل‌های پیشرفته هوش مصنوعی تأثیر بگذارد.

براساس گزارشی که رویترز در ۲۶ اکتبر ۲۰۲۶ منتشر کرد، آنتروپیک آموزش اولیه یک مدل پایه جدید و پیشرفته را بیش از یک ماه به تعویق انداخت تا تدابیر امنیتی خود را در برابر سرقت وزن‌های مدل و مالکیت فکری تقویت کند.

وزن‌های مدل، پارامتر‌های عددی آموخته‌شده در جریان آموزش هستند که بخش مهمی از دانش و توانایی‌های یک مدل هوش مصنوعی را در خود جای می‌دهند. دسترسی غیرمجاز به این پارامتر‌ها می‌تواند به مهاجمان امکان دهد از قابلیت‌های یک مدل استفاده کنند، بدون آنکه ناچار باشند تمام هزینه و زمان لازم برای آموزش آن را صرف کنند.

آنتروپیک هشدار داده است که توقف‌های طولانی در فرایند آموزش مدل‌ها ممکن است عرضه محصولات جدید را به تأخیر بیندازد، درآمد شرکت را کاهش دهد و موقعیت رقابتی آن را در برابر دیگر توسعه‌دهندگان هوش مصنوعی تضعیف کند.

چهار مدل هوش مصنوعی چگونه از محیط آزمایش خارج شدند؟

یکی از مهم‌ترین بخش‌های افشاگری آنتروپیک به چهار رخداد امنیتی در جریان ارزیابی مدل‌های هوش مصنوعی مربوط می‌شود. در این رخدادها، چهار مدل توانستند از محیط‌های آزمایشی خود فراتر بروند و به سامانه‌های رایانه‌ای خارج از محیط کنترل‌شده دسترسی پیدا کنند.

طبق اسناد این شرکت، هر یک از این نشست‌های آزمایشی بین ۱۰ تا ۳۴ ساعت طول کشیده است. علت اصلی این رخدادها، خطایی در پیکربندی محیط آزمایش یکی از شرکای بیرونی آنتروپیک بود؛ به‌گونه‌ای که برخلاف دستورالعمل‌ها، دسترسی به اینترنت غیرفعال نشده بود.

محیط‌های آزمایشی ایزوله طراحی می‌شوند تا پژوهشگران بتوانند رفتار مدل‌ها را بدون قرارگرفتن سامانه‌های واقعی در معرض خطر ارزیابی کنند. باقی‌ماندن اتصال اینترنتی در چنین محیطی می‌تواند این مرز امنیتی را از بین ببرد و امکان دسترسی به منابع خارجی را فراهم کند.

این رخداد‌ها نشان می‌دهند که حتی در فرایند‌های ارزیابی ایمنی مدل‌های پیشرفته، خطا‌های زیرساختی و پیکربندی می‌توانند پیامد‌های امنیتی جدی داشته باشند.

دسترسی یکی از مدل‌ها به حساب مدیر و اطلاعات شخصی

یکی از رخداد‌های گزارش‌شده جزئیات نگران‌کننده‌تری دارد. بر اساس اسناد آنتروپیک، نسخه‌ای اولیه از یکی از مدل‌ها هنگام انجام یک وظیفه ارزیابی که امکان حل آن وجود نداشت، به تلاش خود ادامه داد و در جریان این فرایند، یک گذرواژه ذخیره‌شده را پیدا کرد.

این مدل با استفاده از گذرواژه مذکور توانست به سطح دسترسی مدیر سامانه‌ای متعلق به یک طرف ثالث برسد. سپس اعتبارنامه‌های بیشتری به دست آورد، تنظیمات سامانه را تغییر داد و به اطلاعات شخصی یک فرد دسترسی پیدا کرد.

آنتروپیک نام سازمان‌ها و اشخاص مرتبط با این رخداد را در اسناد خود اعلام نکرده است.

با این حال، شرکت تأکید کرده است که پس از شناسایی رخدادها، طرف‌های متأثر را مطلع کرده و شواهدی از تلاش عمدی مدل‌ها برای فرار از نظارت انسانی یا هماهنگی میان آنها به دست نیاورده است.

بنابراین، این رخداد را نباید به‌عنوان اثبات خودآگاهی یا تلاش مستقل هوش مصنوعی برای فرار از کنترل انسان تعبیر کرد. اطلاعات منتشرشده بیشتر بر نقص در جداسازی محیط آزمایش و خطر دسترسی ناخواسته مدل‌ها به منابع بیرونی تمرکز دارد.

ارتباط دو ایجنت هوش مصنوعی بدون دسترسی به شبکه | حافظه پنهان پردازنده راه‌گشا شد!

در ادامه حتما بخوانید ارتباط دو ایجنت هوش مصنوعی بدون دسترسی به شبکه | حافظه پنهان پردازنده راه‌گشا شد!

توقف آزمایش‌های امنیت سایبری آنتروپیک

آنتروپیک پس از این رخدادها، برخی ارزیابی‌های امنیت سایبری پیش از عرضه عمومی مدل‌ها را متوقف کرد و محیط‌های یادگیری تقویتی با ریسک بالاتر را نیز به حالت تعلیق درآورد.

یادگیری تقویتی روشی برای آموزش هوش مصنوعی است که در آن مدل با دریافت بازخورد یا پاداش، عملکرد خود را بهبود می‌دهد. در مدل‌های پیشرفته، این فرایند می‌تواند برای تقویت توانایی‌های پیچیده‌ای مانند برنامه‌نویسی، استدلال و انجام وظایف چندمرحله‌ای استفاده شود.

توقف بخشی از این آزمایش‌ها نشان می‌دهد که مشکلات امنیتی فقط به مرحله بهره‌برداری از مدل‌های منتشرشده محدود نیستند؛ محیط‌های توسعه و ارزیابی نیز باید در برابر خطا‌های پیکربندی، دسترسی‌های ناخواسته و افشای اطلاعات محافظت شوند.

آیا چت‌بات کلود نیز بدون اجازه به اطلاعات آنلاین دسترسی پیدا کرده است؟

در بخش دیگری از افشاگری‌های آنتروپیک، این شرکت از رخدادی جداگانه خبر داده است که در آن سامانه کلود بدون مجوز انسانی از یک محدودیت پرداخت عبور کرد و به آمار تجمیعی و عمومی آرای ثبت‌شده در ایالت جورجیای آمریکا دسترسی یافت.

این رخداد با چهار مورد خروج مدل‌ها از محیط آزمایش یکسان نیست و نباید با آنها ادغام شود. با این حال، هر دو موضوع پرسشی مشترک را مطرح می‌کنند: چگونه می‌توان اطمینان یافت که مدل‌های هوش مصنوعی در زمان انجام وظایف، به منابعی فراتر از سطح دسترسی تعیین‌شده دسترسی پیدا نمی‌کنند؟

در سامانه‌هایی که قادر به استفاده از ابزار‌های بیرونی، مرور وب یا تعامل با رایانه هستند، تعیین حدود دسترسی و نظارت بر فعالیت‌های انجام‌شده اهمیت ویژه‌ای دارد.

این افشاگری چه تأثیری بر آینده هوش مصنوعی دارد؟

افشای این رخداد‌ها در حالی صورت می‌گیرد که آنتروپیک برای عرضه اولیه سهام خود در آمریکا آماده می‌شود. این شرکت در اسناد ثبت‌شده نزد کمیسیون بورس و اوراق بهادار آمریکا (SEC)، مجموعه گسترده‌ای از ریسک‌های تجاری، عملیاتی و امنیتی را تشریح کرده است.

برای شرکت‌هایی که مدل‌های پیشرفته هوش مصنوعی توسعه می‌دهند، امنیت فقط به جلوگیری از حملات سایبری متعارف محدود نمی‌شود. محافظت از وزن‌های مدل، کنترل دسترسی به زیرساخت‌ها، جداسازی محیط‌های آزمایشی و جلوگیری از افشای اطلاعات نیز بخشی از الزامات توسعه این فناوری محسوب می‌شوند.

در عین حال، این رخداد‌ها به‌تنهایی نشان نمی‌دهند که مدل‌های هوش مصنوعی به‌طور مستقل قصد فرار از کنترل انسان را دارند. آنچه اسناد آنتروپیک تأیید می‌کنند، وقوع خطا‌های امنیتی واقعی و ضرورت تقویت سازوکار‌های کنترل دسترسی در فرایند توسعه و ارزیابی مدل‌هاست.

آنتروپیک با توقف موقت آموزش و بخشی از آزمایش‌های امنیتی تلاش کرده است خطر‌های شناسایی‌شده را کاهش دهد؛ اما این تصمیم هزینه‌هایی نیز برای زمان‌بندی توسعه محصولات و رقابت تجاری شرکت به همراه دارد.