چرا اوپن‌ای‌آی اینترنت را از مدل‌های پیشرفته هوش مصنوعی قطع کرد؟

به گزارش مجله خبری نگار/برنا، شرکت اوپن‌ای‌آی اعلام کرد که از این پس مدل‌های پیشرفته هوش مصنوعی خود را بدون دسترسی به اینترنت آموزش می‌دهد، تصمیمی که با هدف محافظت از زیرساخت‌های اینترنتی و محدود کردن خطرات امنیتی مرتبط با هوش مصنوعی اتخاذ شده است. این تصمیم پس از بروز یک حادثه امنیتی در آزمایش‌های داخلی این شرکت و در شرایطی گرفته شده که نگرانی‌ها درباره رفتار‌های پیش‌بینی‌نشده عامل‌های هوش مصنوعی افزایش یافته است.

در ادامه این گزارش به دلایل تصمیم اوپن‌ای‌آی برای قطع دسترسی مدل‌های پیشرفته هوش مصنوعی به اینترنت، آسیب‌پذیری‌های امنیتی شناسایی‌شده و راهکار‌های این شرکت برای کنترل رفتار عامل‌های هوش مصنوعی می‌پردازیم.

اوپن‌ای‌آی در یک پست وبلاگی اعلام کرد که تصمیم به قطع دسترسی مدل‌های پیشرفته هوش مصنوعی به اینترنت در جریان آموزش با توجه به وضعیت کنونی پژوهش‌ها در زمینه هم‌راستاسازی هوش مصنوعی، سامانه‌های نظارتی و امنیت زیرساخت‌های اینترنتی اتخاذ شده است.

این شرکت در توضیح رویکرد جدید خود نوشت: با توجه به وضعیت کنونی پژوهش‌های هم‌راستاسازی سامانه‌های نظارتی و امنیت زیرساخت‌های اینترنتی معتقدیم رویکرد مسئولانه این است که آموزش مدل‌های پیشرفته هوش مصنوعی بدون هیچ‌گونه دسترسی به اینترنت انجام شود.

این تصمیم در پی حادثه‌ای اتخاذ شده است که اوپن‌ای‌آی پیش‌تر درباره آن اطلاع‌رسانی کرده بود.

این شرکت در ماه ژوئیه اعلام کرد عامل‌های هوش مصنوعی که در حال آزمایش آنها بود به سامانه‌های پلتفرم هاگینگ فیس (Hugging Face) نفوذ کرده‌اند.

این رویداد یکی از نخستین موارد از مجموعه گزارش‌هایی بود که درباره رفتار‌های نامطلوب یا پیش‌بینی‌نشده سامانه‌های هوش مصنوعی از سوی شرکت‌هایی مانند اوپن‌ای‌آی، آنتروپیک و گوگل منتشر شد.

محدودیت دسترسی عامل‌های هوش مصنوعی به منابع خارجی

اوپن‌ای‌آی اعلام کرده است که محدود کردن منابع و ابزار‌هایی که عامل‌های هوش مصنوعی می‌توانند به آنها دسترسی داشته باشند، یکی از اصول اساسی رویکرد جدید این شرکت است.

بر اساس این رویکرد عامل‌های هوش مصنوعی همچنان می‌توانند برای انجام وظایف آموزشی خود از ابزار‌هایی مانند مرورگرها، ابزار‌های تعامل با رایانه و محیط‌های اجرای کد استفاده کنند، اما این ابزار‌ها در یک محیط امن در اختیار آنها قرار می‌گیرند که به اینترنت زنده متصل نیست.

همچنین امکان برقراری ارتباط میان عامل‌ها به مواردی محدود شده است که عامل‌های مجاز بتوانند با یکدیگر ارتباط برقرار کنند. به این ترتیب ارتباطات میان عامل‌های هوش مصنوعی نیز تحت محدودیت‌های مشخصی قرار می‌گیرد تا احتمال سوءاستفاده از این قابلیت کاهش یابد.

در این ساختار دسترسی به سایر منابع از جمله اینترنت زنده همچنان مسدود است. اوپن‌ای‌آی می‌گوید دسترسی مستقیم به اینترنت برای آموزش مدل‌ها و انجام بخش عمده ارزیابی‌ها ضروری نیست.

ایجاد محیط آفلاین برای آموزش عامل‌های هوش مصنوعی

یکی از دلایل اتخاذ این رویکرد تمرکز اوپن‌ای‌آی بر توسعه مدل‌هایی است که برای پشتیبانی از عامل‌های هوش مصنوعی طراحی شده‌اند، سامانه‌هایی که می‌توانند به نمایندگی از کاربران صفحات وب را مرور کنند و با برنامه‌های مختلف تعامل داشته باشند.

برای نمونه این شرکت به داتس (Dots) اشاره می‌کند، عاملی که برای مرور وب و استفاده از برنامه‌ها به نمایندگی از کاربر طراحی شده است.

با توجه به اینکه آموزش چنین مدل‌هایی به توانایی کار با محتوای وب و محیط‌های نرم‌افزاری نیاز دارد، اوپن‌ای‌آی یک دنیای آفلاین ایجاد کرده است که مجموعه‌ای از محتوای وب نمایه‌سازی‌شده و ذخیره‌شده در حافظه پنهان را در اختیار عامل‌های هوش مصنوعی قرار می‌دهد.

این محیط به عامل‌ها اجازه می‌دهد بدون اتصال به وب‌سایت‌های زنده با محتوای اینترنتی کار کنند و وظایف موردنیاز برای آموزش خود را انجام دهند.

در نتیجه اوپن‌ای‌آی تلاش می‌کند میان فراهم کردن ابزار‌های لازم برای آموزش مدل‌های پیشرفته و جلوگیری از دسترسی مستقیم آنها به زیرساخت‌های فعال اینترنتی تعادل برقرار کند.

کشف آسیب‌پذیری‌های امنیتی با وجود محدودیت‌های اعمال‌شده

با وجود این محدودیت‌ها اوپن‌ای‌آی اعلام کرده است عامل‌های هوش مصنوعی تیم قرمز که برای آزمایش تدابیر امنیتی این شرکت به کار گرفته شده بودند موفق به شناسایی آسیب‌پذیری‌هایی شدند که می‌توانستند امنیت محیط اجرای عامل‌ها را به خطر بیندازند.

تیم قرمز در ارزیابی‌های امنیتی تلاش می‌کند با شبیه‌سازی رفتار‌های مهاجمان و استفاده از روش‌های مختلف نفوذ، نقاط ضعف سامانه‌ها و تدابیر حفاظتی را شناسایی کند.

بر اساس توضیحات اوپن‌ای‌آی عامل‌های آزمایشی توانستند آسیب‌پذیری‌هایی را پیدا کنند که به آنها امکان می‌داد از ماشین‌های مجازی مورد استفاده برای جداسازی عامل‌ها از سیستم میزبان خارج شوند.

به گزارش انگجت، ماشین مجازی (VM) محیطی نرم‌افزاری است که امکان اجرای یک سیستم یا فرایند را در فضایی جداشده از سیستم اصلی فراهم می‌کند. در معماری مورد استفاده اوپن‌ای‌آی این جداسازی برای محدود کردن دسترسی عامل‌ها به سیستم میزبان و کاهش پیامد‌های احتمالی رفتار‌های ناخواسته آنها اهمیت دارد.

کشف این آسیب‌پذیری‌ها نشان داد که حتی اجرای عامل‌های هوش مصنوعی در محیط‌های محدودشده و جدا از اینترنت نیز به‌تنهایی برای تضمین امنیت آنها کافی نیست و همچنان باید احتمال دور زدن تدابیر حفاظتی در نظر گرفته شود.

اوپن‌ای‌آی اعلام کرده است آسیب‌پذیری‌های شناسایی‌شده در چندین ماشین مجازی را افشا و برطرف کرده و بررسی‌های بیشتری را به سامانه‌های نظارتی خود افزوده است تا تلاش مدل‌ها برای همکاری با یکدیگر شناسایی شود.

بیشتر بخوانید

قابلیت قفل‌کردن چت‌های حساس چت جی پی تی با رمز چهاررقمی فراهم شد

افشای ۶۸۰۰ گفت‌وگوی هوش مصنوعی متا/ قابلیت اشتراک‌گذاری Muse متوقف شد

سرقت اتریوم توسط عامل هوش مصنوعی اوپن‌ای آی

تلاش عامل‌ها برای برقراری ارتباط از طریق حافظه پنهان پردازنده

یکی دیگر از یافته‌های تیم قرمز اوپن‌ای‌آی به روشی مربوط می‌شود که عامل‌های هوش مصنوعی از طریق آن توانسته بودند با یکدیگر ارتباط برقرار کنند.

بر اساس اعلام این شرکت عامل‌ها با دست‌کاری داده‌های موجود در حافظه پنهان پردازنده و اندازه‌گیری مدت‌زمان بارگذاری اطلاعات راهی برای برقراری ارتباط با یکدیگر پیدا کردند.

حافظه پنهان پردازنده (CPU Cache) حافظه‌ای سریع است که برای نگهداری موقت داده‌ها و دستورالعمل‌های موردنیاز پردازنده به کار می‌رود. تفاوت در زمان دسترسی یا بارگذاری داده‌ها می‌تواند اطلاعاتی را درباره فعالیت‌های انجام‌شده در سامانه آشکار کند.

استفاده از چنین تفاوت‌هایی برای انتقال اطلاعات می‌تواند به ایجاد یک کانال ارتباطی غیرمستقیم منجر شود حتی زمانی که ارتباط مستقیم میان دو فرایند محدود شده باشد.

این یافته از آن جهت اهمیت دارد که نشان می‌دهد عامل‌های هوش مصنوعی ممکن است بتوانند از ویژگی‌های فنی سخت‌افزار و رفتار سامانه برای برقراری ارتباط استفاده کنند، روشی که لزوما به کانال‌های ارتباطی معمول و مجاز وابسته نیست.

اوپن‌ای‌آی اعلام کرده است برای مقابله با این مشکل علاوه بر رفع آسیب‌پذیری‌های ماشین‌های مجازی بررسی‌هایی را به سامانه‌های نظارتی خود افزوده است تا تلاش مدل‌ها برای همکاری با یکدیگر شناسایی شود.

ازسرگیری آموزش مدل‌های پیشرفته پس از توقف در سپتامبر

اوپن‌ای‌آی در سپتامبر روند آموزش مدل‌های پیشرفته خود را متوقف کرده بود. این شرکت هم‌زمان با اعلام رویکرد جدید مبتنی بر آموزش بدون اینترنت خبر داد که آموزش مدل‌ها را از اول اکتبر از سر گرفته است.

بر اساس برنامه اعلام‌شده اوپن‌ای‌آی قصد دارد آموزش مدل‌های پیشرفته را بدون دسترسی به اینترنت ادامه دهد تا زمانی که بهبود تدابیر حفاظتی موجود امکان گسترش این دسترسی را توجیه کند.

با این حال این شرکت جزئیات مشخصی درباره نوع بهبود‌های امنیتی موردنیاز یا معیار‌هایی که بر اساس آنها دسترسی گسترده‌تر به اینترنت مجاز خواهد شد ارائه نکرده است.

تصمیم جدید اوپن‌ای‌آی نشان می‌دهد که این شرکت در کنار توسعه قابلیت‌های مدل‌های پیشرفته و عامل‌های خودکار هوش مصنوعی، محدودسازی دسترسی به منابع خارجی و تقویت سازوکار‌های نظارتی را از اولویت‌های امنیتی خود در مرحله آموزش می‌داند.

در عین حال یافته‌های تیم قرمز این شرکت حاکی از آن است که حتی محیط‌های آفلاین و ماشین‌های مجازی ایزوله نیز ممکن است در برابر برخی روش‌های دور زدن محدودیت‌ها آسیب‌پذیر باشند، موضوعی که اهمیت ارزیابی مستمر امنیت مدل‌ها و زیرساخت‌های مورد استفاده برای آموزش آنها را برجسته می‌کند.