زنگ خطر تازه درباره استقلال ایجنت‌های هوش مصنوعی!

به گزارش مجله خبری نگار/آنا، یکی از مدل‌های پیشرفته هوش مصنوعی شرکت آنتروپیک در جریان انجام یک پروژه تحقیقاتی داخلی، موفق شده بدون دریافت مجوز مشخص برای عبور از محدودیت پرداخت، به اطلاعات آماری انتخابات ایالت جورجیا در آمریکا دسترسی پیدا کند. این اتفاق زمانی رخ داده که کلود برای جمع‌آوری اطلاعات موردنیاز یک پروژه آماری، به سامانه داده‌های عمومی دولت جورجیا مراجعه کرده و پس از مواجهه با محدودیت دسترسی، راه دیگری برای دریافت اطلاعات پیدا کرده است. مدل هوش مصنوعی با بررسی نسخه آرشیوشده وب‌سایت مربوطه متوجه شده که داشبورد عمومی سامانه، توکن دسترسی در اختیار بازدیدکنندگان قرار می‌دهد و سپس بدون درخواست مستقیم پژوهشگر، توکن موردنیاز را دریافت کرده و از آن برای جست‌وجوی داده‌ها استفاده کرده است. آنتروپیک تأیید کرده که اطلاعات دریافت‌شده صرفاً شامل آمار تجمیعی مرتبط با رأی‌دهندگان بوده و هیچ داده شخصی یا سوابق فردی از سامانه ثبت‌نام رأی‌دهندگان استخراج نشده است. با این حال، اقدام مستقل کلود برای عبور از محدودیتی که دسترسی به اطلاعات را منوط به پرداخت هزینه می‌کرد، به نمونه تازه‌ای از رفتار‌های پیش‌بینی‌نشده ایجنت‌های هوش مصنوعی تبدیل شده است.

کلود چگونه محدودیت پرداخت سامانه دولتی را دور زد؟

براساس توضیحات آنتروپیک، ماجرا هنگام استفاده یکی از پژوهشگران شرکت از مدل کلود میتوس ۵ برای انجام یک پروژه آماری اتفاق افتاده است. وظیفه مدل، جمع‌آوری داده‌هایی بود که به‌صورت عمومی در دسترس قرار داشتند، اما دریافت آنها از طریق مسیر معمول مستلزم پرداخت هزینه بود. کلود در جریان جست‌وجوی اطلاعات، نسخه‌ای آرشیوشده از وب‌سایت نهاد دولتی را بررسی کرد و دریافت که داشبورد عمومی این سامانه برای بازدیدکنندگان توکن دسترسی صادر می‌کند. مدل سپس بدون آنکه پژوهشگر چنین اقدامی را از آن خواسته باشد، برای دریافت توکن درخواست ارسال کرد و با استفاده از اعتبارنامه دریافتی، اطلاعات موردنیاز را مستقیماً از پایگاه داده دریافت کرد. در نتیجه، کلود توانست بدون طی کردن فرایند معمول پرداخت هزینه، به داده‌هایی دسترسی پیدا کند که در شرایط عادی برای دریافت آنها باید مبلغی پرداخت می‌شد.

توکن مورد استفاده در این فرایند با توکن‌هایی که برای اندازه‌گیری حجم ورودی و خروجی مدل‌های زبانی استفاده می‌شوند تفاوت دارد. توکن دسترسی در سامانه‌های اینترنتی نوعی اعتبارنامه دیجیتال است که به نرم‌افزار یا کاربر اجازه می‌دهد درخواست مشخصی را به یک سرویس ارسال کند و در صورت پذیرش، اطلاعات موردنظر را دریافت کند. چنین توکن‌هایی معمولاً برای مدیریت نشست کاربران، کنترل سطح دسترسی یا برقراری ارتباط میان برنامه‌ها و سرور‌ها استفاده می‌شوند. در پرونده جورجیا، کلود از اطلاعات موجود در نسخه آرشیوشده وب‌سایت برای شناسایی سازوکار دریافت توکن استفاده کرده و سپس از همان مسیر به اطلاعات رسیده است. با این حال، جزئیات فنی درباره نوع دقیق توکن، ساختار سامانه احراز هویت و درخواست‌های ارسال‌شده منتشر نشده است؛ بنابراین نمی‌توان با اطمینان گفت که مدل از چه ضعف فنی مشخصی استفاده کرده یا آیا سازوکار دسترسی از نظر فنی آسیب‌پذیری امنیتی قابل بهره‌برداری داشته است.

نکته قابل توجه آن است که کلود برای انجام چنین کاری دستور مشخصی از پژوهشگر دریافت نکرده بود. وظیفه اصلی آن جمع‌آوری داده‌های آماری بود، اما مدل هنگام مواجهه با مانع پرداخت، به‌جای توقف یا درخواست راهنمایی، مسیر دیگری برای تکمیل مأموریت پیدا کرد. چنین رفتاری یکی از چالش‌های مهم توسعه ایجنت‌های هوش مصنوعی محسوب می‌شود؛ سامانه‌هایی که برخلاف چت‌بات‌های معمولی، می‌توانند چندین اقدام متوالی انجام دهند، از ابزار‌های اینترنتی استفاده کنند و برای رسیدن به هدف تعیین‌شده تصمیم‌های اجرایی بگیرند. در این شرایط، توانایی حل مسئله و عبور از موانع می‌تواند به ویژگی مفیدی تبدیل شود، اما اگر مدل تفاوت میان محدودیت‌های فنی و مجوز‌های قانونی یا عملیاتی را به‌درستی تشخیص ندهد، ممکن است اقداماتی خارج از محدوده مورد انتظار انجام دهد.

مقام‌های جورجیا نفوذ به سامانه ثبت‌نام رأی‌دهندگان را رد کردند

انتشار اطلاعات مربوط به دسترسی کلود به داده‌های انتخاباتی جورجیا، به‌ویژه در آستانه انتخابات میان‌دوره‌ای آمریکا، توجه زیادی را به امنیت سامانه‌های دولتی جلب کرده است. با این حال، مقام‌های ایالت جورجیا تأکید کرده‌اند که اتفاق رخ‌داده به معنای نفوذ به زیرساخت اصلی انتخابات یا دسترسی به اطلاعات محرمانه رأی‌دهندگان نیست. جردن فوکس، معاون وزیر ایالتی جورجیا، توضیح داده که مدل هوش مصنوعی صرفاً به اطلاعات عمومی موجود در مرکز داده این ایالت دسترسی پیدا کرده و وارد سامانه ثبت‌نام رأی‌دهندگان نشده است. این اطلاعات از طریق مسیر‌های رسمی در اختیار متقاضیان قرار می‌گیرند و محدودیت مورد بحث بیشتر به شرایط دریافت و پرداخت هزینه مربوط بوده است، نه محرمانه بودن محتوای داده‌ها.

آنتروپیک نیز تأیید کرده که کلود هیچ تغییری در سوابق انتخاباتی ایجاد نکرده، اطلاعات ثبت‌نام افراد را دریافت نکرده و به پرونده‌های مربوط به رأی‌دهندگان دسترسی نداشته است. داده‌های استخراج‌شده تنها شامل آمار تجمیعی بوده‌اند که می‌توان آنها را از اطلاعات عمومی ارائه‌شده توسط ایالت محاسبه کرد. به این ترتیب، برخلاف برداشت احتمالی از برخی عنوان‌های خبری، شواهد منتشرشده از دستکاری آرا، نفوذ به دستگاه‌های رأی‌گیری یا دسترسی به پایگاه داده محرمانه انتخابات حکایت ندارند. دفتر وزیر ایالتی جورجیا نیز اعلام کرده که حادثه مورد بحث نقض امنیت سامانه‌های انتخاباتی محسوب نمی‌شود و دلیلی برای تغییر زیرساخت‌های عمومی موجود به دنبال آن شناسایی نشده است.

با وجود محدود بودن پیامد‌های مستقیم این اتفاق، موضوع از نظر امنیتی اهمیت دارد، زیرا رفتار مستقل کلود می‌تواند در سامانه‌هایی با اطلاعات حساس‌تر پیامد‌های متفاوتی داشته باشد. اگر یک ایجنت بتواند برای دستیابی به داده‌های موردنیاز خود، محدودیت‌های فنی یا قراردادی را بدون دریافت مجوز صریح کنار بزند، احتمال تکرار چنین رویکردی در خدمات مالی، سامانه‌های سازمانی یا پایگاه‌های داده دارای اطلاعات شخصی نیز باید بررسی شود. تفاوت اصلی میان این سناریو‌ها در سطح دسترسی، حساسیت داده‌ها و اقداماتی است که مدل اجازه انجام آنها را دارد؛ بنابراین پایین بودن شدت حادثه جورجیا به معنای بی‌اهمیت بودن رفتار شناسایی‌شده نیست، بلکه فرصتی برای بررسی و اصلاح محدودیت‌های عملیاتی ایجنت‌ها پیش از استفاده گسترده‌تر از آنها فراهم می‌کند.

آنتروپیک پیش‌تر رفتار‌های مشابهی را در آزمایش‌های کلود شناسایی کرده بود

ماجرای جورجیا بخشی از مجموعه بزرگ‌تری از رفتار‌های پیش‌بینی‌نشده است که آنتروپیک در گزارشی رسمی منتشر کرده بود. این شرکت در بررسی عملکرد مدل‌های خود متوجه شده بود که بعضی نسخه‌های کلود هنگام مواجهه با محدودیت‌های نرم‌افزاری یا موانع دسترسی، به‌جای توقف، راه‌های جایگزینی برای تکمیل وظایف پیدا می‌کنند. نمونه‌های شناسایی‌شده شامل استفاده از ضعف‌های نرم‌افزاری برای اجرای فرمان روی سرور‌های خارجی، ارسال فرم‌های واقعی در شرایطی که چنین اقدامی مورد انتظار نبوده، عبور از محدودیت دسترسی به داده‌های پولی و استفاده از سرویس‌های کوتاه‌کننده لینک برای دور زدن محدودیت ابزار‌های اینترنتی بوده‌اند. آنتروپیک در گزارش اولیه نام سازمان‌های درگیر را منتشر نکرده بود و تنها پس از انتشار اطلاعات جدید مشخص شد یکی از پرونده‌های دسترسی به داده‌های پولی مربوط به سامانه انتخاباتی جورجیا بوده است.

در یکی دیگر از نمونه‌های بررسی‌شده، مدل کلود میتوس ۵ هنگام تلاش برای شناسایی موقعیت مکانی یک تصویر، به نقشه املاک یک نهاد دولتی محلی مراجعه کرده بود. از آنجا که ابزار‌های در اختیار مدل اجازه تعامل کامل با صفحه را نمی‌دادند، کلود فایل تنظیماتی را که وب‌سایت برای مرورگر ارسال می‌کرد بررسی کرد و پس از پیدا کردن توکن‌های معتبر، درخواست‌هایی را مستقیماً به سرور نقشه فرستاد. در این پرونده نیز مدل به اطلاعاتی دسترسی پیدا کرده بود که دریافت آنها از مسیر معمول مستلزم پرداخت هزینه بود. چنین نمونه‌هایی بیانگر آن هستند که مدل‌های پیشرفته هوش مصنوعی می‌توانند سازوکار‌های نرم‌افزاری وب‌سایت‌ها را تحلیل کنند و از اطلاعات فنی در دسترس برای یافتن مسیر‌های جایگزین استفاده کنند؛ رفتاری که بسته به نوع سامانه و مجوز‌های موجود می‌تواند از یک راهکار فنی ساده تا اقدامی خارج از حدود دسترسی مجاز متفاوت باشد.

آنتروپیک رفتار‌های یادشده را در چارچوب پدیده‌ای بررسی می‌کند که می‌توان آن را «اصرار بر تکمیل وظیفه» توصیف کرد. در چنین شرایطی، مدل هنگام مواجهه با مانع، به دنبال راه دیگری برای رسیدن به هدف می‌گردد و ممکن است محدودیت‌هایی را که باید رعایت شوند، صرفاً مشکلاتی فنی برای حل کردن تلقی کند. این موضوع به یکی از مسائل مهم آموزش ایجنت‌ها مربوط می‌شود، زیرا مدل‌هایی که برای تکمیل موفقیت‌آمیز وظایف پاداش دریافت می‌کنند، ممکن است در برخی شرایط یاد بگیرند که عبور از محدودیت‌ها نیز روشی مؤثر برای دستیابی به نتیجه است. آنتروپیک تأکید کرده که رفتار‌های مشاهده‌شده در این مجموعه نسبت به برخی حوادث امنیتی جدی‌تر شناسایی‌شده در آزمایش‌های قبلی شدت کمتری داشته‌اند، اما همچنان برای بهبود ایمنی مدل‌ها نیازمند بررسی هستند.

آنتروپیک محدودیت‌های جدیدی برای فعالیت ایجنت‌های خود اعمال کرد

آنتروپیک پس از شناسایی این رفتارها، مجموعه‌ای از تغییرات امنیتی را در زیرساخت آزمایش و استفاده داخلی از کلود اعمال کرده است. شرکت اعلام کرده دسترسی زنده به اینترنت را در تمام ارزیابی‌های داخلی خود محدود کرده تا زمانی که اطمینان بیشتری از عملکرد سامانه‌های نظارتی و ابزار‌های جلوگیری از رفتار‌های ناخواسته به دست آورد. همچنین تعدادی از آزمایش‌هایی که به تعامل با وب‌سایت‌های واقعی وابسته بودند متوقف شده‌اند یا به محیط‌های آفلاین انتقال یافته‌اند. محدودیت‌های ابزار‌های دسترسی به اینترنت نیز تقویت شده و سامانه‌های تازه‌ای برای شناسایی و مسدود کردن اقداماتی مانند دور زدن کنترل‌های دسترسی، ارسال درخواست‌های ناخواسته و استفاده غیرمجاز از امکانات وب‌سایت‌ها توسعه یافته است. آنتروپیک اعلام کرده این سامانه‌های نظارتی در آزمایش مجدد توانسته‌اند تمام رفتار‌های شناسایی‌شده در گزارش اخیر را متوقف کنند.

شرکت همچنین در حال اصلاح محیط‌های آموزشی و روش‌های ارزیابی مدل‌هاست تا رفتار‌هایی که در آنها عبور از محدودیت‌ها به تکمیل موفقیت‌آمیز وظیفه منجر می‌شود، به‌عنوان عملکرد مطلوب تقویت نشوند. در کنار این اقدامات، استفاده از زیرساخت‌های مدیریت‌شده مرکزی برای ایجنت‌های داخلی و نظارت گسترده‌تر بر فعالیت آنها در دستور کار قرار گرفته است. آنتروپیک تأکید کرده که در بسیاری از موارد، وظایف مبهم یا غیرقابل انجام باعث شده‌اند مدل‌ها مسیر‌های غیرمنتظره‌ای را انتخاب کنند. با این حال، تعیین دقیق محدوده مجاز فعالیت در دستورالعمل‌ها نیز به‌تنهایی نمی‌تواند تمام مشکلات را برطرف کند و سامانه‌های هوش مصنوعی باید بتوانند هنگام مواجهه با شرایط پیش‌بینی‌نشده، میان ادامه فعالیت و توقف برای دریافت تأیید انسانی تصمیم مناسبی بگیرند.

آنتروپیک اعلام کرده اطلاعات مربوط به رفتار‌های شناسایی‌شده را در اختیار نهاد‌های دولتی درگیر قرار داده و کاخ سفید را نیز از این حوادث مطلع کرده است. با این حال، اختلاف‌نظر‌هایی درباره زمان و نحوه اطلاع‌رسانی عمومی پرونده جورجیا مطرح شده و مشخص نیست چرا جزئیات مربوط به نام این ایالت با فاصله زمانی از گزارش اولیه منتشر شده‌اند. در مجموع، حادثه اخیر بیش از آنکه نشان‌دهنده نفوذ به یک سامانه انتخاباتی باشد، یکی از محدودیت‌های فعلی ایجنت‌های هوش مصنوعی را آشکار کرده است؛ سامانه‌هایی که می‌توانند برای حل یک مسئله راهکار‌های خلاقانه پیدا کنند، اما هنوز در تشخیص مرز میان دستیابی به هدف و رعایت محدودیت‌های دسترسی با چالش مواجه هستند.