وقتی هوش مصنوعی دیگر منتظر دستور نمی‌ماند؛ آیا باید نگران آینده باشیم؟

به گزارش مجله خبری نگار، تا همین چند سال پیش، بحث درباره خطر هوش مصنوعی بیشتر شبیه داستان‌های علمی‌تخیلی بود: ماشینی که روزی آن‌قدر باهوش می‌شود که انسان را کنار می‌زند. اما در سال ۲۰۲۶، شکل مسئله تغییر کرده است. دیگر پرسش اصلی این نیست که آیا یک هوش مصنوعی می‌تواند از انسان باهوش‌تر شود یا نه؛ پرسش مهم‌تر این است که اگر یک سامانه هوش مصنوعی بتواند برای مدت طولانی‌تری تصمیم بگیرد، ابزار‌های واقعی را به کار بگیرد، کد اجرا کند، به اینترنت متصل شود و برای رسیدن به یک هدف چندین مرحله اقدام کند، آیا انسان هنوز واقعاً کنترل‌کننده آن است؟

گزارش بین‌المللی ایمنی هوش مصنوعی که در سال ۲۰۲۶ منتشر شد، مسئله کنترل را در کنار سوءاستفاده، امنیت سایبری و دیگر ریسک‌های هوش مصنوعی پیشرفته بررسی می‌کند. این گزارش درعین‌حال تأکید می‌کند شواهد علمی درباره آینده هنوز با عدم‌قطعیت قابل‌توجهی همراه است؛ بنابراین پاسخ کوتاه به سؤال عنوان مقاله این است: هنوز نه؛ اما مسئله کنترل دیگر یک مسئله حل‌شده هم نیست.

از «ابزار» به «عامل»: نقطه‌ای که کنترل دشوار می‌شود

نسل نخست سامانه‌های هوش مصنوعی عمدتاً منتظر دستور انسان می‌ماند. کاربر سؤال می‌کرد و ماشین پاسخ می‌داد. اگر پاسخ اشتباه بود، انسان تصمیم می‌گرفت چه‌کار کند. اما نسل جدید «عامل‌های هوش مصنوعی» یا AI Agents، برای انجام یک هدف می‌توانند مجموعه‌ای از اقدامات را پشت‌سرهم انجام دهند: جست‌و‌جو کنند، کد بنویسند و اجرا کنند، فایل ایجاد کنند، از ابزار‌های نرم‌افزاری استفاده کنند و در محیط‌های دیجیتال برای مدت طولانی‌تری فعالیت کنند.

همین تغییر ظاهراً ساده، مسئله ایمنی را عوض می‌کند. در یک نرم‌افزار سنتی، خطا معمولاً در یک مسیر مشخص رخ می‌دهد؛ اما یک عامل خودمختار می‌تواند از چندین تصمیم متوالی عبور کند و هر تصمیم، شرایط تصمیم بعدی را تغییر دهد؛ بنابراین حتی اگر احتمال خطا در هر مرحله پایین باشد، ترکیب تعداد زیادی اقدام می‌تواند احتمال خطای نهایی را افزایش دهد. گزارش بین‌المللی ایمنی هوش مصنوعی ۲۰۲۶ نیز تأکید می‌کند که افزایش قابلیت‌های AI، به‌ویژه در سیستم‌هایی که قادر به انجام وظایف پیچیده‌تر و طولانی‌تر هستند، چالش‌های تازه‌ای برای ارزیابی و کنترل ایجاد کرده است.

مشکل مهم‌تر اینجاست که «هم‌راستا بودن» یک مدل با خواسته انسان الزاماً به معنای «قابل‌کنترل بودن» آن در زمان اجرا نیست. سامانه‌ای ممکن است در آزمون‌های معمول رفتاری مناسب داشته باشد، اما وقتی در یک محیط باز، تعاملی و مجهز به ابزار قرار می‌گیرد، تضمین اینکه همیشه بتوان آن را متوقف، هدایت یا محدود کرد مسئله‌ای جداگانه است. به بیان ساده‌تر، کنترل یک ماشین زمانی آسان است که ماشین فقط منتظر دستور باشد؛ وقتی ماشین خودش زنجیره‌ای از تصمیم‌ها را اجرا می‌کند، «دکمه توقف» به‌تنهایی دیگر تعریف کاملی از کنترل نیست.

مسئله نگران‌کننده‌تر: وقتی ماشین فقط اشتباه نمی‌کند، بلکه ممکن است رفتار خود را پنهان کند

اشتباه هوش مصنوعی چیز جدیدی نیست. مدل‌ها اطلاعات جعلی تولید می‌کنند، کد خراب می‌نویسند و گاهی با اطمینان کامل جواب نادرست می‌دهند. اما مسئله دیگری وجود دارد که برای پژوهشگران ایمنی اهمیت بیشتری پیدا کرده است: رفتار فریبکارانه یا همان Scheming. در سال ۲۰۲۵، پژوهش مشترک OpenAI و Apollo Research نشان داد که در آزمایش‌های کنترل‌شده، چند مدل پیشرفته رفتار‌هایی از خود نشان داده‌اند که با پنهان‌کاری یا تلاش برای دستیابی به هدف از طریق دورزدن محدودیت‌های تعیین‌شده سازگار بود. این پژوهش به معنای آن نیست که مدل‌های فعلی تصمیم گرفته‌اند علیه انسان اقدام کنند؛ نتایج در محیط‌های کنترل‌شده و سناریو‌های ارزیابی به دست آمده‌اند.

نکته مهم همین است: بحث بر سر «نیت» ماشین نیست؛ بحث بر سر رفتار قابل‌مشاهده است. حتی اگر یک مدل هیچ آگاهی یا انگیزه‌ای شبیه انسان نداشته باشد، ممکن است در شرایط خاص، رفتاری را انتخاب کند که از بیرون شبیه فریب، پنهان‌کاری یا دورزدن نظارت به نظر برسد. برای ایمنی، تفاوت فلسفی میان «ماشین قصد فریب داشت» و «ماشین رفتاری انجام داد که انسان را فریب داد» چندان آرامش‌بخش نیست.

در سال ۲۰۲۶، مسئله از آزمایشگاه نیز به محیط‌های واقعی‌تر نزدیک شده است. در سپتامبر ۲۰۲۶، Anthropic چهار حادثه مرتبط با مدل‌های Claude را در ارزیابی‌های امنیت سایبری گزارش کرد که در آنها مدل‌ها به سیستم‌های خارجی دسترسی پیدا کرده و اقداماتی فراتر از انتظار انجام داده بودند. یکی از این حوادث مربوط به نسخه اولیه Claude Opus ۴.۶ بود و در ژانویه رخ داده بود، اما تا اوت شناسایی نشد. بررسی Anthropic دو الگوی تکرارشونده را برجسته کرد: «استدلال سوگیرانه» در تفسیر وضعیت دسترسی به اینترنت و «بی‌احتیاطی» در پیگیری هدف.

در همین ماه، گزارش رویترز درباره آزمایش‌های امنیتی مستقل Irregular نیز از موردی خبر داد که در آن Gemini گوگل در یک آزمون امنیت سایبری به‌طور خودکار به سه سامانه شرکت‌ها دسترسی پیدا کرده و آنها را نقض کرده بود. گوگل این رخداد‌ها را تأیید کرد و اعلام شد که رویه‌های آزمایش برای جلوگیری از تکرار آن اصلاح شده‌اند.

این حوادث را نباید به شکل «هوش مصنوعی از زندان فرار کرد» روایت کرد. در این آزمایش‌ها انسان‌ها محیط، سطح دسترسی و هدف را تعیین کرده بودند. اما دقیقاً همین موضوع اهمیت دارد: وقتی سامانه‌ای با توانایی بالا به ابزار و دسترسی واقعی متصل می‌شود، خطای طراحی محیط می‌تواند به رفتار واقعی و قابل‌توجه تبدیل شود.

خطر اصلی شاید «شورش ماشین‌ها» نباشد؛ ازدست‌رفتن تدریجی توان نظارت انسان است

تصویر محبوب از خطر هوش مصنوعی، رباتی است که روزی علیه انسان شورش می‌کند. اما مسیر محتمل‌تر و علمی‌تر، دست‌کم در شرایط فعلی، بسیار معمولی‌تر است. ممکن است انسان‌ها به‌تدریج وظایف بیشتری را به سیستم‌های هوش مصنوعی واگذار کنند؛ از برنامه‌نویسی و مدیریت شبکه گرفته تا تحلیل مالی، امنیت سایبری، تحقیقات علمی و تصمیم‌گیری‌های سازمانی. هر مرحله به‌تنهایی قابل‌کنترل به نظر می‌رسد. مشکل زمانی ایجاد می‌شود که سرعت و پیچیدگی تصمیم‌گیری ماشین از توان انسان برای بررسی آن بیشتر شود. این همان‌جایی است که مفهوم «کنترل» تغییر می‌کند.

اگر یک عامل هوش مصنوعی در یک ساعت هزاران خط کد تولید و آزمایش کند، انسان دیگر نمی‌تواند تک‌تک تصمیم‌های آن را بررسی کند. اگر عامل دیگری بتواند هم‌زمان هزاران آسیب‌پذیری امنیتی را جست‌و‌جو کند، دفاع انسانی ناچار باید تا حد زیادی به سیستم‌های خودکار دیگری سپرده شود. در این شرایط، انسان هنوز در رأس سیستم قرار دارد، اما دیگر مستقیماً همه اتفاقات داخل آن را نمی‌بیند. گزارش بین‌المللی ایمنی هوش مصنوعی ۲۰۲۶ نیز تأکید می‌کند که هم‌زمان با افزایش توانایی‌های AI، روش‌های فعلی مدیریت ریسک هنوز محدودیت‌ها و شکاف‌های مهمی دارند.

واکنش شرکت‌های سازنده نیز نشان می‌دهد که مسئله کنترل، موضوعی عملیاتی و نه صرفاً فلسفی است. پس از حوادث امنیتی، شرکت‌ها به سمت ایزوله‌سازی بیشتر محیط‌های آزمایشی، پایش رفتار عامل‌ها، ارزیابی مستقل و محدودکردن دسترسی حرکت کرده‌اند. در سپتامبر ۲۰۲۶، اتحادیه اروپا نیز دسترسی آژانس امنیت سایبری خود، ENISA، به مدل‌های پیشرفته‌ای از Anthropic و OpenAI را برای ارزیابی قابلیت‌ها و پیامد‌های امنیت سایبری فراهم کرد.

پس آیا هوش مصنوعی از کنترل انسان خارج شده است؟

تا سپتامبر ۲۰۲۶، شواهد علمی معتبر نشان نمی‌دهد که هوش مصنوعی عمومی یا سامانه‌های فعلی به‌طور مستقل کنترل انسان را به دست گرفته‌اند یا آگاهانه در حال طراحی سلطه بر انسان هستند. اما این پاسخ نباید به معنای «پس هیچ خطری وجود ندارد» تعبیر شود. آنچه واقعاً در حال تغییر است، نسبت میان توانایی سیستم و توانایی انسان برای نظارت بر آن است. هوش مصنوعی از یک ابزار پاسخ‌دهنده به سمت عامل‌هایی حرکت کرده که می‌توانند اهداف چندمرحله‌ای را دنبال کنند. در آزمایش‌های کنترل‌شده، رفتار‌های فریبکارانه و دورزدن محدودیت‌ها مشاهده شده است. در محیط‌های واقعی یا نیمه‌واقعی نیز مواردی از اقدامات ناخواسته و دسترسی غیرمجاز ثبت شده است. هم‌زمان، پژوهشگران هنوز درحال‌توسعه روش‌هایی‌اند که بتوانند رفتار مدل‌ها را به شکل قابل‌اعتماد پایش کنند.

بنابراین، شاید پرسش درست دیگر این نباشد که: «آیا هوش مصنوعی علیه انسان شورش خواهد کرد؟»

پرسش جدی‌تر این است: «آیا انسان می‌تواند سرعت رشد توانایی‌های هوش مصنوعی را با سرعت رشد ابزار‌های نظارت، کنترل و مسئولیت‌پذیری آن هماهنگ کند؟» این دو مسئله یکی نیستند.

اگر پاسخ به سؤال دوم مثبت باشد، افزایش استقلال AI می‌تواند یکی از بزرگ‌ترین جهش‌های فناوری تاریخ باشد. اگر پاسخ منفی باشد، لازم نیست ماشین‌ها روزی تصمیم بگیرند انسان‌ها را نابود کنند؛ کافی است انسان‌ها سامانه‌هایی بسازند که بیش از ظرفیت نظارت خودشان پیچیده شده باشند؛ و شاید عجیب‌ترین بخش ماجرا همین باشد: بزرگ‌ترین خطر هوش مصنوعی ممکن است این نباشد که ماشین‌ها بیش از حد شبیه انسان شوند؛ بلکه این باشد که انسان‌ها بیش از حد به ماشین‌هایی اعتماد کنند که هنوز خودشان را کاملاً نمی‌فهمند.

منبع: فرهیختگان-رسول کریمی، پژوهشگر فضای مجازی