دانشمندان برای اولین بار موفق به ترجمه سیگنال‌های مغزی به متن معنادار شدند

به گزارش مجله خبری نگار،محققان ژاپنی روشی را توسعه داده‌اند که می‌تواند فعالیت مغز انسان را به متن معنادار تبدیل کند - حتی زمانی که فرد در حال صحبت کردن یا فکر کردن با کلمات نیست. این سیستم به جای رمزگشایی گفتار، بازنمایی‌های غیرکلامی را که قبل از تبدیل افکار به کلمات در مغز ایجاد می‌شوند، "می‌خواند". این کار در مجله Science Advances منتشر شده است.

دانشمندان به رهبری تومویاسو هوریکاوا نشان دادند که مغز اطلاعات کافی برای ایجاد یک توصیف متنی از آنچه اتفاق می‌افتد را دارد - حتی زمانی که فرد به سادگی یک ویدیو را بدون صدا تماشا می‌کند یا به یاد می‌آورد. با استفاده از MRI ​​عملکردی و مدل‌های زبانی، محققان توانستند زیرنویس‌هایی برای ویدیو‌ها ایجاد کنند که به طور دقیق هم وقایع واقعی روی صفحه و هم خاطرات ذهنی شرکت‌کنندگان را منعکس می‌کرد.

به گفته هوریکاوا، این ایده از یک سوال دیرینه در علوم اعصاب ناشی شده است: آیا می‌توان بدون تکیه بر زبان، محتوای درونی آگاهی را «شنید».

او خاطرنشان کرد: «من مدت‌هاست که به این موضوع علاقه‌مند بوده‌ام که مغز چگونه تجربیات ذهنی ما - تخیل، رویاها، خاطرات - را ایجاد و بازنمایی می‌کند. فناوری‌های رمزگشایی امواج مغزی به ما کمک می‌کنند تا به این سؤالات نزدیک‌تر شویم.»

تکنیک توسعه‌یافته، «نوشتن متن ذهنی» نام دارد و شامل دو مرحله است: ابتدا، فعالیت مغز با استفاده از یک مدل شبکه عصبی به مجموعه‌ای از ویژگی‌های معنایی تبدیل می‌شود و سپس این ویژگی‌ها به جملات معنادار تبدیل می‌شوند.

شش داوطلب بزرگسال در این آزمایش شرکت کردند. هزاران ویدیوی کوتاه و صامت از اشیاء، افراد و اعمال به آنها نشان داده شد و سپس از آنها خواسته شد تا آنچه را که دیده بودند به صورت ذهنی بازسازی کنند. در این مدت، یک اسکنر فعالیت مغز آنها را ثبت کرد. با استفاده از این داده‌ها، به یک کامپیوتر آموزش داده شد تا سیگنال‌های مغزی را با ساختار‌های معنایی در متن مرتبط کند و سپس توضیحات خود را تولید کند.

نتایج چشمگیر بود: طبق تجزیه و تحلیل، الگوریتم توانست ویدیوی خاصی را که شرکت‌کننده دیده بود با دقت تقریباً ۵۰٪ شناسایی کند، در حالی که حدس تصادفی تنها ۱٪ بود. توضیحات تولید شده نه تنها از نظر معنا، بلکه از نظر ساختار نیز با توضیحات انسانی مطابقت داشت: الگوریتم به جای فهرست کردن ساده کلمات، روابط بین اشیاء و اعمال را ثبت کرد.

این نکته به ویژه مهم است که حتی می‌توان متن را بر اساس سیگنال‌های نواحی غیرمرتبط مغز با گفتار تولید کرد. این ثابت می‌کند که اطلاعات معنایی در بسیاری از نواحی مغز، از جمله نواحی مسئول ادراک و حافظه، توزیع شده است.

هوریکاوا توضیح داد: «روش ما نشان می‌دهد که مغز، بازنمایی‌های ساختاریافته از تجربه را حتی قبل از تبدیل شدن به کلمات ذخیره می‌کند. ما ذهن‌خوانی نمی‌کنیم - ما محتوایی را که مغز قبلاً رمزگذاری کرده است، تفسیر می‌کنیم.»

این تحقیق، چشم‌انداز‌هایی را برای ایجاد سیستم‌های ارتباطی برای افرادی که توانایی صحبت کردن یا نوشتن را از دست داده‌اند، و همچنین برای مطالعه تخیل، رویا‌ها و احساسات، باز می‌کند.