افکار خاموش با این فناوری به متن تبدیل میشوند!

به گزارش مجله خبری نگار،محققان استرالیایی که این تکنولوژی را به نام DeWave توسعه دادند و این فرآیند را با استفاده از داده‌های بیش از دو دوجین نفر آزمایش کردند.
شرکت کنندگان در حالی که کلاه خود را پوشیده بودند که امواج مغزی خود را از طریق الکتروانسفالوگرام (eeg) ثبت می‌کرد و آن‌ها را به متن رمزگشایی می‌کرد، در سکوت می‌خواندند.

با اصلاح بیشتر، DeWave می‌تواند به بیماران سکته مغزی و فلج کمک کند تا ارتباط برقرار کنند و هدایت ماشین‌هایی مانند بازو‌های بیونیک یا ربات‌ها را برای مردم آسان‌تر کند.

دانشمند کامپیوتر چین تنگ لین از دانشگاه فناوری سیدنی (UTS) می‌گوید: این تحقیق نشان دهنده تلاش پیشگامانه در ترجمه امواج خام EEG به طور مستقیم به زبان است، که نشان دهنده پیشرفت قابل توجهی در این زمینه است.

اگرچه DeWave تنها بیش از ۴۰ درصد دقت را بر اساس یکی از دو مجموعه معیار‌های انجام شده توسط لین و همکارانش به دست آورد، این ۳ درصد بهبود در استاندارد قبلی برای ترجمه تفکر از eeg recordings است.

هدف محققان بهبود دقت تا حدود ۹۰ درصد است که با روش‌های متعارف ترجمه زبان یا نرم افزار تشخیص گفتار برابر است.

روش‌های دیگر ترجمه سیگنال‌های مغزی به زبان نیاز به جراحی‌های تهاجمی برای کاشت الکترود‌ها یا دستگاه‌های MRI بزرگ و گران قیمت دارند، که آن‌ها را برای استفاده روزانه غیر عملی می‌کند و آن‌ها اغلب نیاز به استفاده از ردیابی چشم برای تبدیل سیگنال‌های مغزی به قطعات سطح کلمه دارند.

وقتی چشم‌های یک فرد از یک کلمه به کلمه دیگر می‌رود، منطقی است که فرض کنیم مغز آن‌ها بین پردازش هر کلمه استراحت کوتاهی می‌کند. ترجمه موج خام eeg به کلمات بدون ردیابی چشم برای نشان دادن هدف کلمه مربوطه سخت‌تر است.

امواج مغزی افراد مختلف همه نشان دهنده شکاف بین کلمات به همان شیوه نیستند و آموزش هوش مصنوعی برای تفسیر افکار فردی را به چالش می‌کشد.

پس از آموزش گسترده، رمزگذار DeWave امواج EEG را به یک کد تبدیل می‌کند که می‌تواند با کلمات خاص مطابقت داشته باشد بر اساس اینکه چقدر به ورودی‌های "کد کتاب" DeWave نزدیک هستند.

لین توضیح می‌دهد: این اولین کسی است که تکنیک‌های کدگذاری مجزا را در فرآیند ترجمه مغز به متن ترکیب می‌کند و رویکرد نوآورانه‌ای را برای رمزگشایی عصبی معرفی می‌کند. ادغام با مدل‌های زبان بزرگ همچنین مرز‌های جدیدی را در علوم اعصاب و هوش مصنوعی باز می‌کند.

لین و تیمش از مدل‌های زبان آموزش دیده استفاده کردند که شامل ترکیبی از سیستمی به نام برت با GPT بود و آن را بر روی مجموعه داده‌های موجود افرادی که ردیابی چشم و فعالیت مغز را در هنگام خواندن متن ثبت کرده بودند، آزمایش کردند.

این به سیستم کمک کرد تا یاد بگیرد که الگو‌های موج مغزی را با کلمات مطابقت دهد، سپس DeWave با یک مدل زبان بزرگ منبع باز که اساسا جملات را از کلمات می‌سازد بیشتر آموزش دیده است.

ترجمه افعال جایی است که DeWave بهترین عملکرد را داشت. از سوی دیگر، اسم‌ها به عنوان جفت کلمات ترجمه می‌شدند که به جای ترجمه دقیق، به معنای یک چیز هستند، مانند "مرد" به جای "نویسنده".

یک دانشمند کامپیوتر از UTS می‌گوید: ما فکر می‌کنیم این به این دلیل است که وقتی مغز این کلمات را پردازش می‌کند، از نظر معنایی کلمات مشابه ممکن است الگو‌های موج مغزی مشابهی را تولید کنند.

با وجود چالش‌ها، مدل ما نتایج معنی دار را به دست می‌آورد، کلمات کلیدی را هماهنگ می‌کند و ساختار جمله مشابهی را تشکیل می‌دهد.

اندازه نمونه نسبتا بزرگ آزمایش شده این واقعیت را برطرف می‌کند که توزیع موج EEG افراد بسیار متفاوت است، که نشان می‌دهد این تحقیق قابل اعتماد‌تر از فن آوری‌های قبلی است که فقط بر روی نمونه‌های بسیار کوچک آزمایش شده اند.

کار بیشتری برای انجام دادن وجود دارد و سیگنال نسبتا پر سر و صدا است وقتی سیگنال‌های EEG از طریق یک کلاه به جای الکترود‌های کاشته شده در مغز دریافت می‌شوند.
این تیم می‌نویسد: ترجمه افکار مستقیما از مغز یک تلاش ارزشمند و در عین حال چالش برانگیز است که مستلزم تلاش‌های مداوم قابل توجهی است. با توجه به پیشرفت سریع مدل‌های زبان بزرگ، روش‌های رمزگذاری مشابهی که فعالیت مغز را با زبان طبیعی پر می‌کند، مستحق توجه بیشتر است.

این تحقیق در کنفرانس NeurIPS ۲۰۲۳ ارائه شد و پیش چاپ آن در ArXiv در دسترس است.