دانشمندان عملکرد هوش مصنوعی و روانپزشکان را در ارزیابی سلامت روان مقایسه کردند

به گزارش مجله خبری نگار، محققان دانشگاه تگزاس در هوستون و دانشگاه ییل (فعالیت‌های این سازمان در روسیه نامطلوب تلقی می‌شود) یک مدل هوش مصنوعی چندوجهی را با ارزیابی‌های روانپزشکان در طول معاینات وضعیت روانی مقایسه کردند. این سیستم، ضبط‌های ویدیویی بیماران استاندارد شده را تجزیه و تحلیل کرده و ۱۰ پارامتر وضعیت روانی را ارزیابی کرد. ایزوستیا در مورد نحوه عملکرد هوش مصنوعی در این ارزیابی و محدودیت‌های مطالعه گزارش می‌دهد.

چگونه هوش مصنوعی وضعیت روانی را ارزیابی کرد

این مطالعه توسط محققان دانشگاه تگزاس در هوستون به همراه محققان دانشگاه ییل انجام شد. نتایج در مجله علمی npj Mental Health Research (MHR) منتشر شد. دانشمندان مدل چندوجهی Qwen۳-Omni را آزمایش کردند که قادر به پردازش همزمان ویدیو، تصاویر، صدا و متن است.

این مطالعه از ضبط‌های ویدئویی بیماران استاندارد شده - بازیگرانی که موارد بالینی اسکیزوفرنی، اختلال وسواس فکری-عملی و اختلال دوقطبی را بازسازی می‌کردند - استفاده کرد. برای هر تشخیص، سطوح مختلفی از شدت علائم ارائه شد. در مجموع، محققان ۳۹۶ طبقه‌بندی را در ۱۰ پارامتر معاینه وضعیت روانی مقایسه کردند.

هوش مصنوعی و دو تیم از روانپزشکان از دانشگاه تگزاس در هوستون و دانشگاه ییل، مطالب یکسانی را ارزیابی کردند. محققان همچنین نتایج خود متخصصان را برای تعیین میزان توافق بین ارزیابی‌هایشان مقایسه کردند.

آنچه مدل تحلیل کرد

در این معاینه، خلق و خو، ظاهر، رفتار و همکاری بیمار با پزشک، ادراک، گفتار، وجود افکار مرگ، هذیان، وسواس و اجبار و همچنین انسجام و سرعت فرآیند‌های فکری ارزیابی شد.

این مدل می‌توانست اطلاعات حاصل از چندین ویزیت از یک بیمار را در خود جای دهد. بر اساس این اطلاعات، سیستم ارزیابی‌هایی را برای پارامتر‌های وضعیت روانی فرد ایجاد کرده و توضیحات کتبی از یافته‌ها ارائه می‌داد.

سپس نتایج با ارزیابی‌های روانپزشکان مقایسه شد. این به ما اجازه داد تا مشخص کنیم که مدل کدام ویژگی‌ها را با دقت بیشتر یا کمتری تشخیص می‌دهد و در کدام موارد نتیجه‌گیری‌های آن با نتایج متخصصان متفاوت است.

نتایج هوش مصنوعی چقدر با ارزیابی‌های روانپزشکان مطابقت داشت؟

توافق بین دو گروه روانپزشکان بالا بود: AC۱ گوت ۰.۸۷ بود. هنگام مقایسه مدل با متخصصان، این مقدار از ۰.۷۰ تا ۰.۷۲ متغیر بود که نشان دهنده توافق متوسط ​​است.

نتایج بسته به پارامتر مورد ارزیابی متفاوت بود. این مدل با ویژگی‌هایی که می‌توانستند مستقیماً از طریق ویدیو مشاهده شوند یا از طریق گفتار تعیین شوند، عملکرد بهتری داشت. هنگام ارزیابی شرایطی که نیاز به تفسیر تجربه ذهنی بیمار داشت - به عنوان مثال، ایده‌های هذیانی یا اختلالات ادراکی - مشکلات بیشتری ایجاد می‌شد.

با علائم شدیدتر، توافق مدل با ارزیابی‌های متخصصان نیز کاهش یافت. بنابراین، توانایی سیستم در ارزیابی وضعیت روانی هم به پارامتر خاص و هم به شدت علائم بستگی داشت.

در کدام موارد، مدل بیشترین احتمال اشتباه را داشت؟

محققان به طور جداگانه موقعیت‌هایی را بررسی کردند که در آنها ارزیابی‌های روانپزشکان با هم مطابقت داشتند و متفاوت بودند. هنگامی که متخصصان موافق بودند، مدل تقریباً در ۱۷٪ از طبقه‌بندی‌ها نادرست بود. هنگامی که متخصصان مخالف بودند، میزان خطای سیستم بسته به گروه متخصصان به ۴۱ تا ۵۹ درصد افزایش یافت.

به گفته نویسندگان، این نشان می‌دهد که برخی از اختلافات نه تنها به عملکرد مدل، بلکه به دشواری تفسیر علائم روانپزشکی نیز مربوط می‌شود. با این حال، نمرات هوش مصنوعی همچنان پایین‌تر از سطح توافق بین دو گروه روانپزشکان باقی ماند.

چه چیزی استفاده از هوش مصنوعی را محدود می‌کند؟

این مطالعه به جای افرادی که در عمل بالینی معمول تحت ارزیابی روانپزشکی قرار می‌گیرند، از بیماران استاندارد استفاده کرد. این رویکرد امکان کنترل تشخیص‌ها و شدت علائم را فراهم می‌کرد، اما تعمیم‌پذیری نتایج را به محیط‌های بالینی دنیای واقعی محدود می‌کرد.

علاوه بر این، دانشمندان یک مدل - Qwen۳-Omni - و داده‌های به‌دست‌آمده از دو مرکز پزشکی را مطالعه کردند. بنابراین، نتایج را نمی‌توان به‌طور خودکار به سایر سیستم‌های هوش مصنوعی یا انواع ارزیابی‌های روانپزشکی تعمیم داد.

نویسندگان این توسعه را ابزاری می‌دانند که می‌تواند در کنار متخصصان مورد استفاده قرار گیرد، نه به عنوان جایگزینی مستقل برای روانپزشک. برای ارزیابی اثربخشی آن در یک محیط بالینی، تحقیقات بیشتری لازم است.