به گزارش مجله خبری نگار به نقل از فیوچریزم، در این بررسی مشخص شده کاربرانی که برای کدنویسی به دنبال پاسخ صحیح هستند با حداقل نیمی از جوابهای دریافتی را اشتباه در نظر بگیرند که به صورت کلی قابل قبول نمیباشد.
محققان با بررسی بیش از ۵۰۰ سوال شغلی و پاسخهای ChatGPT دریافتند که حداقل ۵۲ درصد از جوابهای ChatGPT برعکس بوده و ۷۷ درصد از پاسخی که یک انسان میدهد هم طولانیتر است، همچنین ۷۰درصد از این پاسخها در تناقض با پاسخی است که یک انسان میدهد. این موضوع در پاسخهای قبلی ChatGPT نیز مشاهده شده که نشانههایی از توهم و ارائه پاسخهای غلط بود.
پژوهشگران در این مطالعه دریافتهاند که برخی کدنویسان بدون اینکه متوجه اشتباه پاسخ ChatGPT شوند از پاسخها استفاده میکنند، زیرا در جوابهای ارائه شده شبیه به ادبیات کتابهای آموزشی بوده و پاسخهای مودبانه میدهد. آنها معتقدند که کاربران باید جبهه گیری منفی خود را در برابر پاسخهای اشتباه ChatGPT کنار گذاشته و به برخی پاسخهای دریافت شده اعتنا نکنند.