به گزارش مجله خبری نگار/ایتنا،از ژانویه ۲۰۲۳ تاکنون، پژوهشگر وبسایت zdnet بهصورت مستمر در حال ارزیابی ابزارهای تشخیص محتوای تولیدشده توسط هوش مصنوعی بوده است. در نخستین دورهی آزمایشها تنها یکی از ابزارها توانست با دقت ۶۶ درصد محتوای AI را شناسایی کند، اما در آزمایش اخیر (فوریه ۲۰۲۵) از میان ۱۰ ابزار مورد بررسی، ۵ ابزار عملکرد صددرصدی داشتند.
دیوید گویرتز برای انجام این آزمایش از پنج نمونه متن استفاده کرده که دو مورد توسط خودش و سه مورد توسط ChatGPT نوشته شدهاند. سپس این متون بهطور جداگانه به ابزارهای مختلف داده شده و نتایج ثبت شدهاند. معیار ارزیابی اینگونه است: اگر ابزار درصد اطمینان بالای ۷۰ درصد نسبت به محتوای انسانی یا AI نشان دهد، آن نتیجه معتبر محسوب میشود.
در این آزمون، ابزارهایی مانند Monica، Originality.ai، QuillBot، Undetectable.ai، و ZeroGPT توانستند با دقت کامل هر پنج متن را درست شناسایی کنند. این عملکرد نسبت به سال گذشته پیشرفت چشمگیری داشته است.
اما در سوی دیگر، ابزارهایی مانند BrandWell، Grammarly و Writer.com تنها در ۴۰ درصد موارد درست عمل کردند. برخی مانند GPTZero و Copyleaks در ۸۰ درصد موارد موفق بودند، اما حتی همین ابزارها نیز گاه محتوای انسانی را به اشتباه «تولیدشده توسط AI» تشخیص دادند. بهویژه برای نویسندگان غیر بومی زبان انگلیسی، احتمال خطای تشخیص بالاتر است.
این پژوهشگر هشدار میدهد که با وجود پیشرفت این ابزارها، هنوز هم نمیتوان بهطور کامل به آنها اعتماد کرد، بهویژه زمانی که پای اعتبار علمی یا حقوقی محتوا در میان باشد. در یک نمونه، ابزار GPTZero از اعلام نتیجه قطعی خودداری کرد و ابزار Copyleaks نیز متنی کاملاً انسانی را به اشتباه تولیدشده توسط AI اعلام نمود.
برخی ابزارها مانند Monica عملکرد خوبی داشتند، اما خود این ابزار نیز بهنوعی از نتایج سایر ابزارها مانند ZeroGPT و GPTZero بهره میبرد. در واقع برخی از این سیستمها بهجای الگوریتم مستقل، نتایج مدلهای دیگر را بازتولید یا ترکیب میکنند.
در نهایت، پژوهشگر به این نتیجه میرسد که اگرچه ابزارهای تشخیص محتوای AI در حال بهتر شدن هستند، ولی هنوز قابل اعتماد مطلق نیستند. بهویژه در محیطهای آموزشی و حرفهای، باید از این ابزارها بهعنوان یک کمک استفاده شود، نه داور نهایی.
او همچنین خوانندگان را تشویق میکند تا تجربههای خود از این ابزارها را به اشتراک بگذارند، چون هنوز بهترین شیوه برای ارزیابی محتوا، نگاه دقیق انسانی و تحلیل محتوا در بستری اخلاقی و حرفهای است.