Команда 24 Каналу провела експеримент, щоб перевірити ефективність сервісів, які визначають тексти, створені штучним інтелектом.
Для тестування використали власні авторські тексти та уривки обсягом близько 150 слів, згенеровані ChatGPT, Gemini і Claude на задані теми. Перевірку пройшли п’ять популярних детекторів: Pangram, Grammarly, GPTZero, Scribbr і Copyleaks. Усі сервіси мають безплатні версії або пробні періоди, а Grammarly було додано через браузерне розширення з режимом Superhuman. Агент AI Detector, хоч і вимагає платної підписки, дозволив запустити безплатний тест.
Результати показали різну ефективність інструментів. Найкраще справилися Pangram, Grammarly та GPTZero, які правильно ідентифікували всі чотири штучні зразки. Pangram навіть виділив конкретні фрази-маркери, що видають нейромережу. Grammarly визначав штучні тексти з імовірністю до 68%, не позначаючи їх радикально.
Натомість Scribbr і Copyleaks показали слабші результати. Scribbr повністю не розпізнав тексти ChatGPT і Claude, вважаючи їх людськими. Copyleaks помилився з Claude, але безпомилково визначив контент від Gemini.
Експеримент також виявив, що детекторам легше підтвердити людське походження тексту, ніж однозначно викрити роботу алгоритму. Всі п’ять сервісів безпомилково впізнали авторські тексти, але при аналізі штучних зразків виникали розбіжності.
За даними 24 Каналу, жоден із перевірених інструментів не можна вважати остаточним істиною. Найкраще використовувати кілька сервісів одночасно для більш об’єктивної оцінки. Також варто звертати увагу на платні версії, які надають детальні звіти з аналізом конкретних речень, що викликали підозру алгоритмів.