🔍 Ищем следы нейросетей в текстах

Сервисы-детекторы ИИ становятся всё популярнее. Создатели утверждают, что их инструменты могут отличить текст, написанный человеком, от текста, созданного нейросетью.

⭐️ Мы решили протестировать семь платформ и проверить их способность распознавать живой язык от искусственного. В эксперименте использовали пять видов текста: от 100% "рукописного" до полностью "машинного".

📌 Только текст, переписанный автором после ИИ, детекторы определили правильно и почти единогласно как "сделанный человеком". Лишь Duplichecker заподозрил присутствие ИИ на 51%. Этот показатель можно интерпретировать по-разному, ведь рерайт после робота можно считать и самостоятельным произведением автора, и результатом работы нейросети.

😡 В остальных случаях детекторы ошибались с разной частотой. Больше всего их сбивал материал, созданный нейросетью на основе транскрибации выступления. Текст готовил ChatGPT и это у него отлично получилось.

Наши наблюдения и эксперимент показали, что ни один детектор не может дать 100% точности в определении происхождения текста. Инфостиль копирайтера чаще воспринимается как искусственная генерация, а даже легкий рерайт ИИ-контента очеловечивает язык. Полагаться исключительно на детекторы для вынесения "приговора" тексту не стоит, обязательно надо учитывать специфику темы.

🔵Посмотреть образцы текстов, по которым проводился эксперимент, можно по ссылке.

✔️Детекторы, которые соревновались: 🔹Rewriteguru, бесплатно 🔹GigaCheck, бесплатно 🔹Smodin, от 12$ в месяц 🔹Copyleaks, от 13$ в месяц 🔹Duplichecker, бесплатно 🔹Cudekai, бесплатно 🔹Detecting-ai, бесплатно 100 обнаружений в день

Следующим шагом, наверное, стоит проверить "человечность" текста от разных нейронок. Ставьте 🔥, если вам интересно узнать, какому ИИ чаще всего удастся обмануть детекторы. ———

✍️Подписывайтесь: @aiforproduct