Говорят, что у OpenAI есть алгоритм, который с 99,9% точностью определяет, был ли текст сгенерирован с помощью ChatGPT или нет. Первая попытка была неудачной — точность алгоритма составила всего 26%. Уже более года в компании обсуждают, стоит ли выпускать его в релиз. О таком алгоритме особенно мечтают в вузах, где студенты всё чаще используют ИИ для написания своих работ, просто копируя текст из чата.

Насколько я понял из описания, для работы алгоритма используется определённая логика, с которой LLM выбирает последовательность токенов. Чем больше совпадений в последовательности, тем вероятнее, что текст был сгенерирован ИИ. Когда-то я писал диплом на тему стеганографии — способа передачи или хранения информации с сохранением в тайне самого факта передачи. В этом методе можно, например, подменять биты невидимых глазу цветов в изображении на биты информации или встраивать данные в звук, отсекая всё, что не слышит ухо. Так вот, что в стеганографии, что в алгоритме OpenAI есть одна и та же проблема: если контейнер подвергнуть небольшим изменениям (например, переконвертировать изображение или прогнать текст через Яндекс.Переводчик туда и обратно), то метки, по которым работает алгоритм, теряются, и обнаружить ничего уже не удастся. Однако, мне кажется, любое читерство быстро обнаружится при общении студента с преподавателем, например, на практической работе, и никакой алгоритм не понадобится.