Нашёл дыру в тестировании с помощью ИИ

Расскажу интересный кейс о том, как можно находить недоработки в "готовых" продуктах. У нас есть обязательное тестирование для сотрудников массового персонала. Проходить его нужно раз в квартал. Вроде бы всё работает, предусмотрены различные механизмы защиты от списывания.

Но в этот раз я выгрузил отчёт и увидел магию. Часть сотрудников проходили тест за 3–5 минут⏱️. Их было много, при этом результаты были очень хорошими.

Что меня насторожило? Тест включает 100 вопросов, из которых случайным образом выбираются 50. Вопросы и варианты ответов перемешиваются, попыток всего две, результаты ответов не показываются.

Подготовиться к списыванию можно, конечно. Только вот пройти 50 вопросов за три минуты с хорошим результатом? Тут либо невероятное везение, либо у нас есть что-то другое.

Первой версией было "списали". Правда, я в неё не очень верил. Поэтому решил разобраться.

🔎Начал искать уязвимости с помощью ИИ

Я стал исследовать устройство теста и проверять, какие возможности доступны на странице прохождения. В итоге обнаружил способ получить правильные ответы ещё до начала тестирования. То есть сотруднику даже не нужно было отвечать на вопросы в обычном понимании этого процесса.

Дальше стало ещё интереснее. Оказалось, что при определённых условиях можно автоматизировать не только получение ответов, но и само прохождение теста.

Если вопросы не требуют работы с изображениями, перетаскивания элементов и других интерактивных действий, можно потенциально автоматизировать практически весь процесс.

В таком сценарии система сама отвечает на вопросы, а человеку остаётся наблюдать за происходящим. И всё это я обнаружил без многомесячного изучения кода и разработки сложных инструментов. ИИ помог разобраться в технических деталях и проверить гипотезы.

🛠️ Что было дальше?

Я показал проблему владельцам платформы и попросил разобраться с уязвимостью. В ответ попросили скрипт, видео и дополнительные материалы, демонстрирующие проблему.

С одной стороны, это понятно: разработчикам нужны воспроизводимые доказательства. С другой, возникает закономерный вопрос. У продукта есть большая команда IT-специалистов, но потенциально критичную уязвимость обнаружил обычный пользователь, который решил разобраться в вопросе с помощью нейросети.

При этом у меня есть и другие вопросы к платформе, в том числе по отчётности. Однако это уже отдельная история. Название компании раскрывать не буду. Надеюсь, уязвимость исправят, потому что в данном случае речь не просто о технической ошибке, а о достоверности результатов корпоративного обучения.

💡Какой вывод я для себя сделал?

Во-первых, не стоит путать наличие механизмов защиты с реальной защищённостью системы. Можно перемешать вопросы, ограничить количество попыток и настроить случайную выборку. Только всё это не поможет, если правильные ответы доступны через саму страницу тестирования.

Во-вторых, ИИ заметно снижает порог входа в технические исследования. Чтобы обнаружить проблему, теперь не всегда нужно быть разработчиком. Иногда достаточно уметь задавать вопросы, проверять гипотезы и последовательно исследовать то, что находится перед тобой.

В-третьих, если система позволяет обойти проверку знаний, проблема не обязательно в сотрудниках, которые этим воспользовались. Возможно, сначала стоит проверить саму систему.

Разумеется, обнаружение уязвимости ещё не означает, что кто-то действительно использовал именно этот способ. Аномальные результаты тестирования стали поводом для проверки, а не доказательством массового списывания. И вот что мне особенно интересно: сколько подобных недоработок существует в привычных нам сервисах, просто никто не пытался их искать?

💬А вы проверяете на прочность инструменты, которыми пользуетесь? Как думаете, с распространением ИИ подобные уязвимости будут находить гораздо чаще? И кто теперь должен отвечать за безопасность продуктов: только разработчики или пользователи тоже могут вносить свой вклад?

#тыжменеджер #искусственныйинтеллект #ИИ #обучение #корпоративноеобучение #личнаяэффективность