Составляю тесты по охране труда для своего проекта ot-tests.ru — сервис для проверки знаний по охране труда и смежных с ней направлениями.

Из-за того что я работаю один, мне приходиться всю рутинную работу автоматизировать. Как раз была работа над сборкой большого комплекта вопросов по теме «Ремонт, монтаж и демонтаж зданий и сооружений». Задача была собрать 100 качественных вопросов в строгом JSON-формате с правильной структурой, UUID-идентификаторами и разными форматами (одиночный и множественный выбор, последовательности, установление соответствий) для дальнейшей загрузки этого файла на сайт.

Загружаю в рабочую среду весь необходимый пакет нормативки: 📄 СП 325.1325800.2017 (демонтаж и снос зданий); 📄 Приказы Минтруда № 883н (строительство), № 782н (высота), № 835н (инструмент), № 903н (электробезопасность); 📄 Постановления Правительства № 2464 и № 1479.

Даю нейросети команду: «Сгенерируй 100 вопросов, чтобы полностью покрыть темы из файла темы.txt, выводи частями в JSON».

Нейросеть с идеальной точностью начинает выдавать партии вопросов: валидный JSON, UUID v4 на каждый объект, зазоры, типы... Просматриваю готовые вопросы и понимаю, что что-то идет не так:

«Какова допустимая эффективная доза облучения персонала группы А?» «Какой дозиметр применяют для индивидуального радиометрического контроля?» «Первоочередные действия при радиационной аварии?»

Оказалось, в файле темы.txt случайно остался старый план по радиационной безопасности! 😅

При этом в загруженных PDF-документах была исключительно стройка, монтаж и работа на высоте. Но ИИ увидел жесткую директиву в промпте («покрывай темы из темы.txt») и без колебаний подключил свои фоновые знания, сгенерировав безупречный по структуре тест... по радиации.

На мой вопрос: «Откуда ты взял радиацию, если в источниках правила по стройке?» — ИИ честно ответил: «Вы попросили сделать по темы.txt, поэтому я использовал базовые знания. Но да, в ваших файлах была стройка».

Главный вывод: Нейросети — потрясающий бустер для генерации тестов и инженерии обучающего контента, но контроль контекста и первоисточников всегда остается за человеком.

Чем всё закончилось: Обновил темы.txt на правильные строительные темы, и нейросеть за считанные минуты пересобрала комплект из 100 вопросов — на этот раз strictly grounded в нормативной базе Минтруда и Минстроя. Все скомпоновано в итоговый файл и уже отправляется на ot-tests.ru

Бывали у вас подобные курьезы при работе с LLM? Рассказывайте в комментариях 👇 #охранатруда #тесты #llm #проверказнаний