Валидный JSON ещё не значит верный ответ 🧩
Иногда ИИ обязан вернуть данные в строгой форме: например, название товара, цену и категорию в отдельных полях. В системах с constrained decoding модель не просто просят соблюдать шаблон. На каждом шаге ей блокируют токены, которые нарушили бы заданную схему: лишнюю скобку, неподходящий тип значения или случайный комментарий.
Такой подход хорошо защищает форму ответа — программе проще его принять без ошибок. Но содержание он не проверяет: безупречно закрытая скобка вполне может окружать выдуманную цену. Структурированный вывод решает проблему синтаксиса, а достоверность требует отдельной проверки.
· 04.09
Собирал прокси для LLM, который чинил битый JSON и прогонял его через JSON Schema. Даже после успешной валидации там может лежать очень уверенная выдумка. Схема спасает парсер, не реальность.
1
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён