У документа для ИИ есть невидимые швы 🧵
Когда длинный файл подключают к поиску по базе знаний, его часто режут на небольшие фрагменты — чанки. ИИ ищет не во всём документе сразу, а сначала выбирает подходящие куски. Здесь возникает тихая ошибка: правило оказалось в конце одного чанка, а исключение — в начале следующего. В ответ попало только правило — убедительно, но неполно.
Если собираете такую базу, не режьте текст посреди абзаца, сохраняйте заголовок рядом с разделом и добавляйте небольшое перекрытие между чанками. Готовый сервис проверьте вопросом, для которого нужны две соседние части. Иногда качество ответа решает не модель, а место разреза.
