Факт может провалиться в щель между кусками документа

Перед ответом RAG-система ищет подходящие фрагменты источника. Для этого длинный документ заранее режут на части — чанки. Но важное условие может начаться в конце одного чанка, а исключение оказаться в следующем. По отдельности обе половины дают неполный смысл.

Поэтому соседние чанки часто делают с перекрытием: несколько предложений на границе повторяются в обоих фрагментах. Так у поиска появляется шанс извлечь мысль целиком. Однако чрезмерное перекрытие раздувает индекс и приносит дубли.

Настраивая RAG, проверяйте не только размер чанка, но и вопросы к тексту именно на стыках разделов.

#RAG #нейросети #ИИпростыми словами