Около недели работал над статьёй о реранкинге. Это одна из заключительных тем моего рассказа о RAG, подходе, который помогает языковой модели отвечать с опорой на сведения из заранее подготовленных документов.

Для проверки понятности у меня есть «индекс жены». Она поддерживает мои начинания и многое слышала об ИИ, но не специалист. Мои сорокаминутные объяснения её утомляют. Даю ей почитать текст и по округляющимся глазам замечаю, где сам всё усложнил.

В первой версии было много обозначений, формул и таблиц. «Сложновато» получил ещё на первом абзаце. Пришлось переписать объяснение и вынести технические подробности отдельно.

Представим компанию, где правила бронирования переговорной записаны во внутренних документах. Их заранее подготовили для поиска: извлекли текст, разделили на фрагменты и создали индекс, помогающий находить нужные отрывки. Об этом я писал в материале про RAG.

Сотрудник спрашивает ИИ-помощника в чате: «Как забронировать переговорную на субботу?» Прежде чем модель начнёт отвечать, приложение ищет сведения в этих документах.

Допустим, найдены четыре отрывка: про бронирование в будни, отмену брони, выходные и подготовку комнаты. Отмена касается другого действия, а правило для будней не объясняет бронирование на субботу. Нужная инструкция про выходные могла оказаться ниже в списке.

Реранкер получает вопрос и найденные отрывки, затем повторно оценивает, насколько каждый подходит к бронированию на субботу. Инструкция про выходные может подняться выше. Это может повлиять на то, какие материалы приложение отберёт и передаст вместе с вопросом языковой модели для составления ответа.

Если нужной инструкции среди найденного нет, повторная оценка её не добавит. Даже подходящий материал не гарантирует правильного ответа.

Подробнее разобрал это в статье о реранкинге. Основное объяснение можно прочитать отдельно от технических подробностей.