###RAG-rerank: Долго долго думал думал, нужно ли колхозить ранжирование. По сути RAG и без ранжирования не плохо выдает результаты, ведь под капотом уже вектора. И меньше времени тратится на дополнительные итерации…

Но когда база знаний переваливает за сотню документов…то самое “не плохо” превращается в классические перечитанные и переписанные токены контекста, с затертой “не” ))))) Пришлось колхозить хост с монопольным запуском модели ранжирования, и как всегда, что то пошло не так. Подбор модели ранжирования координально должен отличаться от подбора модели эмбединга, ведь ранжирование должно проводить оценку весов, а значит ей вменяется больше думать. Мой эксперимент показал хороший и точный результат выдачи после ранжирования на моделях 4B, ниже конечно быстрее скорость но точность такая, что лучше уж без ранжирования. Что как у других обстоят дела с ранжированием и балансировкой BM25…