Всем привет 👋 😊

Сервис на #LLM три недели работал нормально, а потом начал повторять один и тот же абзац до упора в лимит токенов. В логах приложения — ни одной ошибки.

Первое желание — покрутить repetition_penalty. Обычно не помогает, а иногда делает хуже.

Разбираем, как отличить симптом от причины и почему встроенный в #vLLM детектор повторов сам становится источником отказа в #production.

Ссылка на статью: https://habr.com/ru/companies/otus/articles/1067766/

Буду рад обсудить в комментариях 🤝