LLM/RAG ломается не только на генерации
В RAG-цепочке может сломаться любой этап.
- Документы могли не найтись. - Нашлись, но не те. - Нужный фрагмент попал слишком низко в ранжировании. - Контекст собрался криво. - Промпт заставил модель обобщать там, где нужно отвечать строго по источнику.
А под нагрузкой все это еще может начать вести себя нестабильно.
Поэтому тестировать нужно не только финальный ответ, а всю цепочку: поиск, ранжирование, контекст, генерацию, задержки и поведение под параллельными запросами.
Иначе легко лечить не ту проблему: переписывать промпт, когда на самом деле retrieval вообще не достает нужные данные.
