Как оптимизировать промты для дешевых моделей, чтобы они раб
GEPA — это эволюционный цикл улучшения промтов, где вместо ручной правки они автоматически мутируют и отбираются по метрикам. GEPA цикл = генерация → тест → отбор → повтор, пока промт не станет оптимальным.
Качать можно отсюда: https://github.com/gepa-ai/gepa
На скрине — пример сервиса GEPA для оптимизации промта классификации фраз.
Как работает цикл: • создается эталонный пример сортировки фраз с помощью дорогой модели, например Claude Opus 4.6 • задается промт, который нужно оптимизировать под задачу • дешевая модель делает несколько генераций по этому промту • считается метрика качества классификации на эталонном примере • фиксируется стартовый результат • в промт вносятся «мутации» • мутация, которая дает прирост метрики, сохраняется
Главное — весь цикл выполняется автоматически.
Чтобы избежать переобучения промта на тестовых данных, используется отдельная валидационная выборка с той же задачей, но с другими данными.
Прикладная ценность высокая Например, нужно описать 1 млн карточек товаров. Дешевая модель дает слабый результат, дорогие качественные, но дорогие.
Вместо ручной настройки промтов запускается цикл GEPA с заданными критериями качества.
Метрики можно считать в том числе другой нейронкой, например, через сравнение с эталонным текстом. И тогда промт будет эволюционировать до тех пор пока не приблизится к эталону.
Есть опыт внедения GEPA для товаров и по нему — лучше делать под каждую категорию товаров свой цикл обучения, чтобы из дешевой модели выжать максимум качества.
А цикл обучения может стоит 5,10,50, 1000$ в зависимости от задачи. У меня, например, сейчас крутится цикл уже 40 часов, который схавал 100 долларов.