Как оптимизировать промты для дешевых моделей, чтобы они раб

GEPA — это эволюционный цикл улучшения промтов, где вместо ручной правки они автоматически мутируют и отбираются по метрикам. GEPA цикл = генерация → тест → отбор → повтор, пока промт не станет оптимальным.

Качать можно отсюда: https://github.com/gepa-ai/gepa

На скрине — пример сервиса GEPA для оптимизации промта классификации фраз.

Как работает цикл: • создается эталонный пример сортировки фраз с помощью дорогой модели, например Claude Opus 4.6 • задается промт, который нужно оптимизировать под задачу • дешевая модель делает несколько генераций по этому промту • считается метрика качества классификации на эталонном примере • фиксируется стартовый результат • в промт вносятся «мутации» • мутация, которая дает прирост метрики, сохраняется

Главное — весь цикл выполняется автоматически.

Чтобы избежать переобучения промта на тестовых данных, используется отдельная валидационная выборка с той же задачей, но с другими данными.

Прикладная ценность высокая Например, нужно описать 1 млн карточек товаров. Дешевая модель дает слабый результат, дорогие качественные, но дорогие.

Вместо ручной настройки промтов запускается цикл GEPA с заданными критериями качества.

Метрики можно считать в том числе другой нейронкой, например, через сравнение с эталонным текстом. И тогда промт будет эволюционировать до тех пор пока не приблизится к эталону.

Есть опыт внедения GEPA для товаров и по нему — лучше делать под каждую категорию товаров свой цикл обучения, чтобы из дешевой модели выжать максимум качества.

А цикл обучения может стоит 5,10,50, 1000$ в зависимости от задачи. У меня, например, сейчас крутится цикл уже 40 часов, который схавал 100 долларов.

Как оптимизировать промты для дешевых моделей, чтобы они раб | Сетка — социальная сеть от hh.ru