Всем привет! Вчера и сегодня работаю над оптимизацией pipeline-стадии разработки в SpecaFlow! Одной из ключевых точек фокуса является сокращение количества вызовов harness-инструментов там, где это можно заменить использованием кэш-памяти.
Также веду работу над минимизацией первого промпта, подаваемого в модель в начале каждой фазы. Артефакты в SpecaFlow разбиты по строгому шаблону, поэтому некоторые блоки, пригодные для более поздних стадий, планируется алгоритмически вычитать из инструкции там, где они не нужны, а дополнительные секции данных прилагать в виде точных координат, по которым модель сама сможет дотянуться до них при необходимости.
На текущий момент уже наблюдается среднее снижение затрат времени и токенов на одну фазу в пределах 15%, но работа ещё не закончена. Эта неделя покажет предел эффективности моего подхода.
Группа с обсуждениями и демо версией продукта https://t.me/specaflow Сайт проекта https://specaflow.com