Самоулучшение и eval: человек остаётся в контуре

Агент, который сам себя улучшает, — красивая идея из презентаций. На практике это отличный способ за неделю превратить проект в хаос: каждое неудачное взаимодействие порождает «улучшение», улучшения конфликтуют, а через месяц никто не понимает, почему агент ведёт себя так, а не иначе.

Поэтому самоулучшение в Элис устроено консервативно: • после неуспешного разговора анализатор может предложить пункт в список улучшений; • есть разбор расходов и регрессий после обновлений; • автоматических коммитов нет — решение принимает человек после ревью; • бюджет на самоулучшение ограничен долей общего расхода.

Второй контур уверенности — eval. Автотесты проверяют, что код делает то, что написано в контрактах. Eval-сценарии и набор продакшен-проверок проверяют другое: что система ведёт себя так, как нужно в реальной задаче. Одного без другого мало.

Куда дальше. Сегодня Элис работает локально — на вашей машине или на выделенном сервере. Облачный сервис пока только в планах. Но часть основы для него уже заложена: • удалённый транспорт и связь между машинами; • изоляция каждой группы — своя папка, журнал, браузер, бюджет; • брокер секретов: значения не живут в конфиге и контексте; • лицензия с числом мест и сроком.

Чем Элис не будет: заменой IDE, оркестратором контейнеров и платформой для обучения собственных моделей.

Где трудно до сих пор. Самоулучшение легко превращается в шум. Анализатор, который после каждой ошибки предлагает пять пунктов, быстро делает список бесполезным. А eval, который не обновляют, начинает проверять вчерашнюю систему. Честно скажу: это самая незрелая часть проекта, и именно поэтому здесь сознательно оставлен человек.

Итог серии. Элис — попытка сделать каркас, которому можно доверить реальные действия: журнал вместо «памяти на слово», подтверждения вместо надежды, ссылки вместо секретов, честная остановка вместо тишины.

Какой из механизмов вам интересно разобрать глубже? Напишите — сделаю отдельный пост.

#Элис #ЭлисAI #AIагенты #eval

Самоулучшение и eval: человек остаётся в контуре | Сетка — социальная сеть от hh.ru