В 1Password замерили рост продуктивности с Codex на 21%
У группы разработчиков, использующих Codex, продуктивность выросла на 20,9%. Об этом 1Password рассказала в "кейсе OpenAI" (https://openai.com/index/1password/\).
У меня модели OpenAI тоже работают кодерами и справляются хорошо. Поэтому в таких кейсах я смотрю, как устроили работу вокруг модели: какую задачу ей передают и кто дальше принимает результат.
В 1Password Codex получает описание нужной функции, разбирает его на требования и собирает прототип. Инженеры затем проверяют работу и встраивают её в продукт. Это достаточно конкретная схема, чтобы примерить её к своему пайплайну.
Codex также проверяет изменения перед ревью человеком и запускает автоматические тесты. То есть агент участвует в нескольких этапах подготовки одной функции. На каждом из них можно отдельно посмотреть, сколько работы осталось инженеру.
С цифрой 21% есть оговорка: в расчёте денежного эффекта компания предполагает, что с Codex связано 40% измеренного прироста. Вклад инструмента здесь оценили допущением. Сам замер роста команды его ещё не доказывает.
