Как измерять AI-продуктивность без самообмана

AI помог разработчику написать код быстрее. Этого недостаточно, чтобы сказать, что разработка стала продуктивнее.

В работе Microsoft The SPACE of AI: Real-World Lessons on AI’s Impact on Developers исследователи опросили более 500 разработчиков, а также провели интервью и наблюдения.

Влияние AI оценивали через модель SPACE:

— Satisfaction — удовлетворённость работой; — Performance — качество результата; — Activity — объём выполненных действий; — Communication and Collaboration — взаимодействие в команде; — Efficiency and Flow — эффективность и непрерывность работы.

Результаты показательные.

Разработчики действительно отмечают рост эффективности и удовлетворённости — особенно при выполнении рутинных задач.

Но эффект зависит от сложности задачи, способа использования AI и того, насколько инструмент принят всей командой.

А с совместной работой всё менее однозначно.

Допустим, код теперь пишется быстрее. Но одновременно:

— PR становятся больше; — ревью занимает больше времени; — растёт число исправлений после ревью; — обмен знаниями сокращается; — разработчики хуже понимают код друг друга.

Получили мы прирост продуктивности?

Не факт. Возможно, мы просто перенесли очередь из разработки в ревью.

Поэтому AI-продуктивность нельзя измерять одной метрикой — количеством строк, закрытых задач или временем написания кода.

Я бы смотрел сразу на несколько уровней:

— сколько времени задача проходит от начала до production; — как изменились размер PR и время ревью; — стало ли больше возвратов и исправлений; — что происходит с качеством и количеством дефектов; — помогает ли AI делиться знаниями или создаёт код, который понимает только его автор; — как разработчики оценивают нагрузку и удовлетворённость работой.

AI может ускорить отдельную операцию и одновременно замедлить весь поток.

Поэтому измерять нужно не скорость генерации кода, а способность команды быстрее и стабильнее доставлять работающий результат.