"AI поможет нам быстрее поставлять бизнес-ценность?"

Обычный вопрос от CTO. И вы обязательно его получите на этапе согласования сервера с GPU. Но он долго ставил меня в тупик. Заставлял нервничать.

Почему?

Потому что самое страшное для Tech Lead'а — потерять доверие. А оно было бы потеряно, начни я рассказывать про запросы в месяц и точность ответов. Все эти цифры не отвечают на главный вопрос: повлияло ли внедрение AI на поставку бизнес-ценности? Вообще.

Наш ассистент должен был искать информацию по документации. Он не делал PR, не писал тесты, не запускал CI/CD. Поэтому все стандартные метрики — adoption rate, PR review time, story points — были бы бесполезны. Пришлось придумать свою метрику. Ту, которую нельзя накрутить, просто заставляя людей кликать. Которая бы доказала, что AI помогает инженерам.

Сейчас же мы уже выходим на новый уровень внедрения AI — благодаря тому железу, целесообразность которого удалось подтвердить.

🔥 По итогу, главный вывод который я сделал для себя - измеряй не использование AI, а системный эффект от него. Ищи прокси, который нельзя накрутить.