Кто больше сжёг токенов

Рынок сейчас проходит лестницу из трёх ступеней. Учится не путать использование ИИ с продуктивностью, а продуктивность разработки с результатом для бизнеса.

1️⃣ Первая ступень. Amazon захотел, чтобы ИИ каждую неделю использовали больше 80% разработчиков, и завёл внутренний рейтинг по расходу токенов. Сотрудники быстро научились поднимать цифры ненужными задачами. Через месяц рейтинг свернули. Как это выглядело изнутри 2️⃣ Вторая. DORA объясняет, почему так вышло. «Количество токенов само по себе измеряет только вход». Видно, сколько ИИ использовали, но не стало ли от этого больше пользы. Отсюда переход на деплои, закрытые задачи, скорость поставки. Разбор DORA 3️⃣ Третья. Сергей Паращенко, управляющий партнёр Product Vision, идёт дальше и считает на цифрах. Компания проверяла 100 гипотез в квартал, 20 срабатывали. С агентами стала проверять 300, но Discovery и качество данных втрое не выросли, поэтому удачных стало 30 вместо 20. Производство выросло втрое, результат на 50%.

Медленная разработка раньше работала фильтром идей, а когда она подешевела, фильтр исчез. «Мы утроили производительность. Почему бизнес-результат не утроился?»

Статья свежая, мысли тоже. ➡️ AI-Disrupt PDLC на Хабре

Как думаете, а что вообще стоило бы мерить?

#ИИ #AI #Нейросети ——— #Метрики ✍️ Подписывайтесь: @aiforproduct