Разработчики отказываются работать без ИИ. Даже за деньги! 😁 Ну ка не ржать, матросы!
Короче, у METR случилась прекрасная проблема с исследованием продуктивности.
Помните ребят, которые в 2025 году выяснили, что опытные разработчики с ИИ выполняли задачи на 19% дольше? Хотя сами считали, что ускорились.
Так вот, они решили провести новый эксперимент. И столкнулись с тем, что часть разработчиков просто не захотела участвовать.
Потому что пришлось бы половину задач делать без ИИ. Даже за $50 в час. (metr.org)
Дальше ещё прикольнее.
1. Некоторые вообще не приходят в исследование: отказываться от ИИ не хочется. 2. Среди опрошенных участников 30–50% признались, что не отдавали в эксперимент отдельные задачи. Вдруг выпадет условие «без ИИ», а делать руками совсем не хочется. 3. Один участник не завершил ни одной задачи, которую ему назначили выполнять без ИИ.
В итоге METR объявила о пересмотре методики: из исследования выпадают люди и задачи с наиболее высокими ожиданиями пользы от ИИ. Это может занижать измеренный эффект. Правда, оплату участия тоже снизили — со $150 до $50 в час, что могло повлиять на отказы. (metr.org)
Знаете, что самое клевое?
Мы пытаемся ответить на вопрос «насколько ИИ ускоряет разработчика», предлагая ему поработать так, как он уже не хочет работать.
Это как измерять пользу IDE, периодически выдавая человеку блокнот. Эксперимент провести можно. Добровольцев найти сложнее 😁
При этом нежелание отказаться от инструмента ещё не доказывает рост продуктивности. Он может экономить силы, убирать скуку или просто создавать приятное ощущение скорости.
Но для нас, людей, которые делают инженерные платформы, здесь есть ещё один вопрос:
Как измерять эффект инструмента, когда вокруг него уже перестроилась сама работа?
Человек иначе выбирает задачи, иначе распределяет внимание, запускает несколько агентов параллельно.
И сравнение «та же задача с ИИ и без» всё меньше рассказывает о том, как теперь работает команда.
В этом посте были ссылки, но мы их удалили по правилам Сетки
