На сколько действительно продуктивнее разработка с ИИ?
На днях Стэнфорд выкатил исследование, которое оценивало изменения в продуктивности разработчиков, применявших ИИ в работе. В исследовании приняло порядка 100 тысяч разработчиков и более чем 100 компаний, часть из проектов, над которыми велась работа это суровое легаси, иногда на довольно редких языках, таких как Cobol, Haskell и другие, а часть — это новые продукты на современном стэке. И результаты оказались более неоднозначными, чем часто преподносится в медиа.
Ключевые выводы исследования
-
Самое главное, но многими опускаемое: ИИ хорошо работает как помощник в простых задачах на популярных языках/фреймворках. Причем эффективность выше, если работать приходится с недавним кодом. В этом случае буст продуктивности составляет 15–20%. Простые задачи на менее распространенных языках, дают буст продуктивности не более 5%. Более того, с ростом сложности задачи, продуктивность с применением ИИ может ухудшаться!
-
И второй важный: использование ИИ в разработке приводит к генерации большего количества кода, который требуется переработать. Не отрефакторить, а именно переработать, то есть его изначальная ценность близка к нулю.
Эти данные приводят нас к важному выводу: оценивать рост продуктивности нужно крайне осторожно и точно не стоит сломя голову бежать увольнять разработчиков и заменять их ИИ. По крайней мере в этом году 🙂
А что думаете вы? Совпадает ли это с ва @шим опытом использования ИИ-инструментов?
Оригинал можно посмотреть по ссылке: https://youtu.be/tbDDYKRFjhk