У нас в Т1 тоже решили внедрить метрики использования ИИ. Но не придумали ничего лучше, чем измерять, сколько нейрослопа добралось до репозитория в неизменном виде. Да, там в промежутке есть некая токенизация, призванная проигнорировать лёгкое переформатирование кода, но довольно наивная

Разумеется, метрику тут же привязали к деньгам и начали ездить по ушам всем, кто её не выполняет Результат предсказуемый - все с неохотой поплелись исследовать, как абузить индексатор и красить заборы в зелёный цвет. Через некоторое время даже появились передовики с 20-30% сгенерированного кода. Молодцы? Да, если считать достижением раздутые jsdoc и генерацию тестовых данных нейросеткой

Я, как и многие, за честное использование ИИ и работу через агентский харнесс. Попробовал писать подробные планы выполнения задач - "сделай то, затем то". Для нескольких задач 100% кода сгенерировал нейронкой. Результат? 3%

Почему так? Причин несколько: Любой рефакторинг сгенерированного кода бьёт по метрике. Переставил две строки местами без потери смысла? Скорее всего, не зачтутся обе, и ещё немного вокруг В реальной жизни на фронте у нас eslint+prettier - они перетряхивают код довольно жёстко. Форматируют, оптимизируют импорты, сортируют зависимости и ключи Да и нейросетка у нас не сказать, чтобы особенно смышлёная - может накидать идеи, но доводить код нужно либо руками, либо нудно поясняя, что же нужно поменять И самое мерзкое - всё, что идёт на вход нейросетки, исключается из зачёта. Отправил ранее сгенерированный код на доработку? Больше он не считается таковым

Итого: метрика в текущем её виде поощряет принять и закоммитить первый сгенерированный вариант почти без изменений и штрафует цикл «сгенерировал → проверил → поправил → прогнал инструменты → снова отдал модели»

З.Ы Нужно отдельно отметить - я не против метрик как таковых. Но придумывать их - непростая задача. Нужно сильно постараться, чтобы сконструировать такую, что отражает реальную цель бизнеса. И даже после этого сначала неплохо было бы достичь некоторой зрелости по метрике - обкатать, проверить на абуз и уж потом привязывать к деньгам. Да, Гудхарт своё возьмёт, но хорошая метрика - такая, что "накрутка" и есть реализация цели