У меня коэффициент к общей разработке тоже не работает. Я разделяю оценку на две части: обычная реализация и стабилизация на фиксированном наборе сценариев. Для второй заранее задаю 5–10 критических сценариев, порог прохождения и лимит итераций. Тогда видно, где промах: в коде, постановке или поведении модели.

Ну а если по существу: сейчас я на проекте с большим не очень хорошим легаси. Разобраться в одно лицо - много месяцев разбора связностей. Там только схем С4 порядка 10 пришлось делать, что бы хоть как-то показать связности...

В общем делаю так: - прилетает задача и я её кормлю ИИ - прошу найти места для правок, объяснить правки, проверить регрессии, сделать план реализации - по диагонали пробегаюсь в поисках галлюцинаций, дораьатываю - прошу оценить время доработок - затем переоценить с учётом работы с ИИ

На мой взгляд немного завышает показатели, но по сути близкую оценку даёт. Ошибка не более 20%, что считаю на уровне погрешности

Говорю llm: оцени задачу. И она оценивает😂