✔️Оценка задач в ML-командах: как справляться с неопределенностью?

При разработке продуктов с использованием ML-моделей, у нас появляются дополнительные этапы в сравнении с разработкой продуктов без ML. Например:

🔵Подбор архитектуры модели. 🔵Подбор гиперпараметров модели. 🔵Эксперименты с данными, включающие, например, отбор и генерацию признаков.

И это далеко не все. Оценить необходимое время на реализацию этих этапов трудно, потому что мы не знаем точное количество экспериментов, которое необходимо провести перед тем, как модель покажет достаточное качество.

❓Что делать в таком случае?

Классический подход состоит в следующем:

1. Разбейте каждый из этапов на максимально мелкие задачи. Их проще прогнозировать. 2. Попросите команду оценить каждую задачу. 3. Умножьте вашу оценку на «коэффициент неопределенности». Кто-то умножает на корень из π, кто-то на e/2, можно просто на 1.5.

Проводите регулярные ретроспективы: на них вы с командой сможете оценивать эффективность планирования.

На выходе вы получите не слишком оптимистичную, но и не слишком пессимистичную оценку и у вас будет возможность контролировать уровень «неопределенности».

Подписывайтесь: "Как приручить ИИ"