Нужны ли большие тестовые?

В последнее время провожу много собеседований и задумался: что же все-таки самое главное в командах, которые занимаются ML/AI? Знать больше алгоритмов и все метрики? Понимать в чем отличие kafka от rabbit или, может, чем scrum отличается от kanban?

Понял, что все-таки нет. Алгоритмы, сколько бы ты их ни учил, без повторения забудутся за полгода. Знание конкретного продуктового фреймворка вообще можно за вечер наверстать.

Самое главное, мне кажется, аккуратность. Неаккуратно соберешь данные — не обучится модель. Не учтешь все детали при постановке задачи — внутри компании поедут все сроки.

Человек, который работает с данными должен быть в хорошем смысле педантичен и дотошен. Но возникает вопрос: а как это проверить на собеседовании? Как понять, что человек через месяц после выхода на работу не выкатит в прод модель, которая предсказывает отрицательную цену, но зато самой современной архитектуры?

Единственное, что приходит в голову — хорошее тестовое. Но тестовое, требующее детальной проработки не может занимать только 2 часа работы. А отношение к большим тестовым в индустрии, прямо скажем, так себе.

Так что же делать? Может вы знаете какие-то приемы и готовы поделиться? Или индустрия не права и большие тестовые — наше все? __ Подписывайтесь: "Как приручить ИИ"