Есть довольно распространенное, но серьезно устаревшее представление, при котором эксплуатация инфраструктуры для машинного обучения воспринимается как узкоспециализированная, полностью отдельная от классической инженерной практики область, заслуживающая внимания исключительно специалистов, глубоко погруженных именно в науку о данных. Реальная практика убедительно демонстрирует, что подобное представление давно перестало соответствовать действительности, и содержательное понимание специфики эксплуатации подобной инфраструктуры сегодня представляет собой значимую компетенцию любого руководителя, чья компания хотя бы в определенной мере полагается на модели машинного обучения в своих production системах. Специфика жизненного цикла модели машинного обучения, принципиально отличающаяся от жизненного цикла классического программного обеспечения, представляет собой первую значимую область, заслуживающую содержательного понимания. Модель, в отличие от классического кода, способна постепенно деградировать в своей реальной, практической эффективности по мере естественного изменения характера данных, на которых она применяется в production, даже без какого-либо изменения ее собственного, неизменного внутреннего кода, что требует принципиально иного, значительно более содержательного подхода к мониторингу и своевременному переобучению подобных моделей, чем классические практики мониторинга обычного программного обеспечения. Специфика планирования вычислительных ресурсов для обучения и инференса подобных моделей, о содержательном разборе которой я подробно писал в отдельной статье, представляет собой вторую значимую область, требующую понимания принципиально иной экономики и принципиально иных архитектурных компромиссов, чем классическое планирование ресурсов для обычных, не связанных с машинным обучением рабочих нагрузок компании. Специфика версионирования не только кода, но и самих данных, используемых для обучения конкретной версии модели, представляет собой третью значимую область, критически важную для содержательной воспроизводимости и содержательного расследования проблем, обнаруженных в поведении конкретной, уже развернутой в production модели. Компания, не располагающая содержательной практикой подобного версионирования данных наравне с версионированием кода, регулярно оказывается неспособна достоверно восстановить, на основе каких именно данных обучалась конкретная, вызывающая вопросы версия модели, что серьезно затрудняет содержательное расследование ее неожиданного, проблемного поведения. Специфика мониторинга и обеспечения качества подобных моделей в production, значительно отличающаяся от классического мониторинга обычных программных сервисов, представляет собой четвертую значимую область, требующую содержательного понимания специфических метрик качества, применимых именно к моделям машинного обучения, а не только классических метрик задержки и доступности, применимых к любому обычному программному сервису. Практическая ценность содержательного понимания этой специфики для руководителя, чья компания хотя бы в определенной мере полагается на подобные модели в своих production системах, состоит в способности содержательно оценивать архитектурные решения, касающиеся эксплуатации этой инфраструктуры, и способности содержательно приоритизировать инвестиции в построение продуманной, зрелой практики эксплуатации подобных моделей, вместо полного, некритичного делегирования этих вопросов узкоспециализированным специалистам по данным без реального, содержательного понимания стоящих за их решениями компромиссов.