Сегодня пункт второй плана: выступить для экспертов.
Есть большая разница между выступлениями, предположим, для студентов вузов в роли преподавателя и выступлениями в экспертной среде. Чем уже тема - тем выше уровень подготовки слушателей, больше вовлеченность, выше риски получить вопрос, на который не готов ответ.
Поэтому только кажется, что легко выступать «для своих». На самом деле для таких коммуникаций нужно быть максимально широко погруженным в тематику выступления и уметь быстро генерировать ответы на возникающие вопросы.
«А что будет если…?»
В машинном обучении ответ на этот вопрос называется инференсом модели. Получаем новые данные, применяем на них свой багаж знаний (обученную голову), выдаем ответ с некоторым процентом вероятности, что он верный. Чем лучше обучена голова - тем выше качество и уверенность в результатах инференса.
Существует четыре основных типа инференса:
1. Batch inference - применяем модель на крупных «кусках» данных. Это как есть большой ложкой: нужно время проживать и проглотить. Но зато это эффективно - оптимизируются ресурсы, обрабатываем большие порции за раз; это масштабируется - очень удобно для big data; минимизируются затраты - не нужно постоянно держать активными вычислительные ресурсы. В работе батч инференс - это, например, аналитика: загребаем данные, думаем, крутим, делаем выводы.
2. Asynchronous Inference - это когда на инференс приходят независимые запросы и не требуют мгновенного ответа. Пока система в ожидании инференса, она может заниматься чем-то еще. Этот подход снижает нагрузку на вычислительные ресурсы и помогает лучше управлять потоком. В жизни это как решать рабочие вопросы через почту: написал письмо и занимаешься другими делами, пока ждешь ответ.
3. Serverless Inference - инференс без постоянно включенного сервера, обращаемся к серверу только когда возникает необходимость (запрос на инференс). Так удобнее: не нужно поддерживать постоянную работу сервера; так эластичнее - можно масштабировать ресурсы под конкретный запрос; так проще - можно развернуться в облаке. В жизни самый лучший сервер - твой наставник. Пока он тебе не нужен, ты его не грузишь, но как только ты застрял в рабочей задаче, то сразу можешь обратиться к нему, заняв столько его ресурсов, сколько тебе необходимо.
4. Real-Time Inference - реагируем немедленно, важно минимизировать задержку на ответ. Это улучшает пользовательский опыт, повышает требования к эффективности системы и обеспечению ее точности и надежности в динамичных условиях.
Секция вопрос-ответ в публичных выступлениях - это real-time inference с капелькой хитрости и парой заготовленных парковок для неудобных вопросов.
Возвращаясь к моему выступлению, даже предварительно обученная, моя голова не была готова к некоторым данным, приходящим на инференс. Но это был крутейший опыт среди «своих». Большой Data Science митап позволил не только поделиться своей экспертизой и почерпнуть знания профессионалов в моей области, но и привлек Бизнес. Заказчик - основная опора и одновременно палач ML-проектов. Объединяясь и договариваясь, мы можем выходить на новый уровень разработки продуктов: меньше бюрократии, больше свободы, поддержка инициатив. Это достигается и публичными выступлениями в том числе. Показывая свою заинтересованность в продукте, мы демонстрируем надежность и вовлеченность. В сумме - польза как для команды, так и для Бизнеса.
Отсюда инсайт: спикер - это api ML-решения команды, через него можно послать запрос на инференс и получить ответ в real-time. Ну конечно в рамках окна запуска сервера - времени, отведенного на выступление.
