С 20 до 600 RPS: Как мы ускорили ML модель в 30 раз?

Моей недавней задачей было развертывание ML-модели для детекции промпт-инъекций и небезопасного контента.

Каждый пользовательский запрос должен проверяться на наличие промпт-инъкции перед тем как он у

читать далее
С 20 до 600 RPS:  Как мы ускорили ML модель в 30 раз? | Сетка — социальная сеть от hh.ru