У нас недавно появился новый проект, в котором я работал над системой, которая анализирует звонки операторов на признаки мошенничества с помощью нейросетей.

Его первая версия отправляла данные на распознавание и проверку с помощью сторонних апи, однако я предложил альтернативное решение. У нас есть кластер из маков, которые постоянно перезагружаются из-за другого проекта. Вместо стороннего API я предложил использовать локальные whisper-модели и ллм - таким образом мы перестали отправлять данные в сторонние компании, и сократили расходы(было примерно 40 долларов в день)

Я реализовал собственный gateway с балансировкой, откатами и безопасной обработкой нестабильных нод, рассчитанный под наш кластер. Сейчас сервис стабильно работает в проде уже месяц — без сбоев