Обещал рассказать диковинку — рассказываю…

Если с политической подоплёкой MAX всё ясно как божий день, то с технологиями не всё так однозначно. Сегодня разберём его главный козырь — технологию NoLACE, которая обещает компенсировать всё, что портят российские операторы и железобетонные стены хрущёвок.

Что такое NoLACE

Как заявляет VK, NoLACE (Nonlinear Adaptive Coding Enhancer) — это технология улучшения голосовой связи, сочетающая методы машинного обучения и цифровой обработки сигналов (DSP).

Подход на самом деле давно созревший, даже перезревший, но потенциал его до сих пор не реализован в полной мере. При том что разработчики мессенджеров, соцсетей и систем конференц-связи корпят над тем, как бы так ещё улучшить алгоритмы сжатия, чтобы передавать как можно меньше трафика, вместо протокола UDP, допускающего потерю пакетов, использовать протокол TCP (привет, Telegram), и придумать ещё что-нибудь с пропускной способностью, чтобы передавать сигнал чётко и без задержек.

Итак, как же обрабатывает сигнал NoLACE:

1.  Кодировщик признаков: Анализирует звук в реальном времени, выделяя спектр, высоту тона и другие параметры. Всё это превращается в компактный вектор признаков, который помогает алгоритму понять, что вообще говорит пользователь. 2.  Модуль обработки сигналов: Включает адаптивные фильтры и модуль AdaShape, который корректирует сигнал с точностью до отдельного сэмпла (звукового «кадрика»). AdaShape работает с временной огибающей сигнала, переводя значения в логарифмическую шкалу, а потом двухслойная свёрточная нейросеть решает, как усилить каждый звук. 3.  Восстановление пропусков: Если связь рвётся на секунду (а в метро или ТЦ это частое явление), нейросеть дорисовывает пропущенные фрагменты речи. Обучали её на 165 часах чистой речи на 34 языках, так что акценты и интонации она различает.

Всё это работает в реальном времени, обрабатывая аудио фреймами по 20 мс, и требует всего 620 MFLOPS вычислительной мощности. Так что даже древний смартфон должен справиться.

Свёрточные нейросети vs трансформеры: в чём разница?

Пока трансформеры (как GPT-4) громят все хит-парады IT-индустрии, сверхточные нейросети (как в NoLACE) решают узкие задачи с минимальными ресурсами.

-   Свёрточные нейронные сети (CNN, Convolutional Neural Networks) — это класс алгоритмов глубокого обучения, специально разработанных для обработки данных с пространственной структурой, таких как изображения. В отличие от традиционных нейронных сетей, CNN используют присущие данным пространственные взаимосвязи.

Основная идея CNN — использование свёртки — операции, при которой небольшой фильтр «скользит» по входному изображению, вычисляя скалярное произведение между своими весами и соответствующими участками изображения. Фильтры (ядра свёртки) — небольшие матрицы (например, 3×3 или 5×5), которые извлекают локальные признаки (например, границы, текстуры). Карты признаков — результат применения фильтра к изображению или аудиодорожке.

Эти свойства делают свёрточные нейросети невероятно быстрыми. Благодаря CNN, к примеру, работает распознавание лиц в вашем смартфоне. Съёмка идёт со скоростью 60 или даже 120 кадров в секунду, а распознавание лиц продолжает работать.

NoLACE — это прецедент, и, как ни странно, он от компании, от которой не ждёшь никаких свершений. Без преувеличений, действительно хорошее решение для плохой связи. Она работает, и тесты это подтверждают. Но вот вопрос: а нужно ли это вам? В нынешнее время, когда над головами летает всякая дрянь, которую частенько надо глушить, я бы сказал — да.

А вот с мессенджером MAX всё сложнее. Его пытаются навязать сверху, но пока он проигрывает Telegram и WhatsApp по функционалу и удобству. Да, звонки стали лучше, но остальное... Остальное пока на уровне эксперимента.

Так что пока Родина заставляет нас говорить через MAX, мы можем хотя бы делать это чётко. Остальное, как водится, приложится. Или нет…

Есть тут ещё один момент: это вопрос, почему для работы нейросетей VK решили использовать DSP, а не NPU. И тут кроется большая ложь чипмекеров вроде Qualcomm и MediaTek. Но о ней в другой раз.