Ученые из Google разработали Health Acoustic Representations (HeAR) - систему на основе машинного обучения, способную диагностировать заболевание человека по звуку кашля: https://www.nature.com/articles/d41586-024-00869-0

Вообще, такие штуки выкатывают уже довольно давно. Например, американские ученые делали попытку диагностировать ковид и другие заболевания по кашлю еще во время пандемии: https://www.embs.org/ojemb/articles/covid-19-artificial-intelligence-diagnosis-using-only-cough-recordings/

А до пандемии распознавать по кашлю пробовали и нереспираторные заболевания - например, Альцгеймер (тут логика в том, что он вызывает деградацию голосовых связок, и алгоритм может это услышать).

Однако, все подобные системы сталкивались с проблемой - модели обучали на подтвержденных медицинских данных. С одной стороны, это хорошо. Алгоритм слышит кашель и сразу сопоставляет его с подтвержденным медицинским диагнозом. Но с другой, этих данных банально мало. Их тупо не хватает, чтобы ML-моделька могла сносно обучиться. Поэтому, хотя определенные подвижки и были, точности результатам явно не хватало.

Но сейчас Google пошли другим путем и разделили обучение на два этапа:

1. Сначала модель обучили на 300+ млн коротких сэмплов кашля из открытых источников - например, просто из видео с Ютуба. При этом каждый сэмпл предварительно размечался по специальной спектограмме, после чего некоторые её сегменты блокировались, чтобы ИИ учился самостоятельно предугадывать недостающие части. Примерно по той же логике обучали ChatGPT. В итоге, получилась "базовая модель" (foundation model), которая уже умела распознавать самые разные типы, оттенки и паттерны кашля, а также могла воссоздавать некоторые недостающие элементы.

2. После этого, на втором этапе, уже обученной "базовой модели" скормили относительно небольшую выборку медицинских данных с подтвержденными диагнозами. Fine-tuned, как говорится.

Результаты протестировали на разных болезнях. По шкале от 0,5 (= рандомное предсказание "пальцем в небо") до 1 (= абсолютно точное предсказание каждый раз), модель показала 0,710 для ковида, а также 0,739 для туберкулеза. Это очень неплохой результат, гораздо точнее, чем у предыдущих попыток. Также модель смогла сносно определять состояние легких и понимать, как интенсивно и много человек курит.

Разработчики отмечают, что про коммерческое использование пока рано говорить, но прогресс очень серьезный. Вообще, кашель - это очень многогранный индикатор и источник многих критических данных о нашем организме. Предположу, что его роль в медицинской диагностике будет только возрастать.