Модели BS Roformer SW и DrumSep Mel Band Roformer на mvsep.com — это имба имбовая. Наверное, лучшие на текущий момент модельки для разбора аудио на стемы/мультитреки. Я с их помощью недавно буквально сделал чудо. Но о нём в другой раз.

В приложении moises.ai есть моделька для разделения соло и ритм гитар. Работает с оговорками, но если предварительно поработать с тем, что отправится к ней на вход, то можно получить неплохой результат. Например, если гитары хотя бы слегка разведены по панораме, то скормив модельке левый и правый каналы по отдельности шанс на чистое разделение сильно возрастает. Тоже сравнительно недавно сделал чудо при помощи этой модельки. Уже несколько месяцев балдею от результата. Но о нём не расскажу — NDA. 🤷‍♂️ Да и вообще тёмные делишки. 😅

Но в связи с этим возникает вопрос: где и как добыть эти или аналогичные модели, чтобы использовать на локалке или в своей инфре? Или самую мякотку в опенсорсе уже не заполучить и надо собирать волю в кулак, готовить датасет и учить собственные модели? Или я плохо искал?

Ведь дело не только в том, что меня душит жаба оплачивать подписки и покупать токены на десятке разных AI-сервисов. Куда сильнее я не хочу пополнять датасеты посторонних дядек, зарабатывающих на этом деньги, своим контентом.

Что скажете, коллеги?