Мой продукт работал на нейросети, которая провалила тест
Вчера я это обнаружил — и заодно выяснил, что самая хвалёная модель не прошла тест вообще.
Я по вечерам делаю “Напомни-ку” — сервис, который превращает голосовые заметки в задачи и напоминания. Каждый “умный” запрос пользователя — это вызов нейросети, а значит, деньги и время. Вчера прогнал 14 моделей через 9 реальных задач приложения. Вот что удивило:
— самая дешёвая модель (0,004 ₽ за запрос) справилась со всеми 9 задачами; — самая дорогая и хвалёная (0,60 ₽ за запрос) не справилась ни с одной: отвечает “красивым текстом”, а не тем форматом, который ждёт приложение. В 140 раз дороже победителя — и бесполезна; — моя боевая модель, на которой продукт работал до вчера, провалила два сценария из девяти: семейные задачи и расписание лекарств; — “умные” модели с режимом “размышлений” потратили весь лимит и вернули пустоту — даже на задаче “купить молоко”.
Кстати, с задачей “купить корм для Кукуши” справились 11 моделей из 14 — так мы зовём нашу собаку Лакки (Лакуша-Кукуша, семейный бред, не спрашивайте). Остальные три, видимо, ушли думать и не вернулись.
Вывод, полезный всем, кто пользуется ИИ в работе: громкое имя и цена не гарантируют качество. Проверяйте инструмент на своих задачах — иногда самый дешёвый оказывается лучшим.
Полный разбор всех 14 моделей — в статье на vc.ru: https://vc.ru/ai/3084520-sravnenie-nevrosotey-dlya-prilozheniy
А вы как выбираете нейросети для работы — по хайпу или тестируете на своих задачах? И, бонус для любопытных: готов рассказать, почему “напоминалочка” стоит пользователю 50 копеек и почему даже при 10 000 пользователях мне это убыточно :)
