Пару лет тестирую ИИ для анализа рынка и пока не могу добиться удовлетворительного результата "из коробки". У меня высокие требования. Да, инструменты значительно развились, добавляю MCP и оркестрацию, но результат по-прежнему плох. Какие здесь принципиальные проблемы? Кроме меня самого, разумеется.

1. Рынок = данные в Интернете. С точки зрения ИИ рынок – это слепок из общедоступной информации. Вы получаете то, что сжато в LLM. Ценной информации там почти нет. И шансов, что ситуация улучшится, крайне мало. Правообладатели серьезной аналитики в основном закрывают ИИ доступ к ней. Интервью экспертов в СМИ помогают, но они есть лишь для ограниченного числа рынков. Есть масса игроков, которые не имеют сайта, или он у них таков, что по его контенту невозможно понять, что компания производит. Кроме того, если вам нужно найти еще несуществующий товар, ИИ не выдаст ничего. Он сам не догадается, что искомое можно получить из комбинации нескольких существующих игроков. Здесь несколько помогает режим "research", но он пока так себе. Реальный мир гораздо богаче информацией. CustDev rules!

2. ИИ не пойдет и не соберет дополнительных данных. Да, есть системы сбора жалоб пользователей с ИИ, можно также попытаться посканить отзовики, но для первого вам придется внедрять систему (это, разумеется, невозможно на непринадлежащих вам ресурсах), а вторые – откровенно ненадежный источник информации. Не ведитесь на сервисы синтетических клиентов и personas, сколько бы там ссылок на научные статьи не приводили. В статьях написано, что метод адекватен для обработки данных. Да, адекватен. Но с чего вы решили, что в Интернете конкретно по интересующему вас рынку – адекватные данные?

3. ИИ сканирует сайты и воспринимает их контент как норму. Если на сайтах написано, что, допустим, во всех тарифах мобильных операторов есть минуты и смс, значит именно так услуга и должна продаваться. ИИ не допускает "мысли", что маркетинг этих игроков рынка массово ошибается. Но маркетолог-то знает, что это случается сплошь и рядом, и прорыв дает только нарушение стандартного формата. Если вы начнете просить ИИ дать стратегию дифференциации, он предложит абсолютную чепуху. Чтобы действительно нащупать прорыв, нужны другие данные или сложная цепочка агентов, которые сумеют собрать эти данные. (Здесь могу рекомендовать ИИ-сервис Ивана Замесина. Правда, он стратегией называет почему-то сегментацию рынка, но по крайней мере генерирует необычную перспективу на продукт, это помогает в размышлениях).

4. LLM по своей сути поверхностна. Это хорошо пожеванная и отрыгнутая жвачка высокочастотной поисковой выдачи. Даже если в поле обучения попали инсайды, эксклюзивная информация, внутри нее до них не так просто докопаться. Дальше первой страницы выдачи никто не ходит. А по теории длинного хвоста это значит, что в поле анализа попадает всего 50% рынка. То есть, полностью выпадают неоптимизированные для поисковиков сайты, а также новички. Релизы новых моделей LLM не помогают. Во всяком случае, пока не помогают.

5. Российские ИИ по неизвестной мне причине транслируют тенденции зарубежных рынков. Например, очень часто в качестве факторов, влияющих на российский рынок, приводится экологическая повестка. Да еще со ссылками на зарубежные сайты. Когда начинаешь лично изучать сайты игроков рынка, ее не существует.

Так что из коробки ничего не работает. Чтобы определить рынок, сначала смотрю Wordstat. Потом расширяю список определений через поиск, ищу альтернативные названия товара/услуги. Дополнительно проверяю смежные запросы. После этого проверяю выдачу по полученному ядру. Вынимаю с сайтов ИНН/ОГРН, через DaData проверяю, действительно ли существуют такие юрлица и их выручку. Отделяю производителей от вендоров. Сезонность проверяю через Wordstat. И так далее, и тому подобное. Но даже в этом случае нет гарантии, что в течение полугода не обнаружится еще несколько мелких или непубличных игроков, которые стоят за спиной раскрученных брендов.