Без долгих прелюдий, пожалуй, буквально по горячим следам.

Я прочитал пост на нелюбимом мной vc и согласен с основным посылом Оксаны: красивый отчет с таблицами, цифрами и ссылками еще не означает, что проведено исследование. И требование "ничего не выдумывай" само по себе не обеспечивает достоверность результата. Но описание возможностей ИИ, которое я увидел, вызывает у меня серьезные возражения.

Главная проблема, на мой взгляд, в том, что ограничения конкретного способа взаимодействия с нейросетью распространяются на ИИ-системы в целом. Например, утверждается, что нейросеть физически не может найти актуальные данные, получить финансовую отчетность компаний, предоставить ссылки или выполнить расчеты. А почему не может?

Изолированная языковая модель действительно не умеет самостоятельно обращаться к внешним источникам. Но современная ИИ-система не обязательно ограничивается такой моделью. При наличии поиска, браузера, инструментов работы с файлами и вычислений она может находить документы, извлекать и сопоставлять данные, рассчитывать показатели и готовить аналитические материалы. Это не какие-то гипотетические возможности, подобные задачи уже выполняются на практике.

Разумеется, возможность выполнить операцию не гарантирует правильности результата, я хочу подчеркнуть это особо. Источник может оказаться ненадежным, данные могут быть извлечены с ошибкой, а расчетная модель может быть неверной. Но качество выполнения работы и принципиальная возможность ее выполнения - это совершенно разные вопросы.

Не менее спорным мне видится подход к оценке исходного промпта. Оксана справедливо отмечает отсутствие в нем методологии, критериев отбора источников и правил расчета. Почему предполагается, что пользователь обязан заранее все это определить? Разработка методологии сама может быть отдельной задачей для ИИ: предложить подходы, определить требования к данным, выявить ограничения, подготовить план исследования. Человек затем может проверить и скорректировать этот план. Собственно, так нередко строится и обычная аналитическая работа: исследование начинается именно потому, что у нас еще нет всех ответов, источников и методов.

То же касается диапазонов оценок. Просьба построить диапазон вовсе не обязывает систему выдумывать формулу и числа. Можно определить переменные, изучить доступные данные, выбрать обоснованные косвенные показатели, зафиксировать допущения. А если данных недостаточно, прямо указать, что обоснованная оценка невозможна. Это тоже содержательный результат.

Здесь возникает, скорее, другой важный вопрос: насколько качественно конкретная система справляется с такими задачами и как проверять ее работу? Но именно его материал на vc фактически обходит. В нем нет описания эксперимента: какая модель использовалась, какие инструменты были доступны, что получилось на выходе и какие ошибки обнаружены. Вместо наблюдаемого результата разбирается предполагаемое поведение некоторой обобщенной "нейросети". Поэтому столь категоричные выводы о технических ограничениях выглядят для меня недостаточно обоснованными.

Кстати, я не вижу противоречия между предварительным исследованием рынка и практической проверкой спроса. Здесь, конечно, меня могут поправить коллеги, которые с этим работают на постоянной основе, потому что это далеко не мой профиль. Но я вижу это так: первое помогает сформулировать и приоритизировать гипотезы, второе помогает проверить их. Более того, снижение стоимости исследовательской работы с помощью ИИ может сделать ее целесообразной даже там, где раньше она была экономически недоступна.

В итоге критика бездумного копирования универсальных промптов мне понятна и "особенно отзывается", выражаясь языком поп-жвачки (простите, не удержался). Но из того, что один промпт не гарантирует качественного исследования (а кто-то вообще изначально в такое верит?), не следует, что ИИ-системы неспособны участвовать в его проведении. Способны. Если бы Сэм Альтман платил мне за рекламу, я бы поделился конкретными способами. Но не платит, увы.