Почему большинство AI-стартапов — карточный домик

Одно из интересных наблюдений в процессе ИИ-хайпа/истерии — почему-то мало кто говорит о деньгах. А зря, ведь это очень занятная тема. Сейчас денег на рынке много, потому что инвесторы не глядя заливают баблом всё с лычкой «AI» (да и многие компании тоже прожигают бабло на свой ИИ, не считаясь с расходами).

Но бизнес так не работает. В один прекрасный момент руководители начнут спрашивать: «Где деньги, Лебовски?» И тогда полетят головы.

⭐️ Токены не бесплатные

LLM-ки стоят дорого. Даже использование готовой модели требует значительных вычислительных ресурсов и электричества. Поэтому вести себя так, будто токены безлимитны, — довольно опасно и глупо.

Да, сейчас лимиты большие (а где-то их и вовсе нет). Но что будет, когда компании резко начнут считать деньги? Токены не просто не бесплатные — они довольно дорогие (местами настолько, что посадить человека дешевле, чем автоматизировать эту работу). И они будут только дорожать по мере удорожания всего вокруг.

Конечно, может быть, произойдет резкий качественный скачок в фундаментальной физике и нам наконец-то станут доступны квантовые вычисления, что даст резкий толчок к развитию всего ресурсоемкого направления AI. Но пока что — увы и ах.

⭐️ Юнит-экономика токена

На рынке становится всё больше AI-driven продуктов (я и сам работаю над одним из таких). И если продукт не обладает безлимитным инвесторским баблом, то его создателям приходится задумываться о том, сколько стоит один токен и как сделать так, чтобы с этого токена зарабатывать.

Задача эта крайне нетривиальная. LLM на примерно одинаковый запрос может израсходовать разное количество токенов. В рамках одного запроса прогнозировать еще хоть как-то получается. Но что, если таких запросов может быть любое случайное количество? Так случается, например, в исследовательских задачах.

Сложно? Безусловно. Но если решением этой задачи не заниматься — весь продукт может в один прекрасный момент схлопнуться как карточный домик.

⭐️ А что делать-то?

Считать косты в работе с LLM сложно, но не считать их — это просто безрассудство. Я думаю, что впереди нас ждет довольно интересный цикл лопнувших стартапов, которые просто не справились с задачей выстраивания устойчивой бизнес-модели и погорели на «безлимитных токенах».

Максимум, что мы можем, — это помнить о том, что токены не бесплатные. Многие задачи всё еще дешевле решаются наймом пары десятков филиппинцев, чем новым модным AI. Поэтому если вы вдруг не считаете косты на LLM в своем AI-driven продукте — самое время этим заняться.

// А еще более интересной темой является оптимизация потребления токенов. Но об этом в другой раз 😉