Запустить опенсорсную не квантизированную LLM - дорогого стоит.

Сегодня я убежден что не существует способа обеспечить себе self hosted LLM сопоставимого уровня с топ проприетарными моделями дешевле, чем стоит их API

А в случае с подписочной моделью - ну буквально дотации существуют. Даже если взять компании с оплатой за токены (cursor), то даже они на тариф за 20$ хоть и с наценкой в 20% — покрывают расходов на 40-60$ На 60$ - уже гарантированно 70$, то есть наценка в рамках пакета сниженная, плюс сверху ещё до 90$ покрывают

Ну и за 200$ гарантируют 300$ пакет + бонусом какое то кол-во покроют.

Аналогично с подписками на модели Клода, гемини, гпт. Клод код - грамотно выстроил лимиты, и немного сложновато выжимать тариф на максимум, тк есть два уровня лимитов (сессия/суточный), мб еще и месячный лимит, но на тарифах за 200$ я слышал вайбкодеры ежедневную работу выполняют.

Гпт подписка - я лично на текущей момент вообще не сталкиваюсь с ограничениями какими либо. Кодекс на очереди в опробовать, есть ощущение что там лимиты будут тоже большие, плюс эксклюзивно прокачанная модель Codex 5.1 high max

А гемини - так вообще забудь. Он бесплатный 😂 И практически безлимитный.

Я думаю такой халявы через пару лет уже не будет…