Когда я создавал метрики для понимания нагрузки на железо то случайно забрел на территорию FinOps. И осознал вот что : FinOps в ИИ стоит рассматривать не только как способ снизить стоимость запросов. Его цель гораздо интереснее: получать больше пользы на каждый потраченный рубль. Не отправлять всю историю, если достаточно нескольких релевантных фактов. Не вызывать модель повторно, если подходит готовый ответ из кеша. Не тратить ресурсы мощной модели на задачу, с которой справится простая. Так мы убираем лишние вычисления и освобождаем бюджет для задач, где действительно нужны глубокий анализ, сильная модель и проверка результата. А очищая контекст от ненужного, можем повысить не только экономичность, но и качество ответа. Меньше нагрузка сама по себе не делает ИИ умнее. Но меньше бесполезной нагрузки позволяет направить больше ресурсов на полезный результат. Поэтому я бы измерял успех FinOps не только стоимостью запроса, но и стоимостью правильно решённой задачи. Ведь дешёвый ответ, который приходится трижды переделывать, может оказаться самым дорогим. #FinOps #AI #AIInfrastructure

Когда я создавал метрики для понимания нагрузки на железо то случайно забрел на территорию FinOps. И осознал вот что : FinOps в ИИ стоит рассматривать не только как способ снизить стоимость запросов | Сетка — социальная сеть от hh.ru