Что делать, если модель упрётся в лимит
Прочитал, как Дарио Амодеи объясняет закупку мощностей в Anthropic. Заранее компания покупает их относительно немного. Если спрос оказывается выше, у неё есть деньги, чтобы докупить мощности на спотовом рынке.
Для масштаба: глава AWS Мэтт Гарман недавно сказал, что они ставят в дата-центры по одному GPU каждые 14 секунд.
Для компании такой подход понятен: зачем заранее платить за то, что может простаивать. Для тех, кто работает на её моделях, я читаю это так: запас у них есть, но он в деньгах на докупку. В пиковый день эти деньги ещё надо успеть превратить в GPU.
Я смотрю на это со своей стороны. У меня через агентов идёт много работы, и вопрос «а если модель сегодня тормозит или упёрлась в лимит» становится вполне практическим.
Если вся работа завязана на одну модель, я бы заранее подготовил три вещи.
Вторая модель для той же задачи. Её лучше проверить на паре реальных задач в спокойный день. Выбирать замену в спешке, когда первая встала, неприятно.
Запас по срокам. Если результат нужен к пятнице, я бы не оставлял задачу на вечер четверга в расчёте, что агент успеет.
Цена задачи целиком на обеих моделях. Про это я недавно писал отдельно, поэтому коротко: на другой модели та же задача может стоить заметно иначе, и лучше знать это до переключения.
Ничего сложного тут нет. Скорее привычка относиться к модели как к сервису, у которого бывают плохие дни.
А у вас есть запасная модель на случай лимитов? Приходилось уже переключаться посреди задачи?
· 1 ч
Бонусы в профиле
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён