Что делать, если модель упрётся в лимит

Прочитал, как Дарио Амодеи объясняет закупку мощностей в Anthropic. Заранее компания покупает их относительно немного. Если спрос оказывается выше, у неё есть деньги, чтобы докупить мощности на спотовом рынке.

Для масштаба: глава AWS Мэтт Гарман недавно сказал, что они ставят в дата-центры по одному GPU каждые 14 секунд.

Для компании такой подход понятен: зачем заранее платить за то, что может простаивать. Для тех, кто работает на её моделях, я читаю это так: запас у них есть, но он в деньгах на докупку. В пиковый день эти деньги ещё надо успеть превратить в GPU.

Я смотрю на это со своей стороны. У меня через агентов идёт много работы, и вопрос «а если модель сегодня тормозит или упёрлась в лимит» становится вполне практическим.

Если вся работа завязана на одну модель, я бы заранее подготовил три вещи.

Вторая модель для той же задачи. Её лучше проверить на паре реальных задач в спокойный день. Выбирать замену в спешке, когда первая встала, неприятно.

Запас по срокам. Если результат нужен к пятнице, я бы не оставлял задачу на вечер четверга в расчёте, что агент успеет.

Цена задачи целиком на обеих моделях. Про это я недавно писал отдельно, поэтому коротко: на другой модели та же задача может стоить заметно иначе, и лучше знать это до переключения.

Ничего сложного тут нет. Скорее привычка относиться к модели как к сервису, у которого бывают плохие дни.

А у вас есть запасная модель на случай лимитов? Приходилось уже переключаться посреди задачи?

Что делать, если модель упрётся в лимит | Сетка — социальная сеть от hh.ru