Совет, если встраиваете AI-модели в продукт

Рассказываю про модели сторонних подрядчиков типа Anthropic и Open AI, а не те, которые вы разработали сами.

Может быть это кэп, но для меня основной инсайт недели такой: интеграция через подрядчика может быть выгоднее в сравнении, с подключением напрямую.

Почему так вышло у меня:

• Дешевле. Не знаю, за счет чего так получается на стороне подрядчика: может из-за объемов, может из-за спекуляций с ценами в разных географиях.

• Подрядчик нормализует данные. До этого мне приходилось делать это на своей стороне. Сейчас гораздо удобнее.

• Один ключ API для всех моделей, даже от разных провайдеров. Плюс стандартная, простая и понятная документация.

Из минусов, о которых стоит помнить:

• Подрядчик может внезапно закрыться, и тогда его срочно придется подменять.

• Остается вопрос пропускной способности и обработки очередей, что может влиять на скорость работы вашего продукта.

В остальном это выглядит хорошим решением. Кстати, мне скоро будет что вам показать!

#PG_размышления