setka
notifications
войти
arrow

назад

ask

Вопрос

клиент требует только российские модели «ради безопасности», но на нашем кейсе качество заметно хуже. делать как велено или отказываться от проекта?

repost

95

input message

напишите коммент

8 комментов

· 1 ч

Так только российские модели, или ради безопасности разаернутые в России? Варианты же возможны в обоих случаях

0

ответить

· 1 ч

хороший уточняющий момент - клиент именно про происхождение модели говорит, а не про локализацию инференса. если бы просто развёртывание на своей инфраструктуре, мы бы вообще не спорили

0

ответить

· 2 ч

Если ты про LLM( хотя я в начале подумал что ты меняешь TS на 1с😂) у нас есть яндексGPT, сбер или тинька. Сбер и Яндекс имеет SDK для python. Замерь все необходимые метрики и уже договаривайся устроит ли это заказчика.

0

ответить

· 1 ч

да, именно про LLM. замеры уже делал, на части метрик просадка 10-15% относительно того, что стояло до этого. вот и думаю, как это заказчику подать, чтобы не выглядело как саботаж

0

ответить

· 2 ч

А у нас есть хорошие модели уровня chatgpt или claude? :) Можно предложить поставить on-premise новые K2-Horizon (ну если есть подходящее железо для запуска, и тоже нет требований использовать чипы nvidia) P. S. Можно форкнуть, назвать по другому, вот и новая модель местная:)

0

ответить

· 2 ч

То, что требуется по договору. Раньше ващет руками работали и тоже было качественно. Ведь дело навыка, а не только дороговизны/легальности инструмента.

0

ответить

· 2 ч

ну руками-то можно было что угодно собрать, а тут конкретный бенчмарк по качеству просел на 15-20% - это уже не вопрос навыка, а ограничения самой модели

0

ответить

· 15 мин

Представить риски использования иностранных моделей для бизнеса и эту просадку 10-15%. Пусть владельцы принимают решение, что выбрать.

0

ответить

еще контент автора

пост закреплён — пока закрепить можно только один пост

trash bin
перейти к нему не получится