Я собрал собственный GPT сервер, чтобы обробатывать конфиденциальные данные клиентов и не рисковать их куда-то слить. Это прикольно, но точно не то что получится ставить в каждый дом, ближайшие 5 лет. Удивительным оказалось то, насколько дорого его развернуть частному лицу, теперь у меня 2е 4090 и системник высотой в письменный стол, за какие-то 900к рублей. Обилие публично доступных моделей тербует их постоянного тестирования, а небольшие контекстне окна целого ряда технологий чтобы обрабатывать большие объёмы текста.
Картинки и видео мне пока не подвласны, зато я ковбой всех регламентов и процедру, если собрать правильный датасет, то можно очень быстро получать ответы на вопросы “как реализовывать х по ГОСТу” или “соответсвтует ли утверждение A стандарту B”.
Явный минус в том, что это решение несмотря на свою безопастность, пока что явно избытачно. Ни в каких контрактах со мной не прописывают что нельзя использовать Copilot, Gemini или Chat Gpt.
Вопрос к тем кто связан с инфобезом или защитой коммерчиской тайны, закрепление отказа от использование открытх ИИ вашим контрагентом позолило бы оправдать +10% к цене контракта?
· 27.06.2024
Можно арендовать процессоры в облаке. Не менее приватно получится…
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён
· 27.06.2024
По текущим тарифам, каждая 4090 окупается за 7 месяцев аренды. Так что не выгодно
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
ответ удалён
· 27.06.2024
…у 4090 всего 24 гига памяти… а в аренду можно взять а100 с 40 или 80 гигами…
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
ответ удалён
· 27.06.2024
Поэтому у меня их две, чтобы развернуть 70b lamma 3 нужно как раз 39 и на оставшиеся 5 впихивается отображение рабочего стола и маленькие нейронки для повышения качества ответов. 40 слишком мало, 80 уже многовато
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
ответ удалён