DeepSeek – кратко о главном
Вышедшая на неделе китайская нейросетка DeepSeek разорвала медийное поле и не только – она обвалила американский фондовый рынок (одна лишь NVIDIA поставила антирекорд, потеряв за сутки 14%) и заняла первое место по скачиваниям. Многие уже успели ее протестировать.
DeepSeek – детище Лян Вэньфэна, главы хэдж-фонда High-Flyer. По сути, все затраты на создание ИИ шли именно с прибыли этого фонда. При этом официальная сумма затрат на создание DeepSeek – $6 млн при команде в 200 человек (официально и без учета возможных денег от властей Китая). Для сравнения, у OpenAI свое время на разработку ChatGPT ушло $6,6 млрд и штаб из 4500 сотрудников. Как им это удалось?
▶️ Использование чужих наработок – в своей основе китайский DeepSeek базируется на архитектуре LLM Llama от американской Meta. Это дало сэкономить на начальном этапе разработки и позволило «не выдумывать велосипед».
▶️ Энергоэффективность – из-за американских санкций на поставку в Китай чипов для ИИ, DeepSeek пришлось обходиться малыми мощностями – «всего» 2048 единиц Nvidia H800. Для сравнения, Llama и ChatGPT работают на сотнях тысячах чипов.
▶️ Упрощение – из-за дефицита мощностей, команда DeepSeek старалась максимально переосмыслить процесс и упростить его для системы настолько, насколько это возможно. Например, вице-президент по развитию продукта Dropbox Морган Браун обратил внимание, что DeepSeek использует в записи числа 8 цифр после запятой вместо 32 у традиционных LLM. Этот простой шаг позволил сэкономить 75% памяти. В ту же категорию можно занести использование Multi-head Latent Attention (MLA), который сокращает стоимость обучения на 90% за счет игнорирования 95% данных и обучение с подкреплением.
В результате, «слепленная на коленке» китайцами нейросетка показывает на бенчмарках (что сомнительно) результаты близкие к продукту от OpenAI. А, как говорится, если нет разницы, то зачем платить больше? На самом деле, разница есть – пока что DeepSeek это красивая «обертка» для простых юзеров. Выдающихся результатов по работе с ней через API или в ассистентах нет. Как бы то ни было, хайп по DeepSeek в любом случае пройдет, но потерянные триллионы на американском фондовом рынке никто не вернет.
