Коллеги собрали полноценную лабораторию ИИ за 200 тысяч рублей на двух Tesla V100. Провели бенчмарки 128 моделей — от текста до генерации видео. Разбираю, когда это имеет смысл для продакшна. Tesla V100 — серверная карта 2017 года, которую массово списывают дата-центры. На вторичке стоит 80-100к за штуку. Для экспериментов с LLM и компьютерным зрением — адекватная точка входа, если не гнаться за последними Llama 3.3 на 405B параметров. Главное ограничение — 16-32 ГБ памяти на карту. Это значит, что большие модели придётся квантовать (4-8 бит) или резать на несколько GPU. Для inference лёгких моделей до 13B параметров — вполне рабочий вариант. Для fine-tuning своих задач — тоже заходит, если не требуется весь датасет в памяти. Когда локальный сервер выгоднее облака: • Постоянная нагрузка — окупаемость за 3-6 месяцев vs аренда GPU-инстансов • Данные нельзя выносить за периметр (финтех, здравоохранение, гостайна) • Эксперименты с десятками моделей — в облаке набегает на сотни тысяч Где V100 сливает: обучение фундаментальных моделей (нужны A100/H100), real-time inference для высоконагруженных сервисов (latency выше, чем у свежего железа), энергоэффективность (TDP 250-300W против 70-150W у современных карт для inference). Для стартапа или R&D-отдела, который пилотирует ИИ-фичи — вариант рабочий. Для production-нагрузки — считайте TCO с учётом электричества, охлаждения и администрирования. Часто выгоднее взять управляемый сервис и не держать железо. У кого в команде уже крутится своё железо для ИИ? Какие модели гоняете и на чём считаете окупаемость?