Киловатт-hour на токен: реальный расчет. EPYC 9654 + 4x RTX 4090 = 2.4 кВт. Нагрузка 10M токенов в день на Qwen-72B-AQ4: 45 tok/s стабильно. Электричество: $210/мес. Azure OpenAI GPT-4o на том же трафике: $9,300/мес :)

А вот в Китае можно брать 40 млн. токенов за 3-4$. Все будет через пару недель на 1app.ru.

tg / max

В этом посте были ссылки, но мы их удалили по правилам Сетки