Выложил сайт Yttri Forge.
Наконец собрал в одном месте всё, что раньше было разбросано по репозиториям, заметкам и результатам тестов.
На сайте постарался подробно рассказать, что такое Forge, зачем я вообще начал писать собственный inference-стек и что он даёт на практике. Без абстрактных «в X раз быстрее» — с описанием архитектуры, оптимизаций, тестов и реальных цифр.
Отдельно описал работу с длинным контекстом, KV-cache, CUDA Graphs, FlashAttention, MTP/speculative decoding и другие вещи, которыми пришлось заниматься, чтобы выжать из обычного железа немного больше, чем оно само собиралось отдавать. 🙂
Сайт: https://forge.yttri.online/
Проект открыт, исходники здесь:
Yttri Forge https://github.com/askidmobile/yttri-forge Inference server https://github.com/askidmobile/qwen36-server
Буду постепенно дополнять сайт новыми тестами и результатами по мере развития проекта.