Выложил сайт Yttri Forge.

Наконец собрал в одном месте всё, что раньше было разбросано по репозиториям, заметкам и результатам тестов.

На сайте постарался подробно рассказать, что такое Forge, зачем я вообще начал писать собственный inference-стек и что он даёт на практике. Без абстрактных «в X раз быстрее» — с описанием архитектуры, оптимизаций, тестов и реальных цифр.

Отдельно описал работу с длинным контекстом, KV-cache, CUDA Graphs, FlashAttention, MTP/speculative decoding и другие вещи, которыми пришлось заниматься, чтобы выжать из обычного железа немного больше, чем оно само собиралось отдавать. 🙂

Сайт: https://forge.yttri.online/

Проект открыт, исходники здесь:

Yttri Forge https://github.com/askidmobile/yttri-forge Inference server https://github.com/askidmobile/qwen36-server

Буду постепенно дополнять сайт новыми тестами и результатами по мере развития проекта.

Выложил сайт Yttri Forge.
Наконец собрал в одном месте всё, что раньше было разбросано по репозиториям, заметкам и результатам тестов | Сетка — социальная сеть от hh.ru