Стабилизация работы локального ИИ ⚙️

Достигнута стабилизация работы локального ИИ. Использовались 5 машин, каждая с 16GB видеопамяти (80GB суммарно). Использовалась архитектура распределения весов модели между узлами.

Технические характеристики узлов:

ОС: Gentoo Linux 7.1.8 Стек: ROCM 7.2.4 llama.cpp: b10488 GPU: AMD Vega Frontier Air 16GB Сеть: RDMA 10 Гбит/с