штука, которую собрал мой маленький локальный агент https://github.com/Brom95/win-ripwire

Над ее созданием трудился nvidia 4070 super на котором крутился пожатый тернарными квантами https://huggingface.co/prism-ml/Ternary-Bonsai-2-27B-gguf. Все это влезло в 10 гигов vram и давало порядка 30 токенов в секунду