Если буквально недавно покупал ключи за копейки, то теперь это стало недоступно и приходится выкручиваться как ужу на сковородке.

Пришлось на сервере запустить KoboldAI's UI, скачать модель на 5гиг, т.к. на карте всего 6, и если дать модель больше, она просто захлебнется, и тексты готовы. На генерацию одного текста уходит примерно 3 секунды, этого мне хватает, что бы запускать шаблон в 20 потоков. Для меня это мало, нужно больше.

А так, локальные модели показали себя с хороше стороны. Буду качать эту тему дальше и масштабировать.