Как я раскачал железо на Debian 13 под AI-агента
Железо: ноутбучная RTX 4060 (8 ГБ VRAM), Debian 13. Задача: локальный AI-агент для ревью, тестов и оптимизации.
Помощник: DeepSeek.
Защита от переполнения диска Ollama заполнила корневой раздел (32 ГБ) моделями. Система встала. Как защитил: перенёс хранилище в /home через systemd drop-in, настроил права (chmod o+x для прохода без раскрытия папки). Польза: дисковое пространство под контролем, система не падает.
Защита от вылета модели в CPU codellama:13b не влезала в 8 ГБ — начинался offloading, скорость падала в 10 раз. Как защитил: выбрал qwen2.5-coder:7b-instruct и создал варианты с динамическим контекстом (8k–48k). Модель всегда в GPU, память растёт только при необходимости. Польза: быстрый отклик, ресурсы не тратятся впустую.
Защита от поломки формата Aider Локальные модели срывали формат SEARCH/REPLACE, агент галлюцинировал. Как защитил: перевёл Aider в режим whole (файл переписывается целиком). Ошибки исчезли. Польза: стабильная работа, нет потерянного времени на отладку синтаксиса.
Защита от бесконечного ветвления Скрипты создавали ветки вроде master-review-review-review. Как защитил: проверяю имя текущей ветки; если уже содержит суффиксы -review_, -tests_, -optimize_ — завершаю работу. Для массовой очистки есть cleanup-branches.sh. Польза: порядок в репозитории, никакой путаницы.
Защита от зависания на пустых файлах Модель тратила минуты на файлы, где только docstring. Как защитил: в скрипте пропускаю файлы короче 5 строк (MIN_FILE_LINES). Польза: ни одной потерянной минуты на бессмысленный анализ.
Защита от перегрузки контекста Файл >200 строк не влезал в 8k — модель забывала начало задачи. Как защитил: автоматически подбираю модель по размеру файла (8k, 16k, 32k, 48k). Пороги настраиваются. Польза: корректная обработка любых файлов без ручного выбора.
Защита от фоновых моделей VS Code тайно загружал deepseek-coder, съедая память. Как защитил: убрал модель из конфига Continue и добавил принудительный ollama stop в скрипты. Польза: VRAM используется только одной моделью, скорость максимальна.
Итог: инфраструктура, которая бережёт нервы Три скрипта (ai-assist.sh, batch-ai-assist.sh, cleanup-branches.sh) и файл .aiderignore дают гибкость: я запускаю ревью/тесты/оптимизацию для одного файла, всех файлов или только изменённых. Система сама выбирает модель и контекст, не трогает пустые файлы и не плодит лишние ветки. Всё локально, приватно, без облаков. Разработка идёт быстрее, а инфраструктура подстраивается под меня, а не наоборот.
· 07.07
Только что понял что мой ноут с "только что свежей" 2060TI устарел. (((:
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён
· 07.07
А я наоборот приятно удивился, что мне доступно 8ГБ VRAM. Когда покупал (3 года назад) даже не думал, что буду юзать агентов)
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
ответ удалён