YouTube / VK

В продолжение ветки про локальные LLM. Уже прошлогодний доклад про использование локальных LLM. В видео рассмотрены инструменты и плагины для этого, кейсы применения и сравнение работы нескольких моделей: Qwen2, Llama, CodeQwen.

Оставлю краткое резюме с некоторыми дополнениями от себя. Все ссылки на доп. контент и пояснительные материалы оставил в Telegram.

————————————

💻 Зачем нужны LLM в разработке:

• Ускорять или автоматизировать рутинную работу (про один из примеров писал в прошлый раз).

————————————

🤔 Зачем нужны локальные LLM:

• Экономия на стоимости запросов; • Повышение информационной безопасности; • Возможность обучить нейросеть на своих данных; • Возможность работы без подключения к сети.

————————————

⚠️ Проблемы локальных LLM:

• Более низкая производительность; • Требуется подходящая аппаратная часть; • В общем случае более низкое качество ответов.

————————————

💼 Кейсы применения:

• Автодополнение кода; • Помощь при написании методов и логики; • Кодогенерация типовой рутины: подписки, отписки, логирование, и пр; • Генерация тестов (про один из способов делал клип); • Генерация тест-кейсов и документации к коду; • Суммаризация и анализ логов (очень полезно на бэкенде); • Суммаризация и пояснение кода; • Поиск ошибок и подсказки рефакторинга.

————————————

🆓 Open-source модели:

• Qwen2; • Llama; • CodeQwen; • CodeLlama-KStack; • DeepSeek-coder; • StarCoder.

————————————

⛏️ Инструменты запуска локальных LLM:

• LMStudio: • • OpenAI-совместимый REST API; • • Переключение между моделями без перезапуска; • • Поиск по репозиторию HuggingFace; • • UI для режима чата; • • UI для настройки параметров.

• Ollama: • • Ollama REST API; • • Переключение между моделями без перезапуска; • • Собственный репозиторий моделей; • • Импорт моделей разных форматов; • • Автоматическое освобождение ресурсов.

————————————

🔌 Плагины для IDE:

• Continue • • Поддерживает Android Studio, VS Code; • • Open-source и коммерческие LLM-провайдеры; • • Режим чата; • • Режим автодополнения кода; • • Индексация локального проекта.

————————————

💡 Как улучшить качество ответов:

• Прокачивать навыки промт-инжениринга; • RAG (Retrieval Augmented Generation).

————————————

✍️ Техники промт-инжениринга:

• Few-shot подсказки; • Chain-of-Thought запросы; • Prompt Chaining; • Обратная связь (Prompt Feedback); • Назначение ролей (Role Assigning); • Кратко о других.

————————————