Продолжаем домашний проект - 3
При тестировании skill для AI агентов есть проблема, если вы запускаете ваш проект на Vmware или других платформах виртуализации.
CPU должен поддерживать режим расширения системы команд x86 AVX2, и эту возможность вы должны как то пробрасывать в виртуальную машину.
Дело в том что AVX2 напрямую связан с возможностью передачи промптов в вашу локальную LLM.
Ваш AI агент с подключенным skill именно это и делает. С внешними LLM естественно такой проблемы нет. Но там все платно и токены надо экономить.
Если вы все таки заставили агента передать промпт в локальную LLM, а AVX2 при этом не поддерживается.
Ваша LLM намертво зависнет.
Изменение режима изоляции ядра Windows, чтоб пробросить режим в виртуальную среду, плохая идея. Ваша рабочая машина может просто не загрузиться.
Учитывайте эту проблему при разработке и тестировании AI агентов связанных с локальными LLM. Если вы ведете разработку в виртуальных средах.
P.S. Проект медленно, но верно превращает меня в архитектора мультиагентных систем. С оркестрациями, контейнерами, нейронками. Самое смешное, что позже придется реализовывать архитектуру из нескольких серверов, с mesh сетью.