С некоторых пор, у отечественных компаний (не у всех конечно), есть некоторая проблемка, касающаяся иностранного ПО. После ухода разрабочкиков, начали (а сейчас уже почти закончили) отваливаться лицензии, возникать ошибки из-за отсутствия необходимых обновлений и прочие радости. Но есть одна болячка, которая бередит до сих пор и вообщем-то до сих пор нет конкретного способа ее залечить.

А говорю я об отсутствии технической поддержки, обучения и переобучения. Компаний то нет (официально). А как говориться: “Нет тела - нет дела”

Из этой ситуации выходят кто-как. Но в основном, просят помочь или бывших сотрудников или находят спецов, которые “шарят в этой теме”. Но, история такая себе. Сотрудники или не хотят или у некоторых “соглашения”. А спецы просто не знают как работает вся программа целиком и все ее функции. Они (спецы) могут кончно подсказать много чего полезного-прикладного, но всего спектра задачь они конечно не закроют.

Рассуждая на тему применения RAG, а также в контексте данной проблематики, решил “замутить один проектик”.

А точнее, AI-ассистента на основе локальной модели и RAG базы данных.

На руках имеем:

- Справка по Whittle (оптимизатор контуров карьеров) в виде архива с html-файлами + мануалы + какая-то еще документация. Грузил все без разбору =)) Ну это собственно и является основанием для RAG.

- Локальная модель (лучше использовать от 14b и выше). Я использовал Deepseek-R1 (сначала 8b, потом 14b), Qwen3-14b. Лучше конечно побольше, но тех. характерискики компьютера не позволяют этого сделать (что влезло- то влезло). Но слишком большие модели при локальном запуске показывают очень мальенькую скорость генерации (1-3 токена). При такой скорости, быстрее самому разобраться.

- Ollama (через что работают модели). Есть и другие фреймфорки, но мне понравился этот.

- Obsidian как обвязка всего этого табора, которая позволяет трансформировать, хранить и обрататывать файлы. А еще к нему можно подключить модели и вообще всякое.

Что получилось:

Скажем так. Не то что ожидалось, но и не совсем бесполезная штука. Получилась этакая вопросно-ответная программа, но не в тупую, а малость размышлющая.

На вопросы отвечает. Саммари делает. Ответы можно сохранять в отдельную папку (типа wiki) и настроить так, чтобы сначала модель искала ответы по старым, релевантным и удовлетворяющим запрсам и сессиям, а если не находит, то шуршит во всей базе.

Идея вот в чем: специалист делает запрос к базе данных > модель находит ответ > специались что-то уточняет > если ответ “ОК” сохраняет как рабочий ответ на будущее. Гипотетически, так модель может “обучаться”.

Конечно, все упирается в:

1. Размер самой модели. Более “массивная” модель будет размышлять лучше. Вопрос только в том, сможет ли вывести железо.

2. Как подготовите сам RAG. Я напихал все что было, поэтому получилось то, что получилось.

3. Сценарии работы с моделями и что Вы от них хотите получить.

Думаю почва для дальнейшего размышления и развития есть. Можно использовать. Надо только допилить.

Для меня же главное, что потенциально эта штука имеет перспективу прикладного использования. Конечно, это не заменит полноценной техподдержки, но как вариант...