Давно не делился новостями. Я работаю на проекте в Evron. У меня там неполная занятость поэтому готов брать и другие проекты. Могу это делать официально. Пересобрал практически полностью весь Comfyiu под себя. Сделал воркфлоу с собственными разработанными нодами для генерации качественных изображений. Учусь на промпт-инженера в Zero-coder. Разработал для себя решение на базе локальных LLM моделей и Api Ollama. Дал модели возможность анализировать документы word, excel и код. Например модель может прочитать книгу и ответить на вопросы по ней, выделив основные значимые моменты в книге или свежие идеи автора. Реализовал RAG расширение для поиска недостающей информации в интернет. Для ответа я могу параллельно опрашивать две разных модели. Факт вмешаются ли модели в видеопамять непотенциальный, так как реализовано распределение слоев модели между GPU и CPU. Поэтому я могу пробовать загружать и большие модели. Ollama напрямую умеет работать с квантованеыми моделями (формат GGUF). Такие модели могут работать быстрее и меньше занимать памяти. Также я могу регулировать температуру модели и некоторые другие скрытые параметры. Заметил что температура сильно влияет на творческую составляющую модели (тестировал локальную модель на базе chatGPT4). В моем случае понижение температуры до 0.3-0.5 приводило к повышению креативности ответов, что я счел более удачным для реализации поставленной задачи. А повышение температуры усиливало точность в технических деталях. Другой параметр модели top -p влияет больше на простоту-глубину ответа. Риски же галлюцинаций модели помогает снизить правильно составленный системный промпт. Работаю над оптимизацией скорости. Пока развернутый и оформленный ответ модели занимает в среднем 25 секунд. Его можно экспортировать в html. Пример для описания товара ювелирного интернет магазина. Задача ИИ была описать товар побуждая к покупке. И на основе описания внешнего вида товара (кольца) придумать его название. ИИ хорошо подобрал название кольца где присутствует обработанный в форме листика изумруд -Лесная симфония. А также сделал хорошее описание товара. Разумной комбинацией в данном соучае было бы применении обоих результатов промпта путем их синтеза. #llm #ии #АИ
