Программа для общения с LLM используя LM-STUDIO локально

Есть конкретная задача — написать собственную программу на Python, которая подключится к запущенной LM Studio и можно будет задавать вопросы и получать ответы. Задача имеет практическое значение — так можно каждой фирме реализовать локальные сервера для обработки критической информации и в больших объёмах бесплатно. Итак, сначала пишем ТЗ на программу: Ссылка: https://disk.yandex.ru/d/b76DakSGTuqVbQ Затем, применяя Chat GPT-4o (https://mashagpt.link/keXoqF1x5M). Получаем код программы: https://disk.yandex.ru/d/YOAxm_kw168yPA Запускаем и настраиваем обмен с локально запущенной LM Studio:

И оно работает. Документация по обмену была взята тут: https://lmstudio.ai/docs/basics/server Пора внедрять Chat GPT и другие модели повсеместно! Но без грамотно написанных ТЗ и промптов можно потеряться в трёх соснах. Старайтесь явно указывать в ТЗ конкретные технологии, которые вы хотите использовать. Старайтесь не плодить лишние сущности, чтобы потом не искать разработчиков, которые будут знать 100500 различных библиотек, которыми оперирует ИИ. И читайте мои статьи. Полностью все файлы: https://disk.yandex.ru/d/3Bj0snJ9NEZL_w

Статья: https://nikitayev.livejournal.com/147193.html

repost

158

input message

напишите коммент

еще контент автора

еще контент автора

войдите, чтобы увидеть

и подписаться на интересных профи

в приложении больше возможностей

пока в веб-версии есть не всё — мы вовсю работаем над ней

сетка — cоциальная сеть для нетворкинга от hh.ru

пересекайтесь с теми, кто повлияет на ваш профессиональный путь