В предыдущем посте я писал, что механика будет работать в ИИ Яндекса. Беру свои слова обратно.
Она будет работать очень посредственно. Основные ограничения:
- кривая механика вывода md файлов, у Яндекса ее считай, что нет; - невозможность работы с несколькими файлами - ИИ Яндекса забывает то, что в нее грузили два сообщения назад и предпочитает видеть последний загруженный в чат файл. Предполагаю, это связано с узким окном контекста; - невозможность загрузить несколько файлов одновременно. Думаю, что это тоже вызвано ограничениями LLM Яндекса. Узкое окно контекста забьётся парой - тройкой файлов и начнутся галлюцинации модели.
Заметьте, я говорю о неспособности ИИ Яндекса работать с файлами общим объёмом 90 кБ. Я не получил от него стабильного результата, к сожалению.
У Алисы Про схожие проблемы. Кроме того, она не смогла выполнить простые запросы по редактированию файла в проекте (там есть поддержка проектов), упорно выводя результат редактирования в чат и игнорируя команду редактирования файла.
В результате я на внесение в файл пяти мелких корректировок, которые Алиса Про определила правильно, потратил 8 лимитов из 200 и остановился на этом результате.
Я уверен, что у коллег все получится и они все сделают. Но пока из доступных в РФ LLM делать что-то +- прикольное можно только на DeepSeek, к сожалению.
· 31.10
А варианты с инхаус моделью ты не рассматриваешь? Или дорого по железу?
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
коммент удалён
· 31.10
На мой взгляд, это самый правильный вариант. Но это имеет смысл, если / когда я буду выходить на работу. Чисто для развлечения отдать пару лямов - перебор :)
А так - полная диверсификация и абсолютная (в каком-то смысле) безопасность. Мне кажется, это прям то, что надо - собственная LLM.
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
ответ удалён
· 31.10
Кмк, в простых задачах на домашнем железе скорость работы моделей уровня Qwen/24GB приемлемая. То есть - она на порядок ниже, чем на ферме со спец железом за несколько миллионов, но приемлемая для вдумчивого решения небольших задач.
0
ответить
коммент скрыт — часть юзеров считает его токсичным или некорректным
ответ удалён