Мысли перед сном. Работаем с ИИ.

В общем я сегодня целый день пытался получить от ИИ, то что я хочу. И это процесс подсветивший мне кучу проблем как мы общаемся с ИИ и какие результаты получаем.

Задачу опишу кратко. Я делаю чат бот, который должен сделать запрос к базе данных, получить ответ, а этот ответ мне нужно преобразовать в формат sql запроса для базы данных.

Ничего не понятно? Мне тоже.

Ну в общем начал я эту эпопею. У меня уже есть какие-то пробные данные я их отправляю в ИИ и он делает прямо плоскую версию эти же данные отправляет мне. Мне так не надо, я хочу их брать автоматически из http запроса и чтобы JavaScript мне их преобразовывал в sql запрос.

Он понимает, что их нужно взять автоматически, но он не понимает как это делоет n8n и конечно же все опять не работает.

Далее я пытаюсь ему объяснить на своем ломаном языке, что я хочу и как брать данные, он все равно не понимает. Приходится исправлять руками, а потом ему присылать код и надеяться, что он его сохранит и исправит как нужно сохранив ручные изменения.

Когда получается с первой частью и я перехожу ко второй, преобразованный json вставляю в Postgres запрос получаю балалайку.

И тут я пишу снова, он опять меняет предыдущий код, пытаясь его исправить.

В общем я так и не добился желаемого результата.

Какие выводы?

Мы разговариваем на разных языках с моделью. Чем четче ты опишешь вводные данные и то что ты хочешь получить это не гарантирует правильного результата.

Постоянно нужно вводить модель в контекст. Он не знает мелких деталей, но ты их можешь знать и тут уже ты должен ему подсказать как ему сделать, чтобы это все заработало.

В ходе недельной работы над одной задачей я заметил, что уровень выдоваемого результата отличается координатно от совсем топорного до очень даже вдумчивого и правильного.

При чем на это ИИ как будто бы переходит, когда он вникает в весь процесс и начинает интерпретировать задачу в комплексе.

Ну и его очень легко запутать. Когда вы делаете что-то одно, а потом меняете на совершенно другую задачу, он все еще думает, что это относится к этой задаче, но это уже не так. Так что заводим новый диалог, и забываем про весь контекст. Что бывает очень даже не выгодно.

В общем инструмент конечно супер крутой, но сколько приходится делать этераций и переписывать один и тот же код это странно. Хочется чтобы он был более конкретный и работал именно с одним и тем же кодом его обробатывая, плюс было бы не плохо выстраивать цепочки, откуда данные получили, так-то их обработали, такие вывели.

Делитесь как вы используете ИИ? Какие результаты? Что нравится, что нет?

Хочется поглубже погрузиться в работу ИИ агентов за ними будущее, где ты даешь им водные и порядок действий, который они должны совершать, а ИИ это только LLM для обработки данных.