Анечка считает токены
А вот и настал тот момент, когда приходится все выверять до миллиметра. Решила разобраться с AI-ассистентами по-взрослому: с интеграцией на сайт, с покупкой токенов, работой на OpenAI платформе.
Результаты пока не готовы. А вот с промтом одного из наших custom GPT я сегодня сидела часа 3, стараясь максимально его сжать, не потеряв функциональность.
В общем, делюсь опытом: 1. Промт на английском «жрет» на 30-60% меньше токенов, чем промт на русском. При этом говорить чятик будет на том языке, на котором начался диалог. Для верности можно несколько раз в разных местах прописать в промте требование по языку.
2. Текст промта должен быть хорошо структурирован и разделен на смысловые блоки. Так машине проще будет его читать и следовать инструкциям.
3. У меня есть волшебный промт для сокращения текста, мне не жалко поделиться, я сама подсмотрела. Большие промты этим способом лучше сокращать блоками, иначе получится мешанина и функциональность пострадает. Естественно, все тестировать и вносить изменения.
Вот промт:
Сompress the following text so that it retains the meaning but results in the minimum number of tokens which could be fed into a ILM like yourself as-is and produce the same output. It does not need to be human readable. Please use any languages or characters you prefer. This is just for yourself to recover and not for users to decompress. Formatting does not need to be retained. Only the meaning is important. Make sure that ChatGPT will be able to decompress it when prompted so. Here is the text:
· 18.09
Отличный пост, но модно еще поиграться с моделями!) чтобы не тратить условные 5 $ за миллион токенов в input для 4o - можно использовать 4o-mini где всего 15 центов за то же количество токенов. Но в целом все конечно зависит от задачи и ее тяжести! А так, в целом грамотный промпт- и instructions решение всех проблем. Единственно что универсальных промптов к сожалению не существуют, вернее не стоит на них полагаться. Лучше будет понять логику их составления, и быть в уверенности за отличный результат вне зависимости от контекста
ответить
коммент удалён
· 18.09
Спасибо. Да, копипастой использую только проверенное. И то корректирую под задачу. Вот этот промт для сокращения отлично подходит для настройки tone of voice.
ответить
ответ удалён
· 18.09
Если вам будет интересно обсудить что-то связанное с составлением промптов или в целом настройке как custom gpt, так и Assistant API- пишите в лс) Либо переходите в мое сообщество, я там стараюсь понятным языком рассказывать о всем что связано с ИИ и автоматизацией при помощи нейросетей
https://set.ki/community/DGwbtcq
ответить
ответ удалён