Анечка считает токены

А вот и настал тот момент, когда приходится все выверять до миллиметра. Решила разобраться с AI-ассистентами по-взрослому: с интеграцией на сайт, с покупкой токенов, работой на OpenAI платформе.

Результаты пока не готовы. А вот с промтом одного из наших custom GPT я сегодня сидела часа 3, стараясь максимально его сжать, не потеряв функциональность.

В общем, делюсь опытом: 1. Промт на английском «жрет» на 30-60% меньше токенов, чем промт на русском. При этом говорить чятик будет на том языке, на котором начался диалог. Для верности можно несколько раз в разных местах прописать в промте требование по языку.

2. Текст промта должен быть хорошо структурирован и разделен на смысловые блоки. Так машине проще будет его читать и следовать инструкциям.

3. У меня есть волшебный промт для сокращения текста, мне не жалко поделиться, я сама подсмотрела. Большие промты этим способом лучше сокращать блоками, иначе получится мешанина и функциональность пострадает. Естественно, все тестировать и вносить изменения.

Вот промт:

Сompress the following text so that it retains the meaning but results in the minimum number of tokens which could be fed into a ILM like yourself as-is and produce the same output. It does not need to be human readable. Please use any languages or characters you prefer. This is just for yourself to recover and not for users to decompress. Formatting does not need to be retained. Only the meaning is important. Make sure that ChatGPT will be able to decompress it when prompted so. Here is the text:

#ChatGPT #промт #promtEngineering #промтИнжиниринг #promt