Калькулятор токенов

Ранее в этом посте я рассказывала о контекстном окне — о том, на каких этапах можно получить наиболее релевантный ответ с минимальным количеством галлюцинаций.

Если вы загружаете в чат большие документы, переписки, инструкции или результаты исследований, полезно заранее понимать, сколько места они займут в контексте модели.

Объем токенов зависит от выбранного тарифа и модели. Чтобы было проще оценить, какой объём информации можно загрузить в чат, делюсь удобным калькулятором токенов (gptforwork.com/tools/tokenizer).

И почему до сих пор не во всех чатах предусмотрен индикатор токенов?

Калькулятор токенов | Сетка — социальная сеть от hh.ru