🔹 Токены: в чём измеряется работа модели 🔹 Почему длинный диалог с агентом дорожает с каждым шагом? 🔸 Контекстное окно мы уже разбирали: это всё, что модель видит сразу, и у него есть предел. Не хватало главного: в чём этот предел измеряется. Ответ в токенах. Токен — кусочек текста: часть слова, знак препинания или пробел.
🔸 Оплата тоже считается в токенах: чем их больше в запросе, тем он дороже. Поэтому размер окна и цена связаны напрямую.
🔸 Агент работает по шагам и на каждом заново отправляет модели весь накопленный контекст. Поэтому длинная сессия дорожает с каждым шагом, даже если новый вопрос короткий.
🔸 Лишнее в контексте не только стоит денег, но и отвлекает модель от главного. Чем больше лишнего, тем выше шанс, что ответ уйдёт в сторону.
📚 Токены связывают окно, цену и качество: длина контекста стоит денег и мешает вниманию модели.
➡️ Мы в Telegram - Сетке - ВК Буду рад вашей реакции здесь⬇️
В этом посте были ссылки, но мы их удалили по правилам Сетки
