Недавно мой словарный запас пополнился новым переводом слова operational.

Поскольку книга по программам-вымогателям закончилась, я переключился на другую книгу: про теорию информации.

Тема сложная, но интересная.

Чтобы примерно понять, что меня в ней заинтересовало, приведу пару примеров.

1. Меня давно интересует тема упаковки смыслов в минимально возможное число слов - иными словами, меня интересует лаконичность в языке. Причем не только прикладная, типа как в русском передать тот или иной смысл, а в принципе, как передать компактно тот или иной смысл.

Почему, например, один и тот же промпт на русском и на английском различается по токенам в 3 раза? Получается у русского языка смысловая емкость в 3 раза ниже? Скорее всего нет, полагаю, тут вопрос в зрелости энкодеров и декодеров, но тем не менее.

Можно взять и более приземленный пример — почему один и тот же смысл в китайском укладывается в 350 знаков (иероглифов), в английском/русском в 1800 знаков с пробелами? Китайский получается лучше сжимает информацию? Хотя, я понимаю, там издержки другого плана - на кодирование одного иероглифа уходит больше бит, чем на кодирование одного знака в алфавитных языках.

Продолжение на https://dzen.ru/a/aosbFpDlW2RvJf0x