Или что общего между управленцем и холодильником?

Информация – функция данных; данные являются аргументом функции.

Информация является контрфактической величиной: нельзя сказать, что объект в определённом физическом состоянии несёт информацию, если только он не мог бы находиться в другом состоянии.

Количество информации зависит от числа возможных исходов какого-либо действия или события:

2i=N; i=log2N

, - где N – число равновероятных событий (данные); i – количество информации в сообщении

Теперь возьмём три сообщения (данные): 1. 00000000000000000000000000000000000000000000000000 2. 01010101010101010101010101010101010101010101010101 3. 01110010100001010111001000000110100010111010111001

Каждое – 50 бит, а количество информации в них различается.

В первом сообщении мы видим максимальную упорядоченность и предсказуемость, но информации в нём содержится минимум. Сообщение можно сжать до repeat (0), значит, количество информации равно всего 1 бит.

Во втором сообщении можно заметить периодичность и сжать его до repeat (01), соответственно информации будет уже 2 бита.

Наконец, в третьем случае сообщение похоже на случайную последовательность нулей и единиц. Единственный способ описать эту строку – указать каждую цифру, поэтому количество информации в ней максимально – 50 бит.

Интуитивно кажется, что вероятность получить третью последовательность, бросая честную монету, намного выше, чем в случае с первыми двумя, ведь решка не может выпадать 50 раз подряд. Но на самом деле эти последовательности равновероятны, как и любую из 2**50 возможных комбинаций.

Информация имеет статистическую природу и выражает степень неопределённости в сообщении.

Шеннон: i=log2N, - где N – число равновероятных событий; i – количество информации в сообщении

Больцман: S=klnW, - где k − постоянная Больцмана; W – число микросостояний системы; S – энтропия физической системы.

Информация есть энтропия. Шенноновская энтропия является обобщением больцмановской.

Если угодно, это мера несвязности данных; этим информация отличается от истины, которая совершенно связна, всегда находится в одном состоянии, и её энтропия равна нулю, потому что натуральный логарифм единицы – ноль. Без связности, состояния целого, её энтропия была бы бесконечна.

Чтобы наглядно представить энтропию по Больцману, возьмём две монеты. Назовём положение каждой из них в отдельности микросостоянием, а состояние системы в целом – макросостоянием. У одной монеты может быть два микросостояния – орёл или решка.

Подбросив обе монеты, мы получим одну из четырёх равновероятных комбинаций: решка-решка, решка-орёл, орёл-решка или орёл-орёл.

Но с точки зрения всей системы у нас есть всего три макросостояния: две решки, два орла и один орёл, одна решка.

При этом вероятность у них получится разной: ¼ для двух орлов, ¼ для двух решек и ½ для одного орла и одной решки.

Третья комбинация (макросостояние) оказывается вероятней двух других, потому что её можно получить двумя разными способами (микросостояниями). Вот эта вероятность – и есть энтропия.

Согласно Больцману, энтропия пропорциональна количеству микросостояний, из которых можно получить данное макросостояние. При увеличении числа микросостояний энтропия всегда будет расти.

В нашем примере были только две монеты и два возможных микросостояния у каждой из них (22=4). Если мы возьмём не две, а три монеты (23 возможных микросостояний), вероятность выпадения трёх орлов или трёх решек составит уже 1/8, а двух решек и одного орла или двух орлов и одной решки – 3/8. С десятью монетами (210 возможных микросостояний) получить десять орлов или десять решек будет практически нереально: вероятность такого исхода составит 1/1024.

Чем больше монет, тем сильнее количество выпавших орлов и решек будет стремиться к равновесию, то есть максимальной энтропии. А если микросостояний триллионы, как молекул газа в закрытом контейнере, то не стоит рассчитывать, что они сами собой сконцентрируются в одном месте. Хотя вероятность этого не равна нулю.