На днях моё любопытство замотивировало меня навайбкодить небольшой скрипт на Python для частотного анализа текста. Программа умеет потоково обрабатывать огромные объемы данных через генераторы, очищать строки от мусора, отсекать стоп-слова (предлоги, союзы) и выдавать чистую статистику.

И всё это ради статистического анализа «Войны и мира» Льва Толстого.

Вот что показал мой «скрипт-статистик», если заглянуть в топ частотного словаря:

Школьные мемы врут — слова «дуб» и «небо» встречаются в романе относительно редко. Просто описаны эти сцены настолько гениально и масштабно, что врезаются в память намертво. Чисто статистически Толстой ими совершенно не злоупотреблял.

Среди анатомических слов «глаза» и «лицо» бьют все рекорды. Толстой — физиономист. Вместо детального описания интерьеров или покроя платьев он фиксировал тончайшие изменения мимики: от «лучистых глаз» княжны Марьи до сотен оттенков «улыбок» Пьера и Наташи (слово «улыбка» тоже в топе).

Ещё открывается то, ради чего Толстой так детально фиксировал мимику. В топе существительных плотно закрепились слова: «мысль», «чувство», «душа» и «голос». Для Толстого внешность — это лишь первый слой. Скрипт наглядно доказывает его метод «диалектики души»: заметив изменение взгляда (физиогномика), автор тут же проваливается во внутренний мир героя. За каждым движением брови следует «мысль» персонажа, его скрытое «чувство» или изменение «голоса». Статистика четко фиксирует эту связку: Взгляд — Изменение голоса — Внутренний монолог.

В топе наречий абсолютным лидером стало слово «вдруг». Оно встречается тысячи раз! Это маркер толстовского реализма: жизнь героев не течет линейно, она постоянно ломается случайными событиями. «Вдруг Пьер заметил...», «Вдруг карета остановилась...». А существительные «время» и «день» держат на себе весь каркас исторической хроники романа.

Чисто статистически слово «мир» (и как общество, и как покой) встречается в тексте значительно чаще, чем «война». Для автора быт, балы, семейная жизнь и духовные поиски героев оказались куда важнее и масштабнее боевых сражений.

Скрипт подсветил и любимые связки Толстого, на которых держатся его знаменитые гигантские предложения. Слова «который» и «свой» бьют все рекорды популярности среди местоимений. Откройте случайную страницу, и вы обязательно наткнетесь на конструкцию в духе: «Князь Андрей, который в это время думал о своей...».

Любопытство оказалось, по итогу, просто вне себя от счастья. Я теперь понимаю, о чём это, когда пишут, что надобность в джунах стала меньше. Любой может при желании поджунить для себя с помощью алгоритмов.