История статистического анализа текста

История статистического анализа текста

Распределение частот слов в английском переводе «Войны и мира»: закон Ципфа и отклонения от него. Cosmia Nebula, 2023 год.

Развитие количественного исследования текста от частотного анализа и подсчёта признаков до вероятностных моделей языка.

Область

Статистическая лингвистика; стилометрия; теория информации

Разновидность

История научного направления

История статистического анализа текста - история методов, в которых письменный текст рассматривается не только как носитель смысла, но и как совокупность измеримых признаков: букв, слов, длин слов, частот, последовательностей и повторяющихся структур. Задолго до компьютеров исследователи считали символы вручную; в XIX веке количественные признаки стали использовать для атрибуции авторства; в начале XX века Андрей Марков превратил литературный текст в зависимую вероятностную последовательность; в середине века Джордж Ципф и Клод Шеннон связали статистику языка с общими математическими законами и теорией информации. Из этой линии выросли стилометрия, статистическая лингвистика, n-граммные модели, распознавание речи и значительная часть компьютерной обработки естественного языка.

Исторически важен не один конкретный метод, а последовательное изменение отношения к тексту. Сначала частоты букв помогали взламывать шифры. Затем численные признаки начали использовать как возможный «почерк» автора. Марков сохранил порядок символов и стал измерять зависимость между соседними элементами. Шеннон сделал статистическую структуру сообщения частью теории связи. Компьютерная эпоха превратила ручной подсчёт в массовую обработку корпусов.

До статистики как науки: частотный анализ в криптографии

Один из древнейших известных примеров количественного анализа текста возник не в литературоведении, а в криптоанализе. В IX веке арабский философ и учёный аль-Кинди описал метод дешифровки, основанный на различиях в частоте букв языка.

Первая страница рукописи аль-Кинди о дешифровке криптографических сообщений. IX век.

Основная идея была чрезвычайно современной по своей логике. Если известен язык зашифрованного сообщения, можно взять достаточно длинный обычный текст на том же языке, подсчитать частоты букв и расположить их по убыванию. Затем аналогичным образом подсчитать частоты символов в шифротексте. При простой подстановке наиболее частый шифрованный знак с высокой вероятностью соответствует одной из наиболее частых букв языка.

Таким образом, текст уже здесь становится статистическим объектом. Анализируется не смысл конкретной фразы, а распределение символов в языке.

Почему частоты вообще работают

Частотный анализ возможен потому, что естественный язык использует буквы и сочетания неравномерно. Одни символы встречаются часто, другие редко; некоторые пары обычны, другие почти невозможны.

Простая замена одного символа другим скрывает внешний вид букв, но сохраняет их частотную структуру. Это важный принцип всей последующей истории количественного анализа текста: форму текста можно менять, но некоторые статистические свойства сохраняются. Уже аль-Кинди понимал и другое условие: текст должен быть достаточно длинным, иначе частоты слишком сильно колеблются и становятся ненадёжными. Так задолго до формальной статистики появился практический принцип выборки: чем больше текстовый массив, тем устойчивее его частотные характеристики.

От криптографии к описанию языка

Средневековый криптоанализ не создавал отдельной науки о языке. Его цель была прикладной - прочитать секретное сообщение.

Но сама техника требовала знания статистических особенностей языка.

Необходимо было знать:

• какие буквы наиболее часты;
• какие сочетания букв типичны;
• какие символы почти не встречаются рядом;
• насколько большой текст нужен для устойчивого подсчёта.

Эти вопросы позднее появятся в статистической лингвистике уже независимо от криптографии.

XIX век: текст как возможный «почерк» автора

Новая линия возникла в XIX веке в исследованиях авторства.

В 1851 году английский математик и логик Август де Морган предположил, что различия между авторами можно искать в средней длине используемых слов. Его интересовала, в частности, возможность сравнивать тексты, приписываемые апостолу Павлу.

Де Морган фактически предложил идею количественного авторского признака. Если стиль устойчив, то автор может неосознанно сохранять некоторые численные особенности письма независимо от темы текста. Сам де Морган масштабных подсчётов не выполнил, но идея оказалась чрезвычайно плодотворной.

Томас Мэнденхолл и «характеристические кривые»

В 1887 году американский физик Томас Корвин Мэнденхолл опубликовал в журнале Science статью «The Characteristic Curves of Composition». Мэнденхолл считал длины слов в выборках текстов разных авторов и строил распределения: сколько слов состоит из одной буквы, двух, трёх, четырёх и так далее. Полученная линия должна была служить своеобразной «характеристической кривой» писателя. Идея была проста:

авторский стиль можно искать не в отдельных красивых фразах, а в статистическом распределении тысяч обычных слов.

Огромный ручной труд

Мэнденхолл работал в эпоху, когда каждое слово приходилось считать вручную.

В его исследованиях использовались тысячи и десятки тысяч слов. Позднее при изучении вопроса об авторстве Шекспира масштаб подсчёта достигал сотен тысяч слов.

Это важная параллель с будущими опытами Маркова.

До вычислительных машин количественный анализ текста был не только интеллектуальной, но и физической работой: текст требовалось разбить на единицы, классифицировать каждую единицу и затем свести результаты в таблицы.

Неудача как часть истории метода

Мэнденхолл надеялся получить устойчивый численный «отпечаток» автора.

Однако длина слов оказалась менее надёжным признаком, чем предполагалось. На неё влияли тема, жанр, редакция текста и особенности языка.

Сходные кривые могли появляться у разных авторов. Но именно неудачи ранней стилометрии заставляли искать более устойчивые признаки. В последующие десятилетия исследователи будут считать не только длину слов, но и частоты конкретных слов, словарное богатство, синтаксические конструкции и служебную лексику.

Возникновение стилометрии

В конце XIX века количественное исследование стиля стало оформляться в самостоятельное направление.

Польский философ Винценты Лютославский использовал статистические особенности языка для хронологического упорядочения диалогов Платона и ввёл термин «стилометрия». Современные обзоры относят формирование этой дисциплины к 1890-м годам.

Стилометрия исходила из предположения, что авторский стиль содержит большое число повторяющихся, часто неосознанных закономерностей.

В отличие от традиционной филологии она пыталась измерять эти закономерности количественно.

Что именно можно считать в тексте

К началу XX века стало понятно, что текст допускает множество разных численных представлений.

Можно измерять:

• частоты букв;
• частоты слов;
• длины слов;
• длины предложений;
• словарное богатство;
• доли служебных слов;
• частоты сочетаний символов и слов;
• порядок следования элементов.

Последний пункт оказался особенно важен для Андрея Маркова. Простой частотный словарь игнорирует порядок. Марков сделал порядок центральным объектом анализа.

Марков: от частот к зависимости

В 1906-1907 годах Андрей Андреевич Марков разработал математическую теорию последовательностей зависимых случайных величин. Первоначальная задача относилась к закону больших чисел, а не к языку.

Несколько лет теория оставалась почти полностью абстрактной.

В 1913 году Марков выбрал в качестве большого реального массива «Евгения Онегина».

Андрей Андреевич Марков. В 1913 году он применил теорию зависимых испытаний к литературному тексту.

«Евгений Онегин» как последовательность

Марков взял 20 000 букв текста Пушкина и разделил каждую букву на одну из двух категорий:

• гласная;
• согласная.

Александр Пушкин. «Евгений Онегин» стал материалом одного из самых известных ранних статистических опытов над литературным текстом.

Если бы Марков просто подсчитал число гласных, это было бы продолжением старой традиции частотного анализа. Но его интересовало другое: меняется ли вероятность следующей буквы в зависимости от предыдущей? Оказалось, что меняется очень сильно. После гласной согласная появлялась намного чаще, чем гласная; после согласной вероятность гласной резко возрастала. Текст стал не просто набором частот, а последовательностью переходов.

Почему это был новый этап

Работа Маркова принципиально отличалась от криптографического частотного анализа и ранней стилометрии. Аль-Кинди спрашивал: какие символы встречаются чаще? Мэнденхолл: какое распределение длин слов характерно для автора? Марков: как вероятность следующего элемента зависит от текущего? Это переход от статистики состава к статистике структуры. В современной терминологии здесь появляется анализ условных вероятностей и последовательных зависимостей.

Сто тысяч букв Аксакова

Марков продолжил текстовые опыты и увеличил массив до 100 000 букв первых частей «Детских годов Багрова-внука» Сергея Аксакова.

Сергей Тимофеевич Аксаков. Марков исследовал 100 000 букв его прозы.

В этом опыте Марков не только считал гласные и переходы между ними. Он изменял порядок наблюдений, объединял удалённые друг от друга буквы и проверял, как разрушение естественного соседства влияет на дисперсию и распределение групп. Это уже напоминает современный эксперимент с данными: исследователь сознательно меняет структуру массива и проверяет, какие статистические эффекты сохраняются.

Текст как данные до цифровой эпохи

Историческое значение Маркова особенно заметно из-за отсутствия вычислительной техники. Весь массив создавался вручную. Марков переписывал текст, классифицировал буквы, формировал группы и считал частоты. В аксаковском приложении он даже отдельно сообщил о небольших ошибках переписывания исходного материала. Так проблема качества данных, сегодня центральная для вычислительных исследований, уже присутствовала в ручной статистике текста начала XX века.

Частоты слов: Джордж Ципф

Следующий крупный этап связан с американским лингвистом Джорджем Кингсли Ципфом.

Джордж Кингсли Ципф в 1917 году.

В 1930-е годы Ципф систематически исследовал распределение частот слов. Если расположить слова большого текста по убыванию частоты, оказывается, что частота приблизительно обратно пропорциональна рангу слова. Самое частое слово встречается чрезвычайно часто; второе - примерно вдвое реже; третье - примерно втрое реже, хотя реальный язык отклоняется от идеальной формулы. Это соотношение стало известно как закон Ципфа.

Новый масштаб: весь словарь

Марков исследовал локальную последовательность символов. Ципф рассматривал глобальное распределение слов по частоте. Эти подходы отвечают на разные вопросы. Марков спрашивает, что следует за чем. Ципф - как весь словарь распределён между очень частыми и очень редкими элементами. Вместе эти направления показали, что язык обладает статистической структурой и на локальном, и на глобальном уровне.

Статистическая закономерность не означает простоту

Закон Ципфа иногда пересказывают как точную формулу языка. Современные исследования показывают, что реальное распределение сложнее и простая степенная зависимость является лишь приближением. Но историческая роль работы Ципфа от этого не уменьшается. Она показала, что большие словари естественных языков демонстрируют удивительно устойчивые количественные закономерности. Это стало одной из основ статистической лингвистики XX века.

Джордж Юл и словарное богатство

Параллельно развивалась статистическая стилометрия. Британский статистик Джордж Удни Юл в книге The Statistical Study of Literary Vocabulary 1944 года исследовал распределение словарных частот и предложил количественные характеристики словарного богатства автора. Так вопрос авторства постепенно переходил от простого среднего размера слова к распределению большого числа лексических признаков. Стилометрия всё теснее связывалась с математической статистикой.

Клод Шеннон: язык как источник информации

В 1948 году Клод Шеннон опубликовал работу A Mathematical Theory of Communication, которая стала основой теории информации.

Клод Шеннон около 1930 года. В 1948 году он сделал статистическую структуру сообщения центральной частью теории информации.

Для Шеннона сообщение было последовательностью символов, порождаемой некоторым источником. Его интересовало, сколько информации несёт сообщение и насколько его можно сжать или передать по шумному каналу. Статистическая структура языка здесь перестала быть побочным наблюдением. Она стала частью общей математической теории связи.

Приближения английского языка

В своей статье Шеннон показывал несколько уровней искусственного построения английского текста. На самом грубом уровне буквы выбирались независимо и равновероятно. Затем учитывались реальные частоты букв. На следующем уровне учитывались зависимости между соседними буквами и более длинными последовательностями. Позднее рассматривались и вероятности слов. С каждым уровнем бессмысленные строки становились всё более похожими на настоящий английский язык. Это был наглядный эксперимент над статистической структурой текста.

Марков и Шеннон: два направления

Между Марковым и Шенноном существует выразительная историческая симметрия.

Марков брал готовый текст и измерял зависимость:

текст → статистическая структура.

Шеннон задавал статистическую структуру и смотрел, какой текстоподобный результат она порождает:

вероятности → последовательность.

Шеннон прямо использовал марковские процессы как модель источника сообщений.

Так теория, возникшая из закона больших чисел, вошла в теорию информации.

От цепей к n-граммам

Один из наиболее естественных способов учитывать локальную структуру языка - считать частоты последовательностей фиксированной длины. Один символ или слово - униграмма. Пара - биграмма. Тройка - триграмма. Последовательность длины n - n-грамма. Сам термин сформировался позже, но логика была уже знакома по Маркову и Шеннону: вероятность следующего элемента оценивается по ограниченному контексту предыдущих элементов. В компьютерную эпоху n-граммы стали одним из главных инструментов статистического моделирования языка.

Компьютер меняет масштаб исследования

До середины XX века стоимость подсчёта ограничивала почти всё. Мэнденхолл вручную измерял длины слов. Марков переписывал десятки тысяч букв. Ципф работал с частотными списками. Компьютер радикально изменил положение. Стало возможно автоматически анализировать миллионы и затем миллиарды слов. История статистического анализа текста после этого становится историей корпусов, алгоритмов и вычислительных моделей.

Машиночитаемые корпуса

В 1960-е годы появились крупные проекты машинной обработки естественного языка и первые электронные корпуса. Текст больше не требовалось вручную превращать в таблицы. Программа могла автоматически:

• разбивать текст на слова;
• считать частоты;
• строить словари;
• находить сочетания;
• сравнивать авторов;
• вычислять вероятности последовательностей.

Это резко ускорило развитие стилометрии и компьютерной лингвистики.

Mosteller и Wallace: статистика авторства становится вероятностной

Одним из классических примеров стала работа Фредерика Мостеллера и Дэвида Уоллеса о спорном авторстве статей Federalist Papers. В 1960-е годы они применили вероятностные и байесовские методы к частотам служебных слов и получили статистические аргументы в пользу авторства Джеймса Мэдисона для спорных текстов. Этот эпизод стал переломным для стилометрии.

Вопрос «кто написал текст?» перестал решаться одной красивой характеристикой.

Использовалось множество признаков и вероятностное сравнение гипотез.

Служебные слова оказались полезнее «красивых»

Для авторской атрибуции особенно ценными стали слова, на которые читатель почти не обращает внимания: предлоги, союзы, артикли и другие служебные единицы. Их выбор часто менее зависит от темы текста и сильнее отражает привычки автора. Это важное изменение философии стилометрии. Ранние исследователи искали заметный численный «подпись» автора. Поздняя статистика стала извлекать сигнал из большого числа слабых, незаметных признаков.

Скрытые марковские модели

Во второй половине XX века марковские идеи получили новое развитие в скрытых марковских моделях. В такой модели внутренняя последовательность состояний непосредственно не наблюдается, но каждое состояние порождает наблюдаемый сигнал. Особенно важным применением стало распознавание речи. Звуковой сигнал наблюдаем, а фонетическая или языковая последовательность скрыта.

В 1970-1980-е годы скрытые марковские модели стали одним из основных методов автоматического распознавания речи. Классическим обзором направления стала работа Лоуренса Рабинера 1989 года.

От текста к речи

История количественного анализа языка таким образом вышла за пределы письменного текста. Те же идеи последовательности, частоты и условной вероятности стали использоваться для акустических сигналов. Это важный исторический переход. Статистический язык больше не был только способом описывать книгу. Он стал частью инженерной системы, превращающей звук в слова.

Статистическая компьютерная лингвистика

К концу XX века статистические методы стали центральными для компьютерной лингвистики. Большие корпуса позволяли оценивать вероятности слов и сочетаний непосредственно по данным. N-граммные модели использовались в распознавании речи, исправлении ошибок, машинном переводе и предсказании следующего слова. Вместо составления всех правил языка вручную система могла учиться на частотах реальных текстов. Это был глубокий сдвиг от правил к данным.

Возвращение старых проблем на новом масштабе

Парадоксально, компьютерная эпоха вновь столкнулась с вопросами, знакомыми аль-Кинди и Маркову. Какой объём текста достаточен для устойчивой статистики? Насколько результаты зависят от выбора корпуса? Что делать с редкими словами? Как измерять зависимость между элементами? Как далеко в прошлое должен смотреть алгоритм? Изменилась вычислительная мощность, но многие фундаментальные вопросы остались теми же.

От n-грамм к нейронным моделям

В XXI веке n-граммные и скрытые марковские модели во многих задачах были вытеснены нейронными сетями. Нейронная модель способна учитывать значительно более сложный и дальний контекст, чем простая цепь фиксированного порядка. Однако историческая преемственность остаётся на уровне постановки задачи. Современная языковая модель всё ещё оценивает вероятности продолжения текста на основе предыдущего контекста. Различие заключается в том, как этот контекст представлен и как вычисляется распределение следующего элемента.

Почему современная языковая модель не является цепью Маркова

Популярная формула «LLM - это огромная цепь Маркова» неверна. В простой цепи Маркова состояние обычно имеет заранее определённую ограниченную структуру, и будущее условно независимо от более далёкого прошлого при известном текущем состоянии. Современные трансформеры строят сложные распределённые представления длинного контекста и используют механизм внимания. Историческая связь проходит не через тождество моделей, а через общий вопрос:

как статистическая структура уже наблюдавшейся последовательности изменяет вероятность её продолжения?

Две ветви количественного анализа текста

К XX веку ясно сформировались две большие линии.

Первая - описательная и атрибуционная:

частоты → стиль → авторство → стилометрия.

Вторая - последовательностная и вероятностная:

порядок элементов → зависимость → Марков → Шеннон → языковые модели.

Эти линии постоянно пересекались.

Современная компьютерная лингвистика использует и частотные признаки, и последовательные модели.

Отдельный символ, автор и язык

История показывает три масштаба исследования текста.

Масштаб	Типичный вопрос	Исторический пример
Символ	Какие буквы встречаются чаще?	аль-Кинди
Автор	Какие численные признаки устойчивы у одного писателя?	де Морган, Мэнденхолл, Юл
Последовательность	Как следующий элемент зависит от предыдущих?	Марков, Шеннон
Язык в целом	Как распределены частоты слов?	Ципф
Большой корпус	Можно ли обучить модель прямо на данных?	статистическая компьютерная лингвистика

Эти уровни не заменяли друг друга.

Каждый добавлял новый способ превратить язык в измеримый объект.

Что изменил Марков

В истории статистического анализа текста Марков занимает особое место. Он не был первым, кто считал буквы. Он не был первым, кто искал математические закономерности в языке. Его вклад состоял в другом: порядок символов стал частью статистической модели. До этого можно было составить частотный портрет текста, не зная, в каком порядке стоят элементы. После Маркова последовательность сама стала объектом измерения. Именно этот поворот напрямую ведёт к вероятностным моделям языка XX века.

Что изменил Шеннон

Шеннон сделал следующий шаг. Марков использовал язык как материал для проверки вероятностной теории. Шеннон встроил статистический язык в общую теорию коммуникации. Теперь языковая избыточность, предсказуемость и структура последовательности влияли на количество информации, которое необходимо передать. Так статистика текста стала инженерной величиной.

Что изменил компьютер

Компьютер не изобрёл статистический анализ текста. Он изменил его масштаб и стоимость. То, что Марков делал месяцами вручную, стало возможным для миллионов строк за секунды. Из-за этого методы, когда-то бывшие демонстрационными экспериментами, превратились в основу массовых технологий. Поисковые системы, распознавание речи, фильтрация спама, авторская атрибуция и языковые модели используют потомков тех же идей: считать, сравнивать и моделировать статистическую структуру последовательностей.

Историческая хронология

Дата	Событие
IX век	аль-Кинди описывает частотный анализ букв для криптоанализа.
1851	Август де Морган предлагает использовать длину слов для исследования авторства.
1887	Томас Мэнденхолл публикует «характеристические кривые» распределения длин слов.
1890-е	Винценты Лютославский развивает стилометрию и использует количественные признаки для хронологии текстов Платона.
1906-1907	Марков создаёт теорию цепной зависимости.
1913	Марков исследует 20 000 букв «Евгения Онегина» и включает результаты большого исследования Аксакова в третье издание «Исчисления вероятностей».
1930-е	Джордж Ципф систематически исследует частотное распределение слов.
1944	Джордж Юл публикует The Statistical Study of Literary Vocabulary.
1948	Клод Шеннон включает статистическую структуру языка в теорию информации.
1960-е	Мостеллер и Уоллес применяют вероятностную стилометрию к Federalist Papers; быстро растёт использование машинно-читаемых текстов.
1970-1980-е	Скрытые марковские модели становятся одним из главных методов распознавания речи.
1989	Рабинер публикует классический обзор скрытых марковских моделей и их применения к речи.
1990-е	Статистические методы и n-граммные модели становятся основой многих задач компьютерной лингвистики.
XXI век	Нейронные модели постепенно вытесняют многие классические статистические схемы, сохраняя вероятностную постановку задачи продолжения последовательности.

Историческое значение

История статистического анализа текста показывает, что современная обработка языка выросла не из одного изобретения. В ней соединились несколько традиций. Криптоаналитики научились считать буквы. Стилометристы превратили текст в набор количественных признаков. Марков сделал порядок элементов вероятностным объектом. Ципф обнаружил глобальные закономерности словаря. Шеннон связал структуру сообщений с информацией. Компьютеры позволили применить эти идеи к массивам, которые невозможно было обработать вручную. В результате текст перестал быть только объектом чтения. Он стал также последовательностью данных, которую можно измерять, сравнивать и моделировать.

См. также

• Цепи Маркова
• Марков и «Евгений Онегин»
• Марков и Аксаков: 100 000 букв как математический эксперимент
• Работы Маркова 1906-1907 годов и рождение цепей Маркова
• Клод Шеннон и математическое моделирование языка
• От цепей Маркова к современным языковым моделям
• Стилометрия
• Закон Ципфа
• Скрытая марковская модель

Источники и литература

• Broemeling L. D. An Account of Early Statistical Inference in Arab Cryptology // The American Statistician. 2011. Vol. 65. № 4. P. 255-257.
• Mendenhall T. C. The Characteristic Curves of Composition // Science. 1887. Vol. 9. № 214. P. 237-249.
• Markov A. A. An Example of Statistical Investigation of the Text Eugene Onegin Concerning the Connection of Samples in Chains // Science in Context. 2006. Vol. 19. № 4. P. 591-600.
• Markov A. A. On a Remarkable Case of Samples Connected in a Chain. Appendix on the statistical investigation of a text by Aksakov // Science in Context. 2006. Vol. 19. № 4. P. 601-604.
• Yule G. U. The Statistical Study of Literary Vocabulary. Cambridge University Press, 1944.
• Zipf G. K. The Psycho-Biology of Language. Boston, 1935.
• Zipf G. K. Human Behavior and the Principle of Least Effort. Cambridge, Massachusetts, 1949.
• Shannon C. E. A Mathematical Theory of Communication // Bell System Technical Journal. 1948. Vol. 27. P. 379-423, 623-656.
• Rabiner L. R. A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition // Proceedings of the IEEE. 1989. Vol. 77. № 2. P. 257-286.