Марков и Аксаков: 100 000 букв как математический эксперимент

Марков и Аксаков: 100 000 букв как математический эксперимент

Сергей Тимофеевич Аксаков. Иван Крамской, 1878 год.

Исследование зависимых испытаний на последовательности из 100 000 букв «Детских годов Багрова-внука» Сергея Аксакова.

Область

Теория вероятностей; статистический анализ текста

Разновидность

Математический эксперимент

«Марков и Аксаков: 100 000 букв как математический эксперимент» - исследование Андрея Андреевича Маркова, в котором текст Сергея Тимофеевича Аксакова «Детские годы Багрова-внука» был превращён в массив из 100 000 последовательных букв для проверки предельных теорем теории вероятностей на зависимом реальном материале. Этот опыт продолжал знаменитое исследование 20 000 букв пушкинского «Евгения Онегина», но превосходил его в пять раз по объёму и гораздо яснее показывал переход Маркова от эффектной иллюстрации к систематическому статистическому эксперименту.

Сам Марков объяснял цель почти без литературных комментариев: таблицы должны были показать, «как и в какой мере» на реальном тексте проявляются предельные теоремы исчисления вероятностей. Для него Аксаков был не объектом литературоведческого анализа, а источником длинной зависимой последовательности, на которой можно проверить теорию, созданную в 1906-1912 годах.

Сергей Тимофеевич Аксаков - автор «Детских годов Багрова-внука», текст которых Марков использовал для опыта со 100 000 букв.

Второй большой текстовый опыт Маркова

В 1913 году Марков сделал знаменитый подсчёт по «Евгению Онегину». Он взял 20 000 букв, разделил их на гласные и согласные и показал, что вероятность следующей буквы резко меняется в зависимости от типа предыдущей. Так абстрактная теория зависимых испытаний впервые получила большой эмпирический пример.

Вскоре Марков повторил опыт на другом авторе и резко увеличил масштаб. Дэвид Линк, исследовавший историю распространения марковских идей, пишет, что после Пушкина Марков провёл второй, ещё более обширный подсчёт первых 100 000 букв «Детских годов Багрова-внука». Результаты уже входили в приложение к третьему русскому изданию «Исчисления вероятностей» 1913 года; позднее соответствующий текст был воспроизведён в издании трудов Маркова 1924 года на страницах 577-581.

Современный английский перевод аксаковского приложения был опубликован в 2006 году вместе с переводом пушкинской статьи и исследованием Линка.

Почему именно текст

Андрей Андреевич Марков. Его теория зависимых испытаний первоначально развивалась как чисто математическая конструкция.

С 1906 года Марков доказывал, что классические предельные результаты теории вероятностей действуют не только для независимых испытаний. Он исследовал последовательности, где очередной результат зависит от одного или нескольких предыдущих.

Несколько лет эта теория оставалась почти полностью абстрактной. Линк отмечает, что в 1906-1912 годах Марков либо не находил, либо не искал практического материала для эмпирической проверки своих построений.

Текст оказался чрезвычайно удобным объектом. Буквы образуют длинную последовательность, в которой соседние элементы очевидно не независимы. Русская орфография и фонетика не допускают произвольной комбинации гласных и согласных. При этом каждую букву можно классифицировать очень просто - как гласную или согласную - и получить последовательность из двух состояний.

Так художественное произведение превращалось в экспериментальную систему.

Аксаков и «Детские годы Багрова-внука»

«Детские годы Багрова-внука, служащие продолжением Семейной хроники» - автобиографическое произведение Сергея Тимофеевича Аксакова. Книга создавалась в 1854-1856 годах и вышла отдельным изданием в Москве в 1858 году в типографии Каткова и К°.

В центре книги - детство Сергея Багрова, литературного двойника самого Аксакова, на рубеже XVIII-XIX веков. Это развернутая прозаическая повествовательная последовательность, существенно отличавшаяся от стихотворной структуры «Евгения Онегина».

Линк подчёркивает, что Марков анализировал первые 100 000 букв произведения. Выбор второго автора позволял проверить, сохраняются ли основные статистические эффекты на другом большом русском тексте.

Титульный лист «Евгения Онегина», 1833 год. Пушкинский опыт с 20 000 букв предшествовал исследованию Аксакова.

Сто тысяч букв вручную

Самая впечатляющая сторона опыта становится понятна, если вспомнить, что никаких компьютеров не существовало.

Марков работал с собственной рукописной копией текста.

В примечании к приложению он прямо предупреждал, что его копия немного отличается от оригинала из-за ошибок, допущенных при переписывании. Он считал эти ошибки незначительными и не способными серьёзно изменить результаты. При этом Марков специально сравнивал ситуацию с первым опытом: при работе с Пушкиным он потратил много времени и сил, стараясь исключить такие ошибки; точность вычислений, по его словам, в обоих исследованиях была одинаковой.

Эта короткая ремарка превращает сухие таблицы в важный документ истории вычислений. Сто тысяч букв нужно было переписать, классифицировать и многократно пересчитать вручную. Марков не просто читал текст - он превращал его в массив данных.

44 898 гласных

В 100 000 учитываемых букв Марков насчитал 44 898 гласных.

Средняя вероятность того, что случайно выбранная буква окажется гласной, составляла:

p = 0,44898.

Согласных было соответственно 55 102.

Эти числа близки к пушкинскому результату, где доля гласных составляла около 0,432, но для Маркова важнее была не близость двух авторов, а внутреннее распределение гласных по группам текста.

Десять тысяч групп по десять букв

Марков разделил массив на группы по десять букв и подсчитал, сколько гласных содержится в каждой группе. Получилось 10 000 групп. Распределение выглядело так:

Гласных в группе из 10	Число групп
2	17
3	835
4	4276
5	4011
6	827
7	34

Групп с меньшим чем двумя или большим чем семью числом гласных в этом массиве не встретилось.

Уже здесь видно, что язык не ведёт себя как полностью свободная случайная смесь двух типов символов. Большая часть десятибуквенных фрагментов концентрируется около четырёх-пяти гласных.

Зависимость соседних букв

Ещё важнее оказался подсчёт соседних пар. Марков насчитал 6588 случаев, когда за гласной следовала другая гласная. Поскольку гласных было 44 898, условная вероятность гласной после гласной составляла приблизительно:

p₁ = 0,147.

Вероятность гласной после согласной получилась значительно выше:

p₂ ≈ 0,695.

Разница огромна. После гласной другая гласная встречалась сравнительно редко, а после согласной - примерно в семи случаях из десяти. Это была сильная отрицательная связь между соседними состояниями: русский текст стремился чередовать гласные и согласные.

Сравнение с «Евгением Онегиным»

Пушкинский и аксаковский массивы различались по объёму и типу текста, но давали сходную картину.

Показатель	«Евгений Онегин»	«Детские годы Багрова-внука»
Число букв	20 000	100 000
Доля гласных	около 0,432	0,44898
Гласная после гласной	около 0,128	около 0,147
Гласная после согласной	около 0,663	около 0,695

Цифры не совпадают, да и не должны совпадать. Но основная структура одинакова: вероятность следующей буквы резко зависит от типа предыдущей. Это усиливало главный вывод Маркова - связность текста не была случайной особенностью одной пушкинской главы.

Почему простой подсчёт частот был недостаточен

Если знать только число гласных и согласных, текст можно было бы представить как урну с двумя типами шаров. Но такая модель теряет порядок. Марков исследовал именно порядок появления символов. Два текста могут иметь одинаковые 44,9 % гласных, но совершенно разную структуру: в одном гласные могут собираться длинными сериями, в другом - почти всегда чередоваться с согласными. Цепная модель отличает эти случаи. Исторически это был переход от статистики состава к статистике последовательности.

Дисперсия оказалась слишком маленькой

Марков сравнивал наблюдаемое распределение числа гласных с тем, которое ожидалось бы при независимом выборе букв. Для первоначальных групп по десять букв он получил коэффициент дисперсии около 0,25. Значение значительно ниже единицы означает, что реальный текст колеблется слабее, чем независимая случайная смесь с той же общей долей гласных. Это ещё один способ увидеть зависимость. Язык ограничивает комбинации символов и подавляет часть тех случайных колебаний, которые были бы возможны при независимом выборе букв.

Эксперимент внутри эксперимента

Самая интересная часть работы Аксакова состоит в том, что Марков не ограничился пассивным подсчётом текста. Он искусственно изменил порядок наблюдений. Чтобы ослабить непосредственную связь соседних букв, Марков составлял новые группы по десять символов из букв, разделённых в исходном тексте девятью другими буквами. То есть вместо:

1-я, 2-я, 3-я, 4-я…

он фактически соединял в одну группу далёкие друг от друга позиции. Связность языка между такими буквами должна быть значительно слабее. Это уже настоящий экспериментальный приём: исследователь меняет организацию данных и смотрит, меняются ли статистические характеристики.

Когда зависимость разрушили

После такой перестановки распределение групп стало удивительно близким к теоретическому распределению независимых испытаний. Для изменённой последовательности Марков получил коэффициент дисперсии около 1,05 - почти единицу. Он также выписал рядом наблюдаемое и теоретическое распределения.

Гласных из 10	Изменённый текст	Теория независимости
0	26	26
1	233	210
2	793	771
3	1699	1675
4	2320	2389
5	2319	2335
6	1548	1586
7	740	738
8	261	226
9	59	41
10	2	3

Для ручного эксперимента начала XX века это чрезвычайно наглядный результат. Пока буквы сохраняют естественное соседство, распределение далеко от независимой модели. Когда соседство искусственно разрушено, распределение почти возвращается к ней.

Группы по сто и тысяче

Марков исследовал текст на нескольких масштабах. Он распределял сотни букв по числу содержащихся в них гласных, а также рассматривал блоки по тысяче букв. В группах из 100 букв число гласных в основном колебалось примерно между 40 и 50; максимальная частота приходилась на 45 гласных - 196 групп. Для блоков из тысячи букв Марков исследовал отклонение числа гласных от 449. Этот переход от 10 к 100 и 1000 знакам позволял видеть, как локальная зависимость сочетается с устойчивостью больших массивов. Именно это и было связано с его исходной теоретической проблемой - предельными теоремами.

Каждая вторая буква

В последнем опыте Марков ещё раз изменил структуру выборки. Он оставлял без учёта каждую вторую букву, так что в одну группу попадали буквы, разделённые в исходном тексте одним символом. И здесь произошло особенно интересное изменение. Для такой последовательности коэффициент дисперсии поднялся примерно до 1,45 - уже выше единицы. Вероятность гласной после гласной в новом порядке стала около 0,552, а после согласной - около 0,365. Знак зависимости фактически перевернулся.

Почему зависимость меняет знак

В исходном тексте соседние буквы стремятся чередоваться:

гласная → чаще согласная → снова чаще гласная.

Поэтому через один символ возникает обратный эффект. Если текущая буква гласная, следующая часто согласная, а через шаг снова повышается вероятность гласной. Марковский подсчёт каждой второй буквы превращал эту интуицию в численный результат. Это один из наиболее выразительных моментов всей работы. Марков не просто показывал, что буквы «зависят». Он измерял структуру зависимости на разных расстояниях.

От первого соседа ко второму

Для первых 10 000 букв изменённой последовательности Марков получил 4462 гласные и 2470 случаев, когда две гласные разделялись одной буквой. Для всего 100-тысячного массива число таких пар достигло 24 773. Из полного массива он получил приблизительно:

p₁ = 0,552;

p₂ = 0,365.

В его обозначениях величина, характеризующая разницу переходов, составляла около +0,187. Для непосредственно соседних букв соответствующая величина была отрицательной - около −0,548. На расстоянии одного пропущенного символа связь меняла направление.

Почему это важно для истории цепей Маркова

Современный учебный пример цепи Маркова часто ограничивается таблицей переходов между двумя состояниями. Аксаковский опыт показывает, насколько более исследовательским был исходный замысел. Маркова интересовало:

• как выглядит зависимость при естественном соседстве;
• что происходит, если соседство разрушить;
• как меняется дисперсия;
• что происходит на расстоянии через одну букву;
• как локальная структура проявляется в больших блоках по 100 и 1000 знаков;
• насколько реальные данные соответствуют предельным теоремам.

Это уже не просто иллюстрация определения.

Это программа изучения зависимой последовательности.

Ручная «обработка данных» до компьютеров

История опыта особенно впечатляет своим материальным масштабом. Марков не мог загрузить роман в программу и получить таблицы за секунды. Он переписывал текст, размечал буквы, формировал группы, считал частоты, суммы и отклонения вручную. Его примечание об ошибках переписывания напоминает о том, что данные сами были результатом физического труда. Современная вычислительная статистика часто воспринимает текст как уже готовый цифровой массив. У Маркова создание массива было отдельной частью эксперимента. В этом смысле его работа принадлежит не только истории вероятности, но и ранней истории обработки данных.

Ошибка переписывания как часть научной честности

Марков не скрывал несовершенства материала. Он прямо написал, что его рукописная копия немного отличается от оригинала из-за допущенных им ошибок. Но он оценивал их как незначительные и считал, что они не способны серьёзно изменить результат. Эта ремарка важна методологически. Марков различал точность исходных данных и точность вычислений. В первом опыте он затратил значительно больше усилий на устранение ошибок переписывания; во втором допустил небольшое количество ошибок, но вычислял с той же точностью. Перед нами ранний пример явного обсуждения качества данных.

Не литературоведение

Было бы ошибкой считать работу анализом стиля Аксакова в литературоведческом смысле. Марков не пытался определить художественную индивидуальность автора, сравнить синтаксис или объяснить содержание произведения. От Аксакова в модели оставалась почти только бинарная последовательность:

гласная / согласная.

Это радикальное упрощение было сознательным. Марков хотел проверить вероятностные теоремы, а не интерпретировать литературу. Но именно такая редукция открыла дорогу к будущей количественной обработке текста.

Пушкин и Аксаков как два этапа

Александр Пушкин. Первый большой текстовый опыт Маркова был проведён на «Евгении Онегине».

Два опыта полезно рассматривать вместе.

Пушкинский массив был сравнительно компактным и методологически подробным. Марков тщательно показывал, как располагает буквы и вычисляет зависимость.

Аксаковский массив был в пять раз больше и больше походил на проверку устойчивости уже созданного метода. Пушкин сделал цепную зависимость наглядной. Аксаков показал, что тот же аппарат работает на гораздо более крупном другом тексте.

Почему Аксаков менее известен

В истории науки пушкинский эксперимент почти полностью затмил аксаковский. Причин несколько. «Евгений Онегин» культурно узнаваем и сам по себе создаёт яркий сюжет. Пушкинская статья была опубликована отдельно в академическом журнале и чаще цитировалась. Аксаковские таблицы существовали как приложение к «Исчислению вероятностей» и позднему изданию трудов. Линк специально отмечал, что даже научная литература обычно ссылалась на пушкинскую статью, тогда как второй опыт оставался гораздо менее известным. Между тем по объёму ручных расчётов и по разнообразию статистических проверок аксаковский опыт не менее интересен.

История публикации

По исследованию Дэвида Линка, результаты анализа 100 000 букв уже были включены в приложение к третьему русскому изданию «Исчисления вероятностей» Маркова 1913 года.

Позднее текст был воспроизведён в издании Маркова 1924 года на страницах 577-581. Именно эту версию указывает современный английский перевод как источник.

Так возникла библиографическая двойственность: опыт относится к позднему этапу работ Маркова над текстом и присутствовал в издании 1913 года, но часто цитируется по посмертному изданию 1924 года.

Английский перевод 2006 года

Долгое время оба текстовых исследования Маркова были мало доступны западному читателю. В специальном выпуске журнала Science in Context в 2006 году были опубликованы английские переводы пушкинского исследования и аксаковского приложения, а также большой исторический комментарий Дэвида Линка. Это существенно изменило доступность первоисточников. Современный исследователь может сопоставить не поздний пересказ, а сами таблицы Маркова и его краткие пояснения.

От текста к количественной лингвистике

Марков не называл свою работу лингвистикой. Но в ретроспективе она стала одним из важных ранних эпизодов количественного исследования языка. Для этого были сделаны несколько шагов, которые позднее станут обычными:

• текст превращён в последовательность дискретных признаков;
• подсчитаны частоты отдельных категорий;
• исследованы условные вероятности соседних элементов;
• измерена зависимость на разных расстояниях;
• реальные распределения сопоставлены с теоретическими;
• порядок элементов искусственно изменён для проверки гипотезы.

В XX веке сходная логика появится в n-граммных моделях, теории информации, распознавании речи и компьютерной лингвистике.

Но это ещё не языковая модель

Связь с позднейшими методами не следует преувеличивать. Марков не строил модель, способную порождать осмысленный текст. Он не исследовал слова, предложения или семантику. Его состояние содержало всего один бит лингвистической информации - гласная или согласная. Историческое значение не в том, что он «изобрёл современную языковую модель», а в том, что он показал возможность строгого вероятностного исследования структуры последовательности символов.

Шеннон и следующий этап

В 1948 году Клод Шеннон использовал статистические зависимости языка уже в теории связи. Он показывал, как учёт частот букв, пар и более длинных последовательностей постепенно делает искусственно генерируемые строки похожими на естественный английский текст. Марков шёл от реального текста к измерению зависимости. Шеннон - от заданной вероятностной структуры к построению сообщения. Между ними нет простой прямой линии, но аксаковский опыт занимает важное место в предыстории такого подхода.

Значение для истории науки

Аксаковский опыт важен сразу в нескольких исторических планах. Во-первых, он показывает переход от теоретической вероятности к эмпирической проверке на большом массиве данных. Во-вторых, он документирует масштаб ручной обработки данных до вычислительной эпохи. В-третьих, Марков сознательно изменял порядок элементов, то есть фактически проводил контролируемый эксперимент над структурой данных. В-четвёртых, работа показала, что зависимость имеет разные уровни и может менять характер с расстоянием между символами. В-пятых, второй автор и пятикратное увеличение массива демонстрировали, что исследовательская программа вышла за пределы одного эффектного пушкинского примера.

От 20 000 к 100 000

Рост объёма с 20 000 до 100 000 букв был не простой гонкой за большим числом. Для предельных теорем размер массива принципиален. Чем больше наблюдений, тем яснее можно увидеть устойчивое распределение и отделить систематическую структуру от случайных колебаний. Именно поэтому Марков прямо связывал таблицы Аксакова с вопросом о том, насколько предельные теоремы проявляются на практике. В этой формулировке хорошо виден переход от литературного курьёза к экспериментальной математике.

Хронология

Год	Событие
1854-1856	Аксаков работает над «Детскими годами Багрова-внука».
1858	Произведение выходит отдельной книгой в Москве.
1906	Марков распространяет закон больших чисел на определённые зависимые величины.
1907	Марков систематически исследует зависимые испытания.
1911	Развивает теорию более сложных цепных зависимостей.
1913	Проводит и публикует статистическое исследование 20 000 букв «Евгения Онегина»; результаты более крупного исследования Аксакова включаются в приложение к третьему изданию «Исчисления вероятностей».
1924	Аксаковское приложение воспроизводится в посмертном издании трудов Маркова, с. 577-581.
2006	Публикуются английский перевод приложения и исторический комментарий Дэвида Линка.

Наследие

Опыт с Аксаковым показывает Маркова не только как создателя абстрактной вероятностной конструкции. Перед нами исследователь, который вручную создал массив из 100 000 наблюдений, признал погрешности исходных данных, разбил текст на группы разных масштабов, измерил переходы между состояниями и затем изменил сам порядок наблюдений, чтобы проверить роль зависимости. Такой способ работы выглядит удивительно современно. Но историческая дистанция принципиальна: все операции выполнялись без электронных вычислений, а математический аппарат создавался одновременно с самим экспериментом. Именно поэтому 100 000 букв Аксакова заслуживают отдельного места в истории цепей Маркова и в ранней истории количественного анализа текста.

См. также

• Цепи Маркова
• Марков и «Евгений Онегин»
• Работы Маркова 1906-1907 годов и рождение цепей Маркова
• История статистического анализа текста
• Клод Шеннон и математическое моделирование языка
• Сергей Тимофеевич Аксаков
• Детские годы Багрова-внука

Источники и литература

• Аксаков С. Т. Детские годы Багрова-внука, служащие продолжением Семейной хроники. Москва: Типография Каткова и К°, 1858.
• Markov A. A. On a Remarkable Case of Samples Connected in a Chain. Appendix on the statistical investigation of a text by Aksakov // Science in Context. 2006. Vol. 19. № 4. P. 601-604.
• Markov A. A. An Example of Statistical Investigation of the Text Eugene Onegin Concerning the Connection of Samples in Chains // Science in Context. 2006. Vol. 19. № 4. P. 591-600.
• Link D. Chains to the West: Markov's Theory of Connected Events and Its Transmission to Western Europe // Science in Context. 2006. Vol. 19. № 4. P. 561-589.
• Марков А. А. Исчисление вероятностей. 3-е русское издание. Санкт-Петербург, 1913.
• Марков А. А. Избранные труды / издание 1924 года, с. 577-581.