Клод Шеннон и математическое моделирование языка

Клод Шеннон и математическое моделирование языка

Клод Шеннон. Граф марковского источника сообщений, пример C. 1948 год.

Статистическое описание источников сообщений, приближения естественного языка и оценка его энтропии в работах Клода Шеннона.

Область

Теория информации; статистическое моделирование языка

Период

1948–1951 годы

Разновидность

Научная концепция

«Клод Шеннон и математическое моделирование языка» - история того, как статистическая структура естественного языка стала частью общей теории информации. В 1948 году американский математик и инженер Клод Элвуд Шеннон в статье A Mathematical Theory of Communication описал источник сообщений как случайный процесс, показал последовательность всё более точных вероятностных приближений английского текста - от независимых равновероятных букв до диграмм, триграмм и переходов между словами - и прямо связал такие источники с марковскими процессами.

Историческое значение этого шага выходит далеко за пределы телекоммуникации. Андрей Марков в 1913 году двигался от литературного текста к статистической структуре; Шеннон продемонстрировал обратное движение - от статистической структуры к искусственно порождаемому текстоподобному сообщению. Именно эта постановка стала одним из главных истоков вероятностного моделирования языка в компьютерную эпоху.

Клод Элвуд Шеннон около 1930 года.

Почему язык оказался внутри теории связи

Шеннон не начинал как лингвист и не ставил целью объяснить человеческий язык.

Его задача была инженерной: понять пределы передачи сообщений по каналу связи.

Телефонная линия, радио или телеграф должны передать некоторую последовательность сигналов от источника к получателю. При этом канал может быть шумным, а само сообщение - обладать внутренней структурой.

В 1948 году Шеннон сформулировал теорию, которая позволяла количественно описывать информацию независимо от конкретного смысла сообщения. Именно здесь естественный язык оказался математически интересен. Если буквы и слова встречались бы совершенно независимо, английский текст был бы гораздо менее предсказуем. Но реальное сообщение содержит сильные ограничения. После одних букв вероятны определённые продолжения, после других - почти невозможны. Такая структура влияет на количество информации, которое несёт каждый новый символ.

От Найквиста и Хартли к Шеннону

Шеннон не начинал с нуля. Ещё в 1924 году инженер Bell System Гарри Найквист в статье Certain Factors Affecting Telegraph Speed исследовал два фундаментальных ограничения телеграфной связи - форму сигнала и выбор кода - и ставил вопрос о максимальной скорости передачи при заданном числе сигнальных элементов.

В 1928 году Ральф Хартли сделал следующий шаг. В работе Transmission of Information он предложил количественную меру «информации», намеренно отделённую от психологического смысла сообщения, и связал количество передаваемой информации с числом различимых возможных последовательностей сигналов.

В первой же части статьи 1948 года Шеннон прямо назвал работы Найквиста и Хартли фундаментальными предшественниками своей общей теории. Историческая линия поэтому идёт не от абстрактного понятия «информации» к технике, а наоборот: от конкретных ограничений телеграфного канала - к общей математике сообщений.

Bell Labs и инженерный контекст

Шеннон работал в Bell Telephone Laboratories с 1941 года. Его исследования проходили в среде, где теория непосредственно сталкивалась с практическими задачами телефонии, радиосвязи, кодирования и криптографии.

Bell Telephone Laboratories в Murray Hill, Нью-Джерси, 1942 год.

В 1948 году A Mathematical Theory of Communication была опубликована в Bell System Technical Journal. Bell Labs позднее характеризовала эту работу как основание современной теории информации и один из ключевых интеллектуальных результатов цифровой эпохи.

Для истории языка особенно важно, что инженерная теория связи потребовала математической модели самого источника сообщений.

Источник нельзя было считать просто генератором независимых букв.

Дискретный источник сообщений

Шеннон рассматривал источник, который последовательно выдаёт символы из конечного алфавита. Простейшая модель могла выбирать каждый символ независимо. Но затем он сразу переходил к более сложному случаю, где вероятность очередного символа зависит от предыдущих состояний. В современной терминологии такой источник можно описывать как случайный процесс. Шеннон прямо использовал выражение Markoff process и давал графическое представление процессов с состояниями и вероятностями переходов. Таким образом, марковская идея входила в теорию информации не как историческая ссылка, а как рабочий математический аппарат.

Марков до Шеннона

Андрей Андреевич Марков. Его опыты с русским текстом предшествовали шенноновской теории информации на несколько десятилетий.

В начале XX века Андрей Андреевич Марков создал теорию цепно зависимых испытаний. В 1913 году он применил её к 20 000 буквам «Евгения Онегина», разделив символы на гласные и согласные и измерив вероятность переходов между двумя типами.

Титульный лист «Евгения Онегина», Санкт-Петербург, 1833 год.

Марков показывал, что естественный текст не является последовательностью независимых символов. Шеннон через три с половиной десятилетия встроил тот же общий принцип в теорию источника информации. Однако их цели были различны. Марков проверял математическую теорию зависимых последовательностей на реальном тексте. Шеннон моделировал источник сообщений и интересовался количеством информации, избыточностью и возможностью эффективной передачи.

Не линия «Марков придумал n-граммы»

В популярной истории иногда утверждают, будто Марков прямо изобрёл современные n-граммные языковые модели. Такая формулировка слишком сильна. Марков действительно исследовал локальные зависимости и более длинные сочетания в текстах Пушкина и Аксакова. Но современная терминология n-грамм, корпусная оценка вероятностей и инженерная задача построения языковой модели сложились позже. Историческая преемственность реальна, но проходит через общий принцип:

вероятность следующего элемента зависит от ограниченного контекста предыдущих элементов.

Шеннон сделал этот принцип особенно наглядным.

Нулевая модель: полный статистический шум

В 1948 году Шеннон предложил серию искусственных приближений английского языка. Нулевое приближение было максимально простым: 26 букв и пробел выбирались независимо и с одинаковой вероятностью. Результат не напоминал язык. Он представлял собой статистический шум. Этот первый уровень был нужен как контроль. Если все символы равновероятны и независимы, никакой языковой структуры ещё нет.

Первое приближение: частоты букв

На следующем уровне символы по-прежнему выбирались независимо, но уже не равновероятно. Каждая буква получала вероятность, близкую к её частоте в английском языке. Например, E должна появляться заметно чаще W. Это уже делает искусственную последовательность внешне немного более похожей на английский текст, но слова всё ещё почти не возникают. Причина очевидна: простая частота буквы ничего не говорит о допустимых соседях. Знать, что E очень часта, недостаточно для моделирования английского.

Второе приближение: диграммы

Следующий шаг вводил структуру пар символов. После выбора первой буквы следующая выбиралась с вероятностью, соответствующей реальной частоте её появления после первой. Так в модель входили диграммы. Сочетания вроде TH получали высокую вероятность, а редкие или невозможные пары подавлялись. Это уже полноценная цепная зависимость первого порядка: распределение следующего символа меняется вместе с текущим символом. Именно на этом уровне связь с марковской моделью особенно прозрачна.

Третье приближение: триграммы

На следующем уровне выбор буквы зависел уже от двух предыдущих. Шеннон использовал частоты троек символов, то есть триграмм. Искусственные последовательности становились заметно более «англоподобными». В них всё чаще появлялись части настоящих слов и правдоподобные окончания. Но смыслового текста ещё не возникало. Этот пример показывал, насколько много структуры языка уже содержится в локальных сочетаниях нескольких символов.

От букв к словам

После триграмм Шеннон не продолжал бесконечно наращивать порядок буквенной модели. Он перешёл к словам. В первом словесном приближении слова выбирались независимо, но с реальными частотами английского языка. Во втором учитывались переходные вероятности между словами. Именно здесь искусственная последовательность начинала особенно заметно напоминать нормальную английскую фразу. Грамматическая и семантическая связность оставалась слабой, но статистическая правдоподобность резко возрастала.

Таблица приближений

Шенноновскую серию можно представить так:

Уровень	Что учитывается	Что отсутствует
Нулевой	Все символы равновероятны.	Частоты и зависимости языка.
Первый буквенный	Реальные частоты отдельных букв.	Связь соседних букв.
Второй буквенный	Частоты пар букв.	Более дальний контекст.
Третий буквенный	Частоты троек.	Дальние зависимости и смысл.
Первый словесный	Реальные частоты слов.	Связь между словами.
Второй словесный	Переходные вероятности между словами.	Более длинная структура фразы.

Это не просто набор учебных примеров.

В таблице фактически показана историческая программа вероятностного моделирования языка: постепенно увеличивать объём контекста и наблюдать, как статистическая модель приближается к реальному тексту.

Как Шеннон генерировал текст без современного компьютера

Особенно интересна практическая сторона эксперимента. Первые простые последовательности Шеннон строил с помощью таблиц случайных чисел и частот символов. Для более сложных приближений он использовал остроумный ручной метод. Чтобы получить следующий символ после некоторой буквы, исследователь случайно открывал книгу, находил очередное появление нужной буквы и записывал символ, следующий за ней. Затем процедура повторялась уже для новой буквы. Для слов использовалась аналогичная логика. Так печатная книга сама служила «таблицей переходных вероятностей».

Ручная симуляция марковского источника

С современной точки зрения этот метод выглядит как симуляция случайного процесса на корпусе. Шеннон не считал всю гигантскую таблицу переходов заранее. Он извлекал отдельный переход непосредственно из случайно выбранного места реального текста. Метод был медленным, но позволял наглядно генерировать последовательности более высокого порядка без электронной обработки корпуса. Это один из любопытных эпизодов предыстории компьютерного моделирования языка.

«Остаток влияния» прошлого

В разделе о графическом представлении марковского процесса Шеннон писал, что состояния могут соответствовать «остатку влияния» предшествующих букв на будущие символы. Это чрезвычайно важная формулировка. Состояние модели хранит не всё прошлое буквально, а только ту информацию о прошлом, которая нужна для распределения следующего шага. Для биграммной модели состоянием может быть последняя буква. Для триграммной - две последние. В более сложной системе состояние может быть устроено иначе. Так язык становится процессом с конечной памятью.

Энтропия: сколько неопределённости остаётся

Шеннон ввёл понятие энтропии источника информации. В простейшем смысле энтропия измеряет среднюю неопределённость следующего символа. Если все символы равновероятны и независимы, неопределённость велика. Если после текущего контекста остаётся лишь несколько вероятных продолжений, неопределённость уменьшается. Язык чрезвычайно ограничен. После некоторых букв и слов круг возможных продолжений резко сужается. Значит, естественный текст содержит избыточность.

Избыточность языка

Избыточность означает, что далеко не каждый теоретически возможный набор символов является нормальным сообщением.

Она проявляется на разных уровнях:

• буквы имеют разные частоты;
• некоторые пары почти невозможны;
• слова имеют неодинаковые частоты;
• грамматика ограничивает порядок слов;
• смысл ограничивает допустимые продолжения ещё сильнее.

Для связи избыточность имеет двойственное значение. Она позволяет сжимать сообщения, потому что часть структуры предсказуема. Одновременно она помогает восстанавливать сообщение при ошибках и шуме.

Почему язык интересовал инженера связи

Если английский текст избыточен, его можно кодировать короче, чем при наивном представлении каждого символа как полностью независимого. Теория информации превращала языковую предсказуемость в инженерную величину. Это принципиально отличало Шеннона от ранних стилометристов. Мэнденхолл считал признаки, чтобы различать авторов. Марков измерял зависимость, чтобы проверить вероятностную теорию. Шеннон спрашивал: сколько информации действительно производит источник сообщений и сколько можно сэкономить при передаче?

1951 год: человек как предсказатель языка

В 1951 году Шеннон опубликовал работу Prediction and Entropy of Printed English. Здесь он столкнулся с проблемой дальних зависимостей. Таблицы всех сочетаний длиной в десятки букв невозможны: число вариантов растёт слишком быстро. Но человек, владеющий языком, умеет использовать огромный контекст. Шеннон превратил это умение в эксперимент.

Угадай следующую букву

Испытуемому показывали начало реального английского текста и предлагали угадывать следующую букву. Если первая догадка была неверна, делалась вторая, затем третья и так далее. По распределению успешных догадок Шеннон оценивал границы энтропии английского языка. Идея была необычайно сильной. Вместо явного построения полной вероятностной модели использовалась статистическая компетенция самого носителя языка. Человек становился приблизительным «идеальным предсказателем».

Дальние зависимости

Работа 1951 года показала, что предсказуемость английского текста определяется не только соседними буквами. На выбор следующего символа влияют слова, синтаксис, фразы и более далёкий контекст. Bell Labs позднее формулировала вывод так: учёт дальних эффектов на масштабе до примерно ста букв снижал оценку энтропии обычного литературного английского примерно до порядка одного бита на букву, что соответствовало очень высокой избыточности. Точные оценки Шеннона позднее уточнялись, но историческое значение эксперимента огромно.

Следующая буква как научная задача

Сегодня предсказание следующего токена ассоциируется прежде всего с языковыми моделями. У Шеннона эта задача появляется в 1951 году как экспериментальный способ измерить энтропию языка. Важно не переносить современную нейросетевую терминологию назад. Шеннон не обучал трансформер и не оптимизировал многомиллиардную модель. Но сама задача была сформулирована предельно ясно:

насколько хорошо можно предсказать следующий символ по известному прошлому?

Этот вопрос станет центральным для вероятностного моделирования языка.

Ципф и Шеннон

Джордж Кингсли Ципф. Частотные закономерности слов были важной частью статистического понимания языка первой половины XX века.

Работы Шеннона развивались в период, когда статистические закономерности языка уже активно изучались. Джордж Кингсли Ципф показывал, что частоты слов имеют устойчивую ранговую структуру: небольшое число слов встречается чрезвычайно часто, огромное число - редко. Ципф описывал глобальное распределение словаря. Шеннон исследовал последовательностную структуру и информационную неопределённость. Вместе эти направления показывали, что язык обладает сложной статистической организацией на нескольких масштабах.

Шеннон и n-граммная традиция

В A Mathematical Theory of Communication Шеннон прямо обсуждал общий случай n-граммных вероятностей: статистическая структура источника могла задаваться частотами последовательностей длины n или соответствующими переходными вероятностями. Это стало одним из важнейших мостов к позднейшей компьютерной лингвистике. В цифровую эпоху n-граммные модели будут обучаться автоматически на больших корпусах и десятилетиями останутся стандартным инструментом распознавания речи, машинного перевода и предсказания текста.

Почему n-граммы стали удобны компьютерам

У n-граммной модели есть важное инженерное преимущество. Вместо всей бесконечной истории она хранит ограниченный контекст. Вероятность следующего слова можно оценить, например, только по двум предыдущим. Это резко уменьшает сложность задачи и делает обучение по корпусу практичным. Цена - потеря дальних зависимостей. Шеннон понимал эту проблему уже в 1948-1951 годах: именно поэтому его эксперимент с человеческим предсказателем был нужен для оценки структуры, которую короткие n-граммы не улавливают.

От теории информации к распознаванию речи

Во второй половине XX века вероятностные языковые модели стали ключевой частью систем автоматического распознавания речи. Акустическая система должна была выбирать между множеством возможных последовательностей слов. Языковая вероятность помогала предпочесть те продолжения, которые чаще встречаются в реальном языке. В сочетании со скрытыми марковскими моделями звукового сигнала n-граммные языковые модели стали основой многих промышленных систем 1970-1990-х годов. Так марковская и шенноновская линии сошлись уже в вычислительной инженерии.

Информационная теория и криптография

История делает ещё один круг. Количественный анализ текста начинался с криптоанализа аль-Кинди. Сам Шеннон во время Второй мировой войны занимался секретной связью, а в 1949 году опубликовал Communication Theory of Secrecy Systems, превратив криптографию в предмет строгой информационной теории. Так частоты, вероятность языка, информация и шифрование снова оказались связаны. Но теперь вместо практического подсчёта букв существовала общая математическая теория.

От передачи текста к его моделированию

Шенноновская теория создавалась для связи. Однако понятие источника оказалось универсальным. Если источник способен порождать текст с определёнными статистическими свойствами, его можно использовать не только для оценки канала, но и как модель языка. Именно здесь рождается важный сдвиг:

текст рассматривается как результат вероятностного генеративного процесса.

Эта идея станет общей для огромного числа моделей XX и XXI веков.

Шеннон не моделировал смысл напрямую

Информационная теория сознательно отделяла техническую проблему передачи от семантики. В знаменитом введении Шеннон подчёркивал, что сообщения часто имеют смысл, но смысловые аспекты не относятся к инженерной задаче теории связи. Это не означало, что смысл не существует или не важен. Шеннон просто строил уровень теории, где можно измерять сообщения без необходимости формализовать их содержание. Для вероятностного моделирования языка это решение оказалось чрезвычайно продуктивным.

Статистически правдоподобно - не значит осмысленно

Искусственные английские последовательности Шеннона становятся всё более похожими на настоящий язык по мере роста порядка модели. Но они не превращаются автоматически в связный текст с намерением и значением. Это исторически важное различие. Локальная статистическая правильность способна создать сильное ощущение языкоподобности. Однако смысл требует более сложной структуры. Та же проблема будет сопровождать развитие языковых моделей на протяжении десятилетий.

От Шеннона к статистической компьютерной лингвистике

Когда появились крупные электронные корпуса, идеи Шеннона стали вычислительно практичными. Программы могли автоматически считать частоты n-грамм, оценивать условные вероятности и выбирать наиболее вероятную последовательность. В 1980-1990-е годы статистический подход стал доминировать во многих областях обработки языка. Языковая модель всё чаще строилась не как набор написанных вручную грамматических правил, а как вероятностная система, обученная на данных.

Перплексия как наследник энтропии

В компьютерной лингвистике качество вероятностной языковой модели часто оценивают через перплексию. Она непосредственно связана с энтропией и средней неожиданностью текста для модели. Чем лучше модель предсказывает реальные последовательности, тем ниже перплексия. Таким образом, шенноновская идея измерять неопределённость источника стала не только теоретическим понятием, но и практической метрикой языкового моделирования.

От n-грамм к нейронным сетям

В XXI веке нейронные языковые модели постепенно вытеснили классические n-граммные системы из многих задач. Нейронная сеть не обязана хранить только последние два-три слова как дискретное состояние. Она строит распределённое представление контекста и способна учитывать гораздо более дальние зависимости. Но базовая вероятностная задача сохранилась:

по известному контексту оценить распределение следующего элемента.

В этом смысле Шеннон находится в фундаментальной предыстории современных языковых моделей.

Почему LLM не является моделью Шеннона

Современную большую языковую модель нельзя отождествлять с марковским источником Шеннона. Трансформер имеет совершенно другую архитектуру, обучается другим способом и способен учитывать большой контекст без фиксированного n-граммного окна. Но историческая преемственность существует на уровне постановки вопроса:

• язык рассматривается как вероятностная последовательность;
• следующий элемент не равновероятен;
• контекст уменьшает неопределённость;
• качество модели связано с вероятностью реального текста;
• предсказание продолжения становится центральной экспериментальной задачей.

Именно эти идеи были ясно сформулированы в работах Шеннона.

Марков → Шеннон → компьютерный язык

Историческую линию можно представить так:

Этап	Главный вопрос
Марков, 1913	Как зависит следующий элемент реального текста от предыдущего?
Шеннон, 1948	Как представить источник сообщений как вероятностный процесс и сколько информации он производит?
Шеннон, 1951	Насколько хорошо человек способен предсказывать следующий символ по длинному контексту?
N-граммные модели	Как автоматически оценить вероятность следующего элемента по корпусу?
Нейронные языковые модели	Как обучить сложное представление большого контекста для вероятностного продолжения текста?

Такая схема не делает современные модели прямыми наследниками одной формулы.

Она показывает постепенное изменение масштаба и вычислительной мощности при сохранении фундаментальной вероятностной постановки.

Историческая хронология

Год	Событие
1906-1907	Марков создаёт теорию цепно зависимых испытаний.
1913	Марков применяет цепную зависимость к текстам Пушкина и Аксакова.
1930-е	Ципф исследует частотные закономерности слов.
1941	Шеннон начинает работу в Bell Labs.
1948	Публикуется A Mathematical Theory of Communication.
1948	Шеннон показывает серию вероятностных приближений английского языка и описывает источники как марковские процессы.
1949	Публикуется Communication Theory of Secrecy Systems.
1951	Шеннон публикует Prediction and Entropy of Printed English и экспериментально исследует предсказуемость следующей буквы.
1960-1970-е	Электронные корпуса делают массовую оценку частот и n-грамм практичной.
1970-1990-е	N-граммные языковые модели и скрытые марковские модели широко используются в распознавании речи.
1990-е	Статистическая компьютерная лингвистика становится одним из ведущих направлений обработки естественного языка.
XXI век	Нейронные модели и трансформеры расширяют вероятностное моделирование на значительно более длинный и сложный контекст.

Историческое значение

В истории математического моделирования языка Шеннон занимает место между классической вероятностью и вычислительной эпохой. Марков показал, что текст обладает измеримой последовательной зависимостью. Шеннон превратил такую зависимость в модель источника информации и связал её с энтропией, избыточностью и предсказанием. Компьютерная лингвистика затем сделала эти модели обучаемыми на огромных корпусах. Главный шенноновский вклад состоял не в конкретной «языковой модели 1948 года». Он дал общий язык, на котором можно говорить о сообщении как о вероятностном источнике, измерять неопределённость продолжения и сравнивать разные уровни статистической структуры. Именно поэтому его работы остаются одним из ключевых исторических мостов от цепей Маркова к современному моделированию языка.

См. также

• История статистического анализа текста
• Цепи Маркова
• Марков и «Евгений Онегин»
• Марков и Аксаков: 100 000 букв как математический эксперимент
• Джордж Кингсли Ципф
• Теория информации
• Энтропия Шеннона
• N-грамма
• От цепей Маркова к современным языковым моделям

Источники и литература

• Shannon C. E. A Mathematical Theory of Communication // Bell System Technical Journal. 1948. Vol. 27. P. 379-423, 623-656.
• Shannon C. E. Prediction and Entropy of Printed English // Bell System Technical Journal. 1951. Vol. 30. № 1. P. 50-64.
• Shannon C. E. Communication Theory of Secrecy Systems // Bell System Technical Journal. 1949. Vol. 28. P. 656-715.
• Markov A. A. An Example of Statistical Investigation of the Text Eugene Onegin Concerning the Connection of Samples in Chains // Science in Context. 2006. Vol. 19. № 4. P. 591-600.
• Link D. Chains to the West: Markov's Theory of Connected Events and Its Transmission to Western Europe // Science in Context. 2006. Vol. 19. № 4. P. 561-589.