От цепей Маркова к современным языковым моделям
Развитие вероятностного моделирования последовательностей: от цепей Маркова и статистики языка к нейронным языковым моделям.
- Область
- Теория вероятностей; компьютерная лингвистика; нейронные сети
- Период
- XX–XXI века
- Разновидность
- История научных моделей
«От цепей Маркова к современным языковым моделям» - история изменения вероятностных моделей языка от первых исследований зависимых последовательностей Андрея Маркова до нейронных сетей и трансформеров. Эта история не является прямой генеалогией, в которой современная большая языковая модель представляет собой просто «очень большую цепь Маркова». Напротив, главное историческое содержание состоит в последовательной смене способов хранить и использовать контекст: от нескольких дискретных состояний и таблиц переходов к статистике n-грамм, распределённым векторным представлениям, рекуррентным сетям, механизму внимания и масштабному предобучению.
При этом фундаментальный вопрос удивительно устойчив. Марков спрашивал, как вероятность следующего элемента зависит от предыдущего состояния. Шеннон - насколько контекст уменьшает неопределённость следующего символа. Современная авторегрессионная языковая модель также строит вероятностное распределение продолжения текста. Изменился прежде всего способ представления контекста - и масштаб, на котором его стало возможно изучать.
Почему эту историю легко рассказать неправильно
Сходство между цепями Маркова и современными языковыми моделями действительно существует. И там и там рассматривается последовательность; известный контекст влияет на вероятность следующего элемента; модель можно использовать для вероятностной генерации продолжения.
Но из этого не следует тождество.
Простая цепь Маркова первого порядка хранит всю необходимую для следующего шага информацию в текущем состоянии. Классическая n-граммная модель ограничивается фиксированным числом предыдущих слов или символов. Современная нейронная модель строит сложное внутреннее представление контекста, обученное на огромном числе примеров, и не обязана сводить прошлое к одному дискретному состоянию.
Поэтому исторически полезнее говорить не о прямой линии «цепь Маркова → LLM», а об эволюции одной постановки:
- как превратить структуру уже увиденной последовательности в вероятность её продолжения?
Марков: зависимость становится математическим объектом
В 1906-1907 годах Андрей Марков создал математическую схему цепно зависимых испытаний. Его исходная проблема относилась к закону больших чисел: он стремился показать, что статистическая устойчивость возможна и без полной независимости случайных величин.[1]
В этой схеме следующий шаг зависел от текущего состояния, а более далёкое прошлое влияло через цепь последовательных переходов.
Исторически это был принципиальный сдвиг. Вероятность начинала описывать не только отдельные исходы, но и развивающуюся во времени систему.
1913 год: язык становится последовательностью данных
В 1913 году Марков применил свою теорию к 20 000 буквам «Евгения Онегина». Каждая буква была сведена к одному из двух состояний - гласной или согласной - и Марков измерял вероятности перехода между этими состояниями.[2]
Он не пытался генерировать стихи Пушкина и не строил полноценную модель русского языка. Его задача была значительно уже: показать измеримую зависимость в реальной последовательности.
Но именно этот опыт закрепил одну из ключевых идей будущего языкового моделирования: текст имеет вероятностную структуру, и порядок элементов несёт информацию.
Сто тысяч букв Аксакова
В том же исследовательском цикле Марков обработал 100 000 букв «Детских годов Багрова-внука» Сергея Аксакова. Он не только считал переходы, но и искусственно изменял порядок букв, чтобы увидеть, как разрушение естественного соседства меняет статистические характеристики.[3]
Подробно этот опыт рассматривается в статье Марков и Аксаков: 100 000 букв как математический эксперимент.
Исторически он особенно интересен как ранний пример работы с большим массивом последовательных данных вручную.
Что было ограничено в модели Маркова
Для языкового моделирования марковская схема имела очевидное ограничение. Если состоянием является только предыдущая буква, модель не знает слово целиком. Если состояние включает две предыдущие буквы, она видит немного больше. Можно расширять состояние, но число возможных комбинаций быстро растёт. Это фундаментальная проблема конечного контекста. Она будет сопровождать статистические языковые модели почти весь XX век.
Шеннон: от анализа текста к генерации
В 1948 году Клод Шеннон в A Mathematical Theory of Communication рассмотрел источник сообщений как случайный процесс и прямо использовал марковские процессы для описания источников, где вероятность следующего символа зависит от состояния.[4] Шеннон показал несколько искусственных приближений английского языка. Сначала буквы выбирались равновероятно и независимо. Затем использовались реальные частоты отдельных букв. Потом - частоты пар и троек. Наконец, модель переходила к словам и вероятностям перехода от одного слова к другому.[4] С каждым шагом бессмысленная последовательность становилась всё более похожей на настоящий английский текст.
Шенноновский поворот
У Маркова направление анализа было таким:
- реальный текст → подсчёт → зависимость.
У Шеннона появилось обратное движение:
- зависимость → случайная генерация → текстоподобная последовательность.
Это принципиально важный исторический поворот. Вероятностная модель языка теперь могла не только описывать наблюдаемый текст, но и выступать как генератор. Именно этот взгляд будет затем постоянно возвращаться в истории языковых моделей.
Следующая буква как научная задача
В 1951 году Шеннон опубликовал Prediction and Entropy of Printed English. Испытуемые пытались угадывать следующую букву реального текста, имея перед собой предыдущий контекст.[5]
Эксперимент был способом измерить избыточность языка и влияние дальнего контекста.
Для истории современных моделей особенно важна сама постановка:
- насколько хорошо можно предсказать следующий элемент по уже известному тексту?
Сегодня та же формальная задача лежит в основе обучения авторегрессионных нейронных языковых моделей, хотя математический аппарат и масштаб радикально отличаются.
N-граммы: память фиксированной длины
Во второй половине XX века одним из основных практических способов моделировать язык стали n-граммы. В биграммной модели следующее слово оценивается по одному предыдущему. В триграммной - по двум. В модели более высокого порядка контекст становится длиннее. Преимущество такого подхода состояло в простоте: частоты можно было непосредственно посчитать в большом корпусе. Недостаток становился всё заметнее по мере роста n. Чем длиннее контекст, тем больше возможных комбинаций и тем меньше данных приходится на каждую из них. Это явление позже получит классическое имя проблемы разреженности данных.
Ципф и огромный хвост словаря
Работы Джорджа Ципфа особенно ясно показывали одну из причин сложности. Небольшое число слов встречается чрезвычайно часто, но огромное число слов появляется редко.[6] Для n-граммной модели это означает, что большинство длинных сочетаний в обучающем тексте встречается мало раз или не встречается вообще. Поэтому классическая статистическая лингвистика разработала сложные методы сглаживания, резервного распределения вероятности и интерполяции моделей разных порядков.
Почему n-граммы были столь успешны
Несмотря на ограничения, n-граммные модели десятилетиями оставались важнейшим инструментом. Они использовались в распознавании речи, исправлении ошибок, вводе текста, машинном переводе и других задачах. Их успех имел историческое значение: языковая технология всё меньше зависела от заранее написанного полного набора правил. Система могла извлекать существенную часть языковой структуры непосредственно из больших корпусов. Это был переход от правил к данным.
Скрытые марковские модели и речь
Параллельно огромную роль получили скрытые марковские модели. В них последовательность внутренних состояний непосредственно не наблюдается, но каждое состояние связано с вероятностным наблюдаемым сигналом. Для распознавания речи это было особенно удобно: акустический сигнал наблюдаем, а последовательность фонетических состояний скрыта.
К 1970-1980-м годам скрытые марковские модели стали одним из центральных методов автоматического распознавания речи. Классический обзор Лоуренса Рабинера 1989 года закрепил их как стандартный инженерный аппарат.[7]
Здесь историческая линия от Маркова была уже прямой не только по названию, но и по математическому аппарату.
1949 год: Уивер и идея статистического перевода
В 1949 году Уоррен Уивер написал меморандум о машинном переводе и предложил рассматривать проблему в том числе через идеи статистики и теории информации. Много десятилетий эта линия оставалась технически слишком трудной. В работе IBM начала 1990-х годов Питер Браун и соавторы прямо вспоминали предложение Уивера и отмечали, что ранний статистический путь был ограничен слабостью компьютеров и нехваткой машиночитаемых текстов.[8] История вновь упиралась в масштаб данных и вычислений.
IBM и статистический машинный перевод
В конце 1980-х - начале 1990-х годов исследователи IBM создали влиятельную систему статистического машинного перевода. Вместо попытки вручную описать все правила соответствия французского и английского языков модель оценивала вероятности по большим параллельным корпусам. В 1993 году Питер Браун, Стивен Делла Пьетра, Винсент Делла Пьетра и Роберт Мерсер опубликовали подробную математическую систему моделей перевода и выравнивания слов.[9] Этот этап был исторически важен не только для перевода. Он показал, насколько далеко может зайти языковая технология, если заменить большой набор экспертных правил статистическим обучением на корпусе.
Вероятность становится обучаемой из данных
Марков вручную задавал и вычислял переходы. Шеннон работал с известными или оцениваемыми статистиками источника. N-граммные системы считали частоты. Статистический машинный перевод сделал следующий шаг: модель с большим числом параметров обучалась по корпусу соответствующих примеров. Так в языковой технологии постепенно утвердился принцип:
- не задавать всю структуру заранее, а оценивать её из данных.
Этот принцип станет центральным и для нейронных моделей.
Главная проблема: похожие слова не похожи для таблицы
У n-граммной модели каждое слово является отдельным символом. Если модель видела «кошку», это само по себе почти ничего не говорит ей о слове «собака». Для человека слова могут быть семантически похожими. Для таблицы частот это совершенно разные элементы. Так возникает ещё один фундаментальный предел классического подхода. Необходимо научиться переносить информацию между похожими словами и похожими контекстами.
Нейронные представления: распределённая идея
Нейронный подход предложил иной способ. Вместо того чтобы хранить каждое слово как независимый дискретный символ, слово можно представить набором чисел - вектором. Слова, встречающиеся в похожих контекстах, могут получить похожие представления. Это создаёт возможность обобщения. Даже если конкретная последовательность никогда не встречалась в обучающем тексте, модель может использовать сходство её компонентов с уже известными примерами.
2003 год: нейронная вероятностная языковая модель
В 2003 году Йошуа Бенжио, Режан Дюшарм, Паскаль Венсан и Кристиан Жовен опубликовали статью A Neural Probabilistic Language Model.[10] Авторы прямо формулировали задачу статистического языкового моделирования как изучение совместного распределения последовательностей слов. Они критиковали n-граммный подход за «проклятие размерности»: новая последовательность почти всегда отличается от всех последовательностей, встречавшихся при обучении.[10] Главным решением было обучать одновременно вероятностную модель и распределённые представления слов.
Почему 2003 год был важен
Нейронная модель Бенжио всё ещё использовала ограниченный контекст нескольких предыдущих слов. В этом смысле она не избавилась полностью от логики n-граммы. Но произошёл принципиальный поворот. Контекст теперь обрабатывался не таблицей отдельных комбинаций, а нейронной функцией над обученными векторами слов. Модель могла переносить статистический опыт между сходными контекстами. Исторически это один из важнейших мостов от классического статистического моделирования к современным нейронным языковым системам.
Фиксированное окно остаётся ограничением
Нейронная модель с фиксированным окном лучше обобщала, но всё ещё видела только несколько предыдущих слов. Чтобы учитывать контекст произвольной длины, требовалась другая архитектура. Так снова возникала проблема памяти - та же проблема, которая в примитивном виде присутствовала уже у цепей Маркова. Но теперь задача ставилась иначе:
- не сколько дискретных предыдущих состояний хранить, а как построить обучаемое внутреннее состояние, способное суммировать прошлую последовательность.
Рекуррентные нейронные сети
Рекуррентная нейронная сеть обновляет внутреннее состояние после каждого нового элемента. Теоретически это позволяет переносить информацию через последовательность произвольной длины. На практике ранние RNN сталкивались с серьёзными трудностями обучения длинным зависимостям. Тем не менее к концу 2000-х вычислительная мощность, объёмы данных и методы обучения сделали рекуррентные языковые модели практически конкурентоспособными.
2010 год: RNN-языковая модель Миколова
В 2010 году Томаш Миколов и соавторы представили на конференции INTERSPEECH рекуррентную нейронную языковую модель для распознавания речи.[11] Авторы показали существенное снижение перплексии по сравнению с сильными n-граммными моделями и улучшение качества распознавания речи.[11] Историческое значение результата состояло в практическом подтверждении: обучаемое непрерывное состояние может хранить более полезный контекст, чем фиксированная таблица последних n слов.
От дискретного состояния к непрерывному
Здесь особенно хорошо видно отличие от классической цепи Маркова. В конечной цепи состояние выбирается из заранее заданного набора. В RNN состояние - числовой вектор, значения которого формируются самой сетью. Оно не обязано иметь человечески интерпретируемое название вроде «последние два слова». Так модель получает возможность сама решать, какую информацию о прошлом следует сохранить. Это одна из главных концептуальных перемен всей истории языкового моделирования.
LSTM и проблема длинной памяти
Обычные RNN плохо удерживали информацию на больших расстояниях из-за проблем затухающих и взрывающихся градиентов. Архитектура LSTM, предложенная ещё в 1990-е годы, постепенно стала одним из главных способов работы с более длинными зависимостями. К началу 2010-х LSTM активно использовались в распознавании речи, языковом моделировании и машинном переводе. Контекст больше не задавался фиксированным окном, но всё ещё проходил через последовательное обновление скрытого состояния.
2014 год: sequence-to-sequence
В 2014 году Илья Суцкевер, Ориоль Виньялс и Куок Ле представили подход Sequence to Sequence Learning with Neural Networks.[12] Одна LSTM кодировала входную последовательность в векторное представление, другая декодировала из него выходную последовательность. На задаче перевода с английского на французский нейронная система показала результаты, сопоставимые с сильными фразовыми статистическими системами того времени.[12] Это был важный рубеж. Перевод больше не требовал отдельных явно заданных моделей выравнивания слов, перестановок и фраз. Система могла обучаться от начала до конца на парах предложений.
Но одно состояние должно было вместить всё предложение
Первоначальный seq2seq-подход имел очевидную трудность. Весь исходный текст нужно было сжать в один фиксированный вектор. Для длинных предложений это становилось бутылочным горлышком. История снова столкнулась с проблемой представления прошлого. Решением стал механизм внимания: декодер получил возможность обращаться не только к одному итоговому вектору, а к разным частям входной последовательности.
Внимание меняет отношение к памяти
Механизм внимания изменил саму идею контекста. Вместо необходимости постоянно проталкивать всю релевантную информацию через одно рекуррентное состояние модель могла на каждом шаге выбирать, какие части предыдущего представления сейчас важны. Это резко улучшило работу с длинными последовательностями. К середине 2010-х внимание стало центральным компонентом нейронного машинного перевода. Следующий шаг состоял в том, чтобы убрать рекуррентность вообще.
2017 год: Transformer
В июне 2017 года Ашиш Васвани и соавторы опубликовали работу Attention Is All You Need.[13] Авторы предложили архитектуру Transformer, основанную на механизмах внимания без рекуррентных и свёрточных слоёв. Первоначально Transformer был представлен прежде всего как модель для машинного перевода. Он оказался качественнее предыдущих систем, значительно лучше параллелизировался и быстрее обучался на современном аппаратном обеспечении.[13] Исторически архитектура решила одно из главных ограничений рекуррентной эпохи: обработка последовательности больше не обязана была идти строго шаг за шагом через единственное скрытое состояние.
Self-attention и новый тип контекста
В self-attention каждый элемент последовательности может вычислять связь с другими элементами в рассматриваемом контексте. Это не означает, что Transformer имеет бесконечную память. Контекст всё равно ограничен архитектурой и ресурсами. Но способ его использования качественно иной. Модель может напрямую связывать удалённые элементы, не передавая информацию через длинную цепочку промежуточных рекуррентных состояний. Именно поэтому Transformer оказался особенно удобен для масштабного языкового моделирования.
2018 год: генеративное предобучение
В 2018 году была представлена модель GPT - Generative Pre-Training.[14] Идея соединяла Transformer с предварительным обучением на большом объёме неразмеченного текста. Сначала модель обучалась общей языковой задаче. Затем её адаптировали к конкретным задачам с размеченными примерами.[14] Исторический смысл был в изменении отношения между языковой моделью и приложением. Раньше модель часто строилась специально для одной задачи. Теперь одна общая предварительно обученная система могла становиться основой для множества последующих задач.
BERT и параллельная линия 2018 года
В том же 2018 году исследователи Google представили BERT - Transformer-модель с двунаправленным предварительным обучением представлений текста.[15] BERT не является авторегрессионной генеративной моделью того же типа, что GPT. Но исторически обе работы показали силу одного и того же общего принципа:
- сначала обучить большое языковое представление на огромном объёме неразмеченного текста, затем использовать его в различных задачах.
Так «языковая модель» перестала быть только вспомогательным компонентом распознавания речи или перевода.
Она стала универсальным носителем языкового знания для вычислительной системы.
2020 год: масштаб становится самостоятельным фактором
Следующий исторический этап связан не столько с новой формулой, сколько с масштабированием. В 2020 году работа Scaling Laws for Neural Language Models показала устойчивые эмпирические зависимости между качеством языковой модели, размером модели, объёмом данных и вычислительным бюджетом.[16] Это меняло исследовательскую стратегию. Увеличение масштаба переставало быть просто инженерным улучшением и становилось прогнозируемым способом повышать качество модели.
GPT-3 и few-shot-парадигма
В том же 2020 году GPT-3 продемонстрировала, что достаточно крупная авторегрессионная языковая модель способна выполнять множество задач, если задача и несколько примеров сформулированы непосредственно в тексте запроса, без отдельного обучения параметров под каждую задачу.[17] Авторы описывали GPT-3 как авторегрессионную модель с 175 миллиардами параметров и исследовали zero-shot, one-shot и few-shot режимы.[17] Исторически это ещё сильнее размывало границу между «языковой моделью» и «системой для конкретной задачи». Продолжение текста стало универсальным интерфейсом для перевода, вопросно-ответных задач, классификации и других видов обработки языка.
Следующий токен вместо следующей буквы
У Маркова элементом могла быть категория «гласная/согласная». У Шеннона - буква или слово. У n-граммных моделей - обычно слово. Современные модели чаще работают с токенами - фрагментами текста, которые могут быть словами, частями слов, знаками пунктуации или другими единицами. Но базовая авторегрессионная задача выглядит знакомо:
- по предыдущим токенам оценить распределение следующего.
Сходство с ранней вероятностной традицией очевидно.
Различие скрывается в том, как контекст превращается в это распределение.
Почему LLM - не цепь Маркова фиксированного порядка
В простейшей марковской модели достаточно знать текущее состояние. В n-грамме достаточно последних n−1 элементов. В Transformer входом служит целое окно контекста, а self-attention строит взаимодействия между множеством его элементов. Состояние не задано заранее набором дискретных категорий. Оно распределено по большим числовым представлениям и формируется в процессе обучения. Поэтому современную LLM нельзя корректно описать как «цепь Маркова очень высокого порядка». Такое сравнение скрывает главный исторический переход - от вручную заданных состояний к обучаемому распределённому представлению.
Но марковский вопрос остаётся узнаваемым
Несмотря на различия, формальная преемственность существует. Марков спрашивал, как прошлое изменяет вероятность следующего события. Шеннон - сколько неопределённости о следующем символе остаётся при известном контексте. N-граммы оценивали условную вероятность следующего слова по короткой истории. Нейронные модели обучаются оценивать ту же условную вероятность, используя гораздо более сложное представление прошлого. Таким образом, сохраняется не конкретная модель, а вероятностная постановка последовательности.
От таблицы частот к представлению контекста
Всю историю можно описать как смену способа хранить прошлое.
| Эпоха | Как хранится контекст |
|---|---|
| Марковская цепь | Дискретное текущее состояние. |
| N-грамма | Последние несколько символов или слов. |
| HMM | Скрытое дискретное состояние. |
| Нейронная модель с фиксированным окном | Векторы нескольких предыдущих слов. |
| RNN / LSTM | Обновляемый непрерывный скрытый вектор. |
| Transformer | Представления всего доступного окна контекста, связанные self-attention. |
Именно этот переход лучше всего показывает, почему современная языковая модель исторически связана с марковской традицией, но математически не сводится к ней.
Изменился и источник знаний
Ранние модели сильно зависели от решений исследователя. Марков сам определил два состояния - гласная и согласная. Создатель n-граммной модели выбирает длину n. В HMM заранее задаётся тип скрытых состояний и структура модели. Нейронная сеть значительно больше структуры извлекает непосредственно из данных. Современная большая модель обучается на настолько разнообразном корпусе, что внутренние представления невозможно свести к короткому перечню вручную введённых лингвистических категорий. Это второй фундаментальный исторический сдвиг - от заданной исследователем структуры к обучаемой структуре.
Изменился масштаб данных
Марков вручную обработал 20 000 и затем 100 000 букв. Для своего времени это был огромный вычислительный труд. К середине XX века Шеннон использовал печатные книги как ручной источник переходных вероятностей. В 1990-е статистический машинный перевод обучался на миллионах слов параллельных текстов. В XXI веке нейронные языковые модели стали обучаться на корпусах, измеряемых уже миллиардами и триллионами токенов. Масштаб не просто ускорил старые методы. Он сделал возможными модели, которые нельзя было практически обучить в прежнюю эпоху.
Изменился масштаб вычислений
Для Маркова вычисление было ручным. Для IBM-моделей требовались мощные компьютеры своего времени. Нейронные модели 2000-х использовали растущие возможности специализированного аппаратного обеспечения. Transformer особенно хорошо подходил для параллельных матричных вычислений, что стало одной из причин его быстрого масштабирования.[13] К 2020 году вычислительный бюджет стал самостоятельной исследовательской переменной.[16] История языковых моделей поэтому одновременно является историей математики, статистики, данных и вычислительной инфраструктуры.
Парадигма менялась не по прямой линии
Нельзя представить историю как последовательность, где каждая новая технология просто «улучшила» предыдущую. В разные периоды сосуществовали конкурирующие подходы. Правиловые системы долго доминировали рядом со статистическими. N-граммы продолжали использоваться после появления нейронных моделей. HMM сохраняли практическое значение десятилетиями. BERT и GPT в 2018 году предложили разные схемы предобучения Transformer. Научная история здесь похожа не на лестницу, а на сеть, в которой отдельные ветви возникают, конкурируют, соединяются и иногда возвращаются в новом виде.
Что осталось от Шеннона
Если искать наиболее прямую интеллектуальную преемственность современных авторегрессионных моделей, Шеннон оказывается не менее важен, чем Марков. Современная модель минимизирует ошибку вероятностного предсказания токенов. Её качество связано с кросс-энтропией и перплексией. Она учится на последовательностях реального текста. Все эти идеи естественно формулируются в языке теории информации. Марков дал язык зависимости, Шеннон - язык информации и предсказуемости.
Что осталось от Маркова
От Маркова современная история унаследовала более фундаментальную идею:
- последовательность случайна, но её случайность структурирована контекстом.
Он первым сделал такую зависимость самостоятельным объектом строгого вероятностного анализа и продемонстрировал её на литературном тексте. Современная модель несравнимо сложнее, но вопрос о вероятности продолжения не возник из пустоты. Он имеет более чем столетнюю математическую предысторию.
Где проходит настоящий разрыв
Самый глубокий разрыв между классическими цепями и современными LLM связан не с размером. Он связан с природой состояния. В классической цепи состояния заранее определены. В нейронной модели внутренние признаки обучаются. Исследователь больше не говорит системе: «помни последнюю букву» или «состояние №7 означает такой-то фонетический класс». Модель сама строит высокоразмерное представление, полезное для предсказания. Именно поэтому выражение «очень большая цепь Маркова» не просто неточно - оно пропускает центральное историческое новшество нейронной эпохи.
Историческая хронология
| Год | Этап |
|---|---|
| 1906-1907 | Марков создаёт теорию цепно зависимых испытаний. |
| 1913 | Марков исследует статистическую структуру текстов Пушкина и Аксакова. |
| 1948 | Шеннон описывает источники сообщений, марковские процессы и вероятностные приближения английского языка. |
| 1951 | Шеннон экспериментально исследует предсказуемость следующей буквы. |
| 1970-1980-е | HMM и n-граммные модели становятся основой многих систем распознавания речи. |
| 1988-1993 | IBM развивает статистический машинный перевод, обучаемый на больших параллельных корпусах. |
| 2003 | Бенжио и соавторы публикуют нейронную вероятностную языковую модель с обучаемыми распределёнными представлениями слов. |
| 2010 | Миколов и соавторы демонстрируют сильную RNN-языковую модель для распознавания речи. |
| 2014 | Seq2seq на LSTM показывает возможность сквозного нейронного моделирования перевода. |
| 2017 | Появляется архитектура Transformer. |
| 2018 | GPT сочетает Transformer с генеративным предобучением; BERT демонстрирует силу двунаправленного Transformer-предобучения. |
| 2020 | Исследуются законы масштабирования нейронных языковых моделей; GPT-3 демонстрирует few-shot использование задач через текстовый контекст. |
Историческое значение
Путь от Маркова к современным языковым моделям - не история одного алгоритма, который сто лет постепенно увеличивали. Это история нескольких последовательных изменений. Сначала математика научилась описывать зависимость между соседними случайными событиями. Затем теория информации связала структуру текста с неопределённостью и предсказанием. Компьютерная лингвистика научилась автоматически извлекать статистику из больших корпусов. Нейронные модели заменили дискретные таблицы обучаемыми векторными представлениями. Рекуррентные сети отказались от фиксированного окна. Transformer отказался от обязательного последовательного скрытого состояния и сделал внимание главным механизмом обработки контекста. Масштабное предобучение превратило языковую модель из компонента отдельной системы в универсальную основу множества языковых задач. Через все эти разрывы сохранялся один вопрос:
- что уже известный контекст позволяет сказать о вероятности следующего элемента?
Именно в этом ограниченном, но фундаментальном смысле современная история языковых моделей начинается задолго до компьютеров - с попытки Маркова измерить зависимость между буквами русского литературного текста.
См. также
- Цепи Маркова
- История статистического анализа текста
- Клод Шеннон и математическое моделирование языка
- Марков и «Евгений Онегин»
- Марков и Аксаков: 100 000 букв как математический эксперимент
- Скрытая марковская модель
- N-грамма
- Теория информации
- Transformer
Источники и литература
- ↑ Eugene Seneta. Markov and the Birth of Chain Dependence Theory // International Statistical Review. 1996. Vol. 64. № 3. P. 255-263.
- ↑ A. A. Markov. An Example of Statistical Investigation of the Text Eugene Onegin Concerning the Connection of Samples in Chains // Science in Context. 2006. Vol. 19. № 4. P. 591-600.
- ↑ A. A. Markov. On a Remarkable Case of Samples Connected in a Chain. Appendix on the statistical investigation of a text by Aksakov // Science in Context. 2006. Vol. 19. № 4. P. 601-604.
- ↑ 4,0 4,1 Claude E. Shannon. A Mathematical Theory of Communication // Bell System Technical Journal. 1948. Vol. 27. P. 379-423, 623-656.
- ↑ C. E. Shannon. Prediction and Entropy of Printed English // Bell System Technical Journal. 1951. Vol. 30. № 1. P. 50-64.
- ↑ Steven T. Piantadosi. Zipf's word frequency law in natural language: A critical review and future directions // Psychonomic Bulletin & Review. 2014. Vol. 21. P. 1112-1130.
- ↑ L. R. Rabiner. A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition // Proceedings of the IEEE. 1989. Vol. 77. № 2. P. 257-286.
- ↑ Peter F. Brown et al. A Statistical Approach to Machine Translation // Computational Linguistics. 1990. Vol. 16. № 2. P. 79-85.
- ↑ Peter F. Brown, Stephen A. Della Pietra, Vincent J. Della Pietra, Robert L. Mercer. The Mathematics of Statistical Machine Translation: Parameter Estimation // Computational Linguistics. 1993. Vol. 19. № 2. P. 263-311.
- ↑ 10,0 10,1 Yoshua Bengio, Réjean Ducharme, Pascal Vincent, Christian Jauvin. A Neural Probabilistic Language Model // Journal of Machine Learning Research. 2003. Vol. 3. P. 1137-1155.
- ↑ 11,0 11,1 Tomáš Mikolov, Martin Karafiát, Lukáš Burget, Jan Černocký, Sanjeev Khudanpur. Recurrent neural network based language model // INTERSPEECH 2010. P. 1045-1048.
- ↑ 12,0 12,1 Ilya Sutskever, Oriol Vinyals, Quoc V. Le. Sequence to Sequence Learning with Neural Networks. 2014.
- ↑ 13,0 13,1 13,2 Ashish Vaswani et al. Attention Is All You Need. 2017.
- ↑ 14,0 14,1 Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever. Improving Language Understanding by Generative Pre-Training. 2018.
- ↑ Jacob Devlin et al. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. 2018.
- ↑ 16,0 16,1 Jared Kaplan et al. Scaling Laws for Neural Language Models. 2020.
- ↑ 17,0 17,1 Tom B. Brown et al. Language Models are Few-Shot Learners. 2020.
- Markov A. A. An Example of Statistical Investigation of the Text Eugene Onegin Concerning the Connection of Samples in Chains // Science in Context. 2006. Vol. 19. № 4. P. 591-600.
- Shannon C. E. A Mathematical Theory of Communication // Bell System Technical Journal. 1948. Vol. 27. P. 379-423, 623-656.
- Shannon C. E. Prediction and Entropy of Printed English // Bell System Technical Journal. 1951. Vol. 30. № 1. P. 50-64.
- Rabiner L. R. A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition // Proceedings of the IEEE. 1989. Vol. 77. № 2. P. 257-286.
- Brown P. F. et al. A Statistical Approach to Machine Translation // Computational Linguistics. 1990. Vol. 16. № 2. P. 79-85.
- Brown P. F., Della Pietra S. A., Della Pietra V. J., Mercer R. L. The Mathematics of Statistical Machine Translation: Parameter Estimation // Computational Linguistics. 1993. Vol. 19. № 2. P. 263-311.
- Bengio Y., Ducharme R., Vincent P., Jauvin C. A Neural Probabilistic Language Model // Journal of Machine Learning Research. 2003. Vol. 3. P. 1137-1155.
- Mikolov T. et al. Recurrent Neural Network Based Language Model // INTERSPEECH. 2010. P. 1045-1048.
- Sutskever I., Vinyals O., Le Q. V. Sequence to Sequence Learning with Neural Networks. 2014.
- Vaswani A. et al. Attention Is All You Need. 2017.
- Radford A., Narasimhan K., Salimans T., Sutskever I. Improving Language Understanding by Generative Pre-Training. 2018.
- Devlin J. et al. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. 2018.
- Kaplan J. et al. Scaling Laws for Neural Language Models. 2020.
- Brown T. B. et al. Language Models are Few-Shot Learners. 2020.