Скрытые марковские модели и история распознавания речи

Скрытые марковские модели и история распознавания речи

Скрытая марковская модель: зависимость скрытых состояний и наблюдаемых величин в три момента времени.

Модели наблюдаемой последовательности, порождаемой скрытым марковским процессом, и их применение к речи.

Область

Теория вероятностей; распознавание речи

Разновидность

Статистическая модель

Скрытые марковские модели и история распознавания речи - история того, как математическая идея скрытого состояния превратилась в один из главных инженерных инструментов автоматического распознавания речи конца XX века. Теория скрытых марковских моделей выросла из работ Леонарда Баума и его коллег в 1960-е годы, а практическое применение к речи началось в 1970-е. К концу 1980-х HMM стали стандартной архитектурой для моделирования временной структуры речи и оставались центральным компонентом крупных систем распознавания в течение нескольких десятилетий.

Историческое значение скрытых марковских моделей состояло не только в повышении точности распознавания. Они изменили сам способ думать о речи. Вместо попытки хранить идеальный шаблон слова инженер мог предположить существование скрытой последовательности фонетических состояний, которая случайным образом порождает наблюдаемый акустический сигнал. Эта идея связала цепи Маркова, статистическое обучение, теорию сигналов и язык в единой вероятностной модели.

Андрей Андреевич Марков. Его теория цепных зависимых состояний стала математическим предком скрытых марковских моделей.

Почему речь трудно распознавать

Человеку легко кажется, что слово имеет определённое звучание. Для машины картина сложнее. Один и тот же человек произносит слово немного по-разному каждый раз. Разные люди имеют разные тембры, темп, акцент и артикуляцию. Соседние звуки влияют друг на друга. Шум меняет акустический сигнал. Граница между фонемами не всегда очевидна. Поэтому простое сравнение записанного сигнала с одним идеальным шаблоном быстро перестаёт работать. Распознавание речи требует модели изменчивости во времени.

Ранние машины: распознавать несколько слов

В 1950-е годы первые электронные системы распознавания речи работали с крайне ограниченными задачами. Системы могли различать отдельные цифры или небольшой набор специально произнесённых слов. Они обычно использовали акустические признаки и жёсткие правила сравнения. Такой подход был возможен потому, что словарь был мал, говорящий часто заранее известен, а произношение требовалось отчётливое. Проблема резко усложнялась, как только нужно было перейти к естественной непрерывной речи.

IBM Shoebox

В начале 1960-х годов IBM продемонстрировала систему Shoebox.

По истории IBM, экспериментальная машина могла распознавать цифры от нуля до девяти и шесть командных слов, включая арифметические операции. Устройство демонстрировалось публике в 1961-1962 годах и получило название из-за небольшого размера.

Shoebox был впечатляющей демонстрацией для своего времени. Но шестнадцать слов - совсем не тот масштаб, который требуется для человеческой речи. Дальнейшее развитие потребовало другого способа моделирования.

От шаблона к времени

Слово не только различается между произнесениями - оно может быть растянуто или сжато во времени. Один человек произносит его быстрее, другой медленнее. Поэтому в 1960-1970-е годы большое значение получили методы динамического сопоставления временных последовательностей, позднее известные как dynamic time warping. Они позволяли нелинейно растягивать и сжимать временную ось, чтобы сравнить два акустических шаблона. Это существенно улучшало распознавание ограниченных словарей. Но система всё ещё в основном сравнивала наблюдение с образцом.

Вероятностная альтернатива

Скрытая марковская модель предлагает другую картину. Предположим, говорящий произносит слово. В каждый момент его речевой аппарат находится в некотором внутреннем фонетическом состоянии. Само состояние непосредственно не наблюдается. Микрофон регистрирует лишь акустический сигнал, который это состояние породило. Далее речевой аппарат переходит к следующему состоянию. Получается двойная последовательность:

скрытые состояния → наблюдаемые акустические признаки.

Скрытая последовательность развивается как цепь Маркова. Наблюдение зависит вероятностно от текущего скрытого состояния. Именно поэтому модель называется скрытой марковской.

Почему состояние «скрыто»

В обычной цепи Маркова исследователь видит состояние системы непосредственно. Например, погода сегодня - солнечно или дождь. В речи внутреннее состояние модели наблюдать напрямую невозможно. Микрофон не выдаёт метку «сейчас произносится такой-то фонетический этап». Он выдаёт сложный звуковой сигнал. Задача системы - по наблюдаемой последовательности восстановить наиболее вероятный скрытый путь. Это особенно хорошо соответствует проблеме распознавания речи.

Математическая теория Баума

Основы общей теории скрытых марковских моделей были заложены Леонардом Баумом и его сотрудниками в конце 1960-х годов.

Работы Баума и Теда Петри 1966 года рассматривали статистический вывод для вероятностных функций конечных марковских цепей; в последующих статьях Баум, Петри, Джордж Соулз и Норман Вайс развивали методы оценивания параметров.

IEEE Technology Navigator прямо связывает математические основания HMM с работами Л. Э. Баума и коллег конца 1960-х годов.

Главный инженерный результат заключался в том, что параметры модели можно было оценивать по наблюдаемым данным даже тогда, когда истинная последовательность скрытых состояний неизвестна.

Baum-Welch: модель учится по наблюдениям

Алгоритм, обычно называемый Baum-Welch, позволяет итеративно подбирать:

• вероятности переходов между скрытыми состояниями;
• вероятности или распределения наблюдений в каждом состоянии;
• начальные вероятности состояний.

Это решало центральную проблему раннего применения цепей Маркова к речи. Недостаточно придумать структуру модели. Нужно научиться автоматически подстраивать её под реальные акустические записи. Работы конца 1960-х - начала 1970-х сделали такую настройку практической.

Витерби: найти наиболее вероятный путь

В 1967 году Эндрю Витерби разработал алгоритм декодирования для цифровых каналов связи. Позднее тот же принцип стал центральным для HMM. Если наблюдаемый сигнал известен, алгоритм Витерби находит наиболее вероятную последовательность скрытых состояний. Для речи это означает поиск наиболее вероятного пути через фонетические состояния модели. Исторически это пример объединения двух разных инженерных линий:

• теория связи;
• распознавание речи.

Алгоритм, созданный для декодирования кодов, стал одним из основных инструментов языковой технологии.

Клод Шеннон и вероятностная связь

Клод Шеннон. Его теория информации сделала вероятностные источники последовательностей центральным объектом инженерной математики.

Скрытые марковские модели возникли уже после Шеннона, но их инженерный контекст трудно понять без теории информации. Шеннон показал, что источник сообщений можно моделировать как вероятностный процесс. Он прямо использовал марковские источники в математической теории связи. В HMM эта логика получает дополнительный уровень: источник имеет внутреннее состояние, которое само не наблюдается, но порождает сигнал. Так идеи Маркова и Шеннона соединились в модели реального временного сигнала.

1970-е: масштаб речи становится государственной задачей

В США 1970-е годы стали периодом резкого расширения исследований автоматического понимания речи. Агентство ARPA финансировало пятилетнюю программу Speech Understanding Research. Цель состояла в том, чтобы перейти от десятков отдельных слов к связной речи со словарём порядка тысячи слов. В программе участвовали Carnegie Mellon University, BBN, SRI и другие исследовательские центры.

Harpy

Одним из наиболее известных результатов программы стала система Harpy в Carnegie Mellon University. К 1976 году она работала со словарём около тысячи слов и ограниченной грамматикой. CMU характеризует Harpy как важный этап, доказавший возможность автоматического распознавания непрерывной речи на значительно большем словаре.

Норберт Винер. Теория случайных сигналов и фильтрации была важной частью математической среды, из которой выросло статистическое распознавание речи.

Harpy ещё не была классической HMM-системой в позднейшем смысле. Но она использовала сеть состояний, акустические и языковые ограничения и поиск наиболее вероятного пути. Исторически это был важный мост от шаблонных распознавателей к вероятностным моделям последовательностей.

Dragon, Hearsay и сетевые модели

В Carnegie Mellon одновременно исследовались разные архитектуры. Hearsay использовала сложную систему взаимодействующих источников знаний. Dragon представляла речь как сеть состояний с вероятностями переходов. Докторская работа Брюса Лоуэрра 1976 года о Harpy прямо сравнивала эти подходы и описывала Dragon как Markov network с априорными вероятностями переходов. Так марковская идея уже проникала в практическую архитектуру речевых систем, ещё до окончательной победы HMM.

Джеймс Бейкер и первые HMM в речи

В середине 1970-х годов Джеймс Бейкер в Carnegie Mellon начал применять скрытые марковские модели непосредственно к распознаванию речи. История CMU отмечает его работу как важный ранний переход к сетевым вероятностным представлениям речи. Позднее Бейкер и его коллеги принесли этот подход в IBM Research, где Фредерик Джелинек развивал статистическое распознавание речи. Исторические воспоминания инженеров HMM также связывают распространение методики с переходом Бейкеров из CMU в IBM в конце 1970-х.

Почему HMM не победила мгновенно

Теория скрытых марковских моделей существовала с 1960-х годов. Но между существованием математического метода и инженерным стандартом прошёл почти двадцатилетний путь. Для речи требовались:

• достаточно мощные компьютеры;
• хорошие акустические признаки;
• большие наборы записей;
• устойчивые методы обучения;
• модели непрерывных акустических распределений;
• эффективный поиск по огромному числу возможных последовательностей.

Rabiner и Juang в 1986 году прямо отмечали: марковские цепи были известны десятилетиями, но к речи их начали систематически применять лишь после появления методов оптимизации параметров модели в конце 1960-х.

IBM и статистическая речь

В IBM Research Фредерик Джелинек и его коллеги сделали статистический подход центральной исследовательской программой. Речь рассматривалась как результат взаимодействия акустической модели и вероятностной модели языка. Нужно было найти наиболее вероятную последовательность слов при данном звуковом сигнале. Эта постановка особенно хорошо соответствовала HMM:

скрытая последовательность → наблюдаемый звук.

Так распознавание речи всё больше превращалось из набора эвристических правил в задачу статистического вывода.

Bell Labs

В 1980-е годы HMM активно развивались и в Bell Laboratories. Лоуренс Рабинер, Биинг-Хван Джуанг, Стивен Левинсон, Ман Мохан Сондхи и другие исследователи разрабатывали модели изолированных слов, непрерывных плотностей и больших словарей. Публикации Bell Labs подчёркивали две причины успеха метода:

• богатую математическую структуру;
• высокую практическую эффективность в задачах моделирования последовательностей.

К середине 1980-х HMM стали одним из главных языков инженерного распознавания речи.

Учебная статья 1986 года

В январе 1986 года Rabiner и Juang опубликовали в IEEE ASSP Magazine статью An Introduction to Hidden Markov Models. Она сыграла важную роль в распространении метода среди инженеров. Теория, ранее разбросанная по вероятностной литературе и специализированным работам, была представлена как единый практический аппарат. Статья объясняла, как марковская модель с ненаблюдаемыми состояниями может применяться к реальным сигналам.

Три классические задачи HMM

Инженерное использование HMM часто сводится к трём базовым вопросам.

Оценка. Насколько вероятно наблюдаемое акустическое сообщение при данной модели?

Декодирование. Какая последовательность скрытых состояний наиболее вероятно породила наблюдение?

Обучение. Как подобрать параметры модели по набору примеров?

Этим задачам соответствуют алгоритмы forward-backward, Viterbi и Baum-Welch.

Исторически сила HMM состояла именно в том, что для всех трёх задач существовали эффективные вычислительные процедуры.

Почему модель речи обычно «идёт слева направо»

Речь обладает естественным направлением времени. Начало фонемы предшествует её середине, середина - концу. Поэтому в речевых HMM часто использовали так называемые left-right или Bakis-модели. Состояния переходят вперёд или остаются на месте, но редко возвращаются назад. Такая структура позволяла одновременно учитывать:

• порядок звуковых этапов;
• переменную длительность;
• статистическую изменчивость произношения.

Она стала одной из характерных черт классической HMM-речи.

Непрерывный акустический сигнал

Ранние HMM часто работали с дискретизированными наблюдениями. Но реальный акустический сигнал непрерывен. В 1980-е годы инженерные системы стали активно использовать непрерывные распределения, особенно смеси гауссиан. Каждое скрытое состояние теперь описывало не один символ, а вероятностное распределение акустических признаков. Так возникла классическая архитектура GMM-HMM:

марковская модель отвечает за время;

смесь гауссиан - за акустический облик состояния.

1989 год: статья Рабинера становится каноном

В 1989 году Лоуренс Рабинер опубликовал в Proceedings of the IEEE большой обзор A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition. Статья объединила математическую теорию, алгоритмы и инженерные применения в одном изложении. Она стала одной из наиболее цитируемых работ в истории распознавания речи. IEEE указывает, что именно этот обзор закрепил три классические HMM-задачи и дал инженерному сообществу систематический способ освоения метода.

К 1990 году HMM становятся доминирующим подходом

В 1990 году исследователи Carnegie Mellon прямо писали, что скрытые марковские модели стали преобладающим подходом в системах распознавания речи. Система SPHINX демонстрировала крупнословарное, независимое от конкретного говорящего распознавание непрерывной речи. Это был огромный скачок по сравнению с Shoebox начала 1960-х, понимавшим шестнадцать слов. За три десятилетия задача изменилась не только количественно. Она стала вероятностной по своей архитектуре.

Акустическая модель и языковая модель

Классическая система распознавания речи конца XX века объединяла несколько вероятностных компонентов.

Акустическая модель отвечала на вопрос:

насколько наблюдаемый звук соответствует возможному фонетическому состоянию?

Языковая модель отвечала:

насколько вероятна последовательность слов?

Поиск объединял оба источника информации. HMM была главным механизмом временного акустического моделирования. N-граммная модель языка ограничивала число возможных словесных последовательностей. Так статистическая обработка речи соединила идеи Маркова и Шеннона.

Почему вероятностный подход победил правила

Ранняя речевая технология часто пыталась явно описать огромное число фонетических и языковых правил. Но реальная речь слишком вариативна. Вероятностный подход не требовал, чтобы каждый вариант произношения был заранее перечислен. Он учился на данных. Шумный и неоднозначный сигнал перестал быть исключением. Он стал нормальной частью модели. Именно это было одним из главных исторических преимуществ HMM.

HMM как компромисс

Скрытая марковская модель была достаточно простой, чтобы вычисления оставались возможны на компьютерах 1970-1980-х годов.

Одновременно она была достаточно гибкой, чтобы описывать:

• скрытую последовательность фонетических состояний;
• длительность через самопереходы;
• акустическую изменчивость;
• вероятностный переход от состояния к состоянию.

Этот компромисс между выразительностью и вычислимостью объясняет её долголетие.

Ограничения классической HMM

Модель имела и очевидные ограничения. Марковское предположение упрощало временную зависимость. Наблюдения часто считались условно независимыми при известном состоянии. Длительности состояний получали геометрическое распределение, которое не всегда хорошо соответствовало реальной речи. Гауссовские смеси имели ограниченную способность описывать сложные акустические классы. Но десятилетиями инженерные преимущества перевешивали эти недостатки.

Нейронные сети входят внутрь HMM

В 1990-е годы исследователи начали объединять HMM с искусственными нейронными сетями. Нейросеть оценивала акустические вероятности или апостериорные вероятности состояний. HMM по-прежнему отвечала за временную структуру и поиск. Эти гибридные системы показали, что марковский каркас способен пережить смену метода акустического моделирования.

Глубокое обучение и HMM

Около 2010-2012 годов глубокие нейронные сети резко улучшили акустическое моделирование. В 2012 году несколько исследовательских групп сообщили, что глубокие сети существенно превосходят классические гауссовские смеси при сохранении HMM как временного каркаса. Возникла архитектура DNN-HMM. Это интересный исторический этап: глубокое обучение не сразу уничтожило старую модель, а сначала встроилось в неё.

От HMM к end-to-end системам

В последующие годы появились нейронные архитектуры, которые всё больше объединяли акустическое и последовательностное моделирование внутри одной обучаемой системы. CTC, attention-модели и трансформеры позволили строить распознаватели без классической HMM-декомпозиции. К 2020-м годам роль скрытых марковских моделей в передовых больших системах заметно уменьшилась. Но исторически новая технология выросла на инфраструктуре, данных и постановке задачи, созданных эпохой HMM.

Что HMM изменила в инженерной культуре

Главное наследие скрытых марковских моделей - не конкретная формула. Они утвердили несколько принципов, которые продолжают жить и после ухода самой архитектуры из центра поля. Первое: скрытую структуру можно восстанавливать статистически по наблюдаемым данным. Второе: последовательность нужно моделировать как последовательность, а не как независимый набор кадров. Третье: параметры сложной модели можно обучать на больших корпусах. Четвёртое: распознавание - задача поиска наиболее вероятной интерпретации, а не жёсткого совпадения с шаблоном. Эти идеи перешли в современное машинное обучение.

От Маркова к речи

Историческую линию можно представить как длинную цепь. Марков, 1906-1907 - зависимые состояния. Шеннон, 1948 - вероятностные источники сообщений. Баум и коллеги, 1960-е - обучение моделей со скрытыми состояниями. CMU и IBM, 1970-е - первые крупные речевые эксперименты. Bell Labs и другие группы, 1980-е - инженерная стандартизация HMM. 1990-е-2000-е - доминирование GMM-HMM. 2010-е - гибрид DNN-HMM и переход к нейронным моделям. Так чистая теория вероятности начала XX века стала частью массовой технологии человеческого голоса.

Почему эта история важна для истории цепей Маркова

Цепи Маркова часто воспринимаются как абстрактная математическая конструкция. История распознавания речи показывает один из путей, по которому идея оказалась встроена в технологию. Причём использовалась не буквальная простая цепь. Инженеры добавили скрытые состояния, вероятностные наблюдения, алгоритмы обучения, языковую модель и сложный поиск. Это хороший пример того, как фундаментальная математика не «применяется» к инженерии одной операцией. Она проходит серию преобразований, пока не становится частью новой системы.

Хронология

Год	Событие
1906-1907	Андрей Марков создаёт теорию цепных зависимых испытаний.
1948	Клод Шеннон использует марковские источники в теории информации.
1950-е	Первые электронные распознаватели различают отдельные цифры и небольшой набор слов.
1961-1962	IBM демонстрирует Shoebox, распознающий 16 слов и команд.
1966	Баум и Петри публикуют математическую работу о вероятностных функциях конечных марковских цепей.
1967	Эндрю Витерби публикует алгоритм декодирования, позднее ставший ключевым для HMM.
1967-1970	Баум и коллеги развивают алгоритмы оценивания параметров скрытых марковских моделей.
1971-1976	Программа ARPA Speech Understanding Research резко расширяет масштаб автоматического распознавания речи.
1975-1976	В CMU развивается раннее применение марковских сетевых моделей к речи; Harpy демонстрирует распознавание непрерывной речи со словарём около 1000 слов.
Конец 1970-х	HMM-методология распространяется из академических работ в CMU и IBM Research.
1986	Rabiner и Juang публикуют инженерное введение в скрытые марковские модели.
1989	Выходит классический обзор Rabiner в Proceedings of the IEEE.
1990	HMM характеризуются как преобладающий подход к автоматическому распознаванию речи; CMU развивает SPHINX.
1990-е-2000-е	GMM-HMM становятся стандартной архитектурой крупнословарных систем.
2010-2012	Глубокие нейронные сети начинают заменять GMM внутри гибридных DNN-HMM систем.
2010-е-2020-е	End-to-end нейронные архитектуры постепенно сокращают роль классических HMM в передовых системах.

Историческое значение

Скрытые марковские модели стали одной из наиболее успешных встреч чистой теории вероятностей и инженерной технологии XX века. Марков изучал зависимые случайные испытания задолго до электронной речи. Баум разработал методы статистического вывода для скрытых состояний. Инженеры речи превратили эту математику в систему, способную работать с чрезвычайно изменчивым реальным сигналом. На несколько десятилетий HMM стали главным языком автоматического распознавания речи. Даже когда нейронные сети начали вытеснять их, базовый исторический переход остался необратимым: речь стала моделироваться не как фиксированный шаблон, а как вероятностная последовательность, скрытая структура которой восстанавливается из данных.

См. также

• Цепи Маркова
• Случайный процесс
• Клод Шеннон и математическое моделирование языка
• История статистического анализа текста
• От цепей Маркова к современным языковым моделям
• Марковское свойство
• Алгоритм Витерби
• Baum-Welch

Источники и литература

• Baum L. E., Petrie T. Statistical Inference for Probabilistic Functions of Finite State Markov Chains // Annals of Mathematical Statistics. 1966.
• Baum L. E. et al. A Maximization Technique Occurring in the Statistical Analysis of Probabilistic Functions of Markov Chains // Annals of Mathematical Statistics. 1970.
• Viterbi A. J. Error Bounds for Convolutional Codes and an Asymptotically Optimum Decoding Algorithm // IEEE Transactions on Information Theory. 1967.
• Rabiner L. R., Juang B.-H. An Introduction to Hidden Markov Models // IEEE ASSP Magazine. 1986. Vol. 3. № 1. P. 4-16.
• Rabiner L. R. A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition // Proceedings of the IEEE. 1989. Vol. 77. № 2. P. 257-286.
• Lowerre B. T. The HARPY Speech Understanding System. PhD thesis. Carnegie Mellon University, 1976.
• Lee K.-F. Automatic Speech Recognition: The Development of the SPHINX System. Boston: Kluwer, 1989.
• Hinton G. et al. Deep Neural Networks for Acoustic Modeling in Speech Recognition // IEEE Signal Processing Magazine. 2012. Vol. 29. № 6. P. 82-97.