Уравнения Колмогорова

Уравнения Колмогорова

Переходные вероятности процесса с двумя состояниями и интенсивностями 2 и 1 при начальном состоянии 1.

Уравнения, описывающие эволюцию переходных вероятностей марковского процесса.

Область

Теория вероятностей; случайные процессы

Разновидность

Система уравнений

Уравнения Колмогорова - система уравнений, описывающих эволюцию переходных вероятностей марковского процесса. Они были выведены Андреем Николаевичем Колмогоровым в фундаментальной работе 1931 года Über die analytischen Methoden in der Wahrscheinlichkeitsrechnung («Об аналитических методах в исчислении вероятностей») и стали одним из ключевых шагов в превращении отдельных моделей случайного движения в общую теорию непрерывных марковских процессов.

Историческое значение уравнений Колмогорова значительно шире их технической роли. Андрей Марков в начале XX века научил математику работать с дискретными цепочками зависимых испытаний. Норберт Винер создал строгую математическую модель непрерывного броуновского движения. Колмогоров связал эти линии с дифференциальными уравнениями: вероятность стала не только характеристикой возможных исходов, но и величиной, эволюцию которой можно было описывать во времени.

Норберт Винер. Его строгая конструкция броуновского движения стала одним из важнейших предшественников общей теории непрерывных случайных процессов.

Почему в 1931 году понадобилась новая теория

К концу 1920-х годов теория вероятностей располагала несколькими мощными, но ещё не полностью объединёнными направлениями.

Андрей Андреевич Марков. Его цепи стали первым крупным классом зависимых случайных процессов.

Марков создал теорию цепных зависимостей, где система переходила от одного дискретного состояния к другому. Винер построил вероятностную меру на пространстве непрерывных траекторий, дав строгую модель броуновского движения. В физике Эйнштейн, Смолуховский, Ланжевен, Фоккер и Планк уже связывали случайное движение с диффузионными уравнениями.

Но отсутствовал общий аналитический язык, который позволял бы описывать широкий класс непрерывновременных марковских процессов.

Колмогоров сделал именно этот шаг.

От цепей Маркова к непрерывному времени

Цепь Маркова развивается по отдельным шагам:

состояние 0 → состояние 1 → состояние 2 → состояние 3.

Между шагами нет промежуточного времени.

Но многие физические процессы меняются непрерывно. Частица движется каждую долю секунды. Система может покинуть состояние в любой момент. Концентрация или положение изменяются на непрерывной временной шкале.

Чтобы перенести марковскую идею на такие процессы, необходимо было заменить одношаговую матрицу переходов функцией, которая описывает вероятность перехода между состояниями за любой временной интервал.

Именно переходные вероятности стали центральным объектом работы Колмогорова.

Переходная вероятность

Пусть система находится в состоянии x в момент s. Через некоторое время, в момент t, она может оказаться в состоянии y. Переходная вероятность отвечает на вопрос:

какова вероятность перейти из x в y за время t − s?

Для конечного числа состояний это можно представить как зависящую от времени матрицу. Для непрерывного пространства состояний вместо отдельных элементов матрицы появляется плотность переходной вероятности. Исторически это было принципиальным расширением языка Маркова.

Составление переходов

Если процесс марковский, переход из начального состояния в конечное можно разбить промежуточным моментом времени. Система сначала переходит из x в некоторое состояние y, затем из y - в конечное состояние z. Нужно просуммировать или проинтегрировать по всем возможным промежуточным состояниям. Современная запись имеет вид:

P(s,x;u,Γ) = ∫ P(s,x;t,dy) P(t,y;u,Γ),   s < t < u.

Это соотношение обычно называют уравнением Чепмена - Колмогорова.

Его смысл чрезвычайно прост: вероятность длинного перехода должна быть согласована с вероятностями коротких переходов.

История уравнения Чепмена - Колмогорова

Сам принцип составления переходов появился раньше 1931 года.

Encyclopedia of Mathematics отмечает, что сходное соотношение встречается уже в работе Луи Башелье 1900 года о биржевых ценах. Мариан Смолуховский использовал аналогичную идею при исследовании броуновского движения, а английский физик Сидни Чепмен сформулировал соответствующее соотношение в работе 1928 года.

Колмогоров не был первым, кто заметил возможность разбить переход на два этапа.

Его вклад состоял в том, что он включил это соотношение в систематическую аналитическую теорию марковских процессов и вывел из него дифференциальные уравнения эволюции.

Броуновское движение как лаборатория новой вероятности

Роберт Броун. Наблюдавшееся им движение микроскопических частиц стало одной из главных лабораторий теории случайных процессов.

Броуновское движение сыграло в этой истории особую роль. В 1827 году Роберт Броун описал хаотическое движение микроскопических частиц в жидкости. В 1905 году Альберт Эйнштейн связал его с молекулярным движением и получил количественную связь между средним квадратом смещения и временем.

Альберт Эйнштейн в Берне. Его работа 1905 года связала броуновское движение с диффузией и молекулярной теорией тепла.

Почти одновременно Смолуховский разработал близкую статистическую теорию. Броуновское движение стало примером процесса, где траектория случайна, но распределение вероятностей подчиняется строгому закону. Именно такие процессы требовали общего языка.

Ланжевен: случайность входит в дифференциальное уравнение

В 1908 году Поль Ланжевен предложил иной способ описания броуновской частицы. В её уравнение движения вводилась быстро меняющаяся случайная сила. Это был ранний пример того, что позднее назовут стохастическим дифференциальным уравнением. Ланжевен описывал случайность с точки зрения отдельной траектории частицы. Другой подход описывал не одну траекторию, а плотность вероятности положения. Эти две перспективы - траекторная и распределительная - станут центральными для стохастики XX века.

Фоккер и Планк

В 1913-1914 годах Адриан Фоккер исследовал уравнения, описывающие эволюцию вероятностного распределения при случайном движении; в 1917 году соответствующая форма была развита Максом Планком. Позднее уравнение такого типа стало известно как уравнение Фоккера - Планка. С современной точки зрения оно совпадает с прямым уравнением Колмогорова для важного класса диффузионных процессов. Но исторически линии возникли независимо. Фоккер и Планк исходили из физических задач. Колмогоров построил общую математическую теорию марковских переходов.

Норберт Винер и строгая траектория

В 1923 году Норберт Винер построил строгую вероятностную модель броуновского движения. Вместо отдельного дифференциального уравнения он ввёл меру на бесконечномерном пространстве непрерывных функций. Так случайная траектория сама стала математическим объектом. Это был гигантский шаг, но модель Винера оставалась прежде всего одним особенно важным процессом. Колмогорову предстояло построить язык, пригодный для более широкого класса марковских систем.

Московская вероятность конца 1920-х годов

Колмогоров пришёл к проблеме случайных процессов в Москве. В 1920-е годы вокруг Николая Лузина, Павла Александрова, Александра Хинчина и других математиков сформировалась сильная аналитическая школа. Теория меры, функции действительной переменной и методы анализа давали инструменты, которых не было у Маркова в начале века.

Московский университет. В 1920-1930-е годы Москва стала новым центром советской теории вероятностей.

Колмогоров начал работать в вероятности вместе с Хинчиным в середине 1920-х годов.

К концу десятилетия его интерес всё сильнее смещался от отдельных предельных теорем к общей структуре случайных процессов.

Международный контекст

Вопросы случайных процессов разрабатывались одновременно в нескольких странах. Луи Башелье исследовал случайные цены на бирже. Эйнштейн и Смолуховский занимались броуновским движением. Винер дал строгую меру на пространстве траекторий. Бруно де Финетти работал над случайными функциями. Георг Пойа изучал случайные блуждания. Сидни Чепмен сформулировал соотношение составления переходов. Колмогоров находился в международной интеллектуальной среде и в 1931 году путешествовал по Германии и Франции, общаясь, в частности, с Полем Леви и Морисом Фреше.

Работа 1931 года

В 1931 году в журнале Mathematische Annalen вышла статья Колмогорова Über die analytischen Methoden in der Wahrscheinlichkeitsrechnung. Она занимала более сорока страниц и систематизировала аналитический подход к марковским процессам. Encyclopedia of Mathematics считает эту работу одним из оснований общей теории непрерывновременных марковских процессов. Колмогоров исследовал переходные вероятности, их составление и дифференциальные уравнения, которым они должны удовлетворять при определённых условиях.

Почему понадобились два уравнения

Один и тот же переход можно рассматривать с двух сторон. Можно зафиксировать начальное состояние и спросить, как распределение системы развивается вперёд во времени. А можно зафиксировать конечный момент и исследовать, как вероятность результата зависит от начальной точки и начального времени. Эти две перспективы приводят к двум сопряжённым уравнениям:

• прямому уравнению Колмогорова;
• обратному уравнению Колмогорова.

Наличие двух уравнений - не искусственная математическая симметрия.

Они отвечают на разные типы вероятностных вопросов.

Прямое уравнение

Прямое уравнение описывает изменение распределения вероятности по конечному состоянию. Если известно распределение системы сейчас, уравнение показывает, как оно будет меняться в будущем. Для диффузионного процесса современная запись имеет вид:

∂p/∂t = L* p,

где L* - оператор, сопряжённый генератору процесса. В координатной форме это даёт уравнение типа Фоккера - Планка. Исторический смысл прост:

вероятностное распределение само становится динамической величиной.

Обратное уравнение

Обратное уравнение рассматривает переходную вероятность как функцию начального состояния и начального момента.

Современная символическая запись:

∂p/∂s + Lp = 0.

Оно особенно удобно для задач, где интересует вероятность будущего события при разных начальных состояниях. Позднее обратное уравнение станет фундаментальным для теории времени достижения, оптимального управления и математических финансов. Но в 1931 году его историческая роль состояла прежде всего в завершённой симметричной теории марковских переходов.

Генератор процесса

Центральным понятием позднейшей теории стал генератор марковского процесса. Он описывает мгновенную скорость изменения ожидаемых значений функций состояния. В дискретной цепи аналогом является матрица интенсивностей переходов. В диффузии генератор становится дифференциальным оператором. Уравнения Колмогорова показывают, как из локального правила мгновенной эволюции возникает распределение процесса через конечный промежуток времени. Так локальная динамика и глобальная вероятность связываются одним аналитическим аппаратом.

Дискретные состояния: master equation

Для процесса с конечным или счётным набором состояний прямое уравнение превращается в систему обыкновенных дифференциальных уравнений. Вероятность состояния увеличивается за счёт переходов из других состояний и уменьшается из-за переходов наружу. Схематически:

изменение вероятности = приток − отток.

Такая форма позднее получила широкое распространение в физике, химии, теории массового обслуживания и популяционных моделях под названием master equation - основного кинетического уравнения.

От матрицы Маркова к генератору

У Маркова в дискретном времени система делала шаг и применяла таблицу переходных вероятностей. В непрерывном времени нельзя просто сказать «следующий шаг через одну единицу». Система может изменить состояние через сколь угодно малый интервал. Поэтому вместо одношаговой матрицы особенно важной становится матрица интенсивностей или оператор генератора. Это один из главных концептуальных переходов между цепями Маркова и общей теорией марковских процессов.

От броуновского движения к диффузиям

Для непрерывного пространства состояний локальное движение можно характеризовать средним дрейфом и интенсивностью случайного рассеяния.

Если за малый промежуток времени:

• среднее смещение пропорционально dt;
• средний квадрат случайного отклонения тоже пропорционален dt;
• более высокие моменты достаточно малы,

то переходное распределение подчиняется диффузионному уравнению колмогоровского типа.

Эта схема объединила физику броуновского движения и общую вероятность.

Почему прямое уравнение связано с Фоккером - Планком

Фоккер и Планк получили уравнение эволюции плотности в физических задачах раньше Колмогорова. После работы 1931 года стало ясно, что их уравнение - частный случай более общей марковской конструкции. Encyclopedia of Mathematics прямо указывает, что уравнение Фоккера - Планка соответствует прямому дифференциальному уравнению Колмогорова для диффузионных процессов. Это хороший пример того, как физическое уравнение получает новое место после создания более общей математической теории.

Почему обратное уравнение было особенно новым

Прямые уравнения эволюции плотности имели физических предшественников. Обратное уравнение в общей марковской теории стало одним из наиболее характерных вкладов Колмогорова. Оно позволяло рассматривать вероятность будущего события как функцию нынешнего состояния. Позднее именно такая перспектива окажется чрезвычайно важной в задачах выхода из области, времени первого достижения и динамического программирования. Исторически пара прямого и обратного уравнений показала, что марковский процесс можно изучать одновременно с двух временных сторон.

Связь с уравнением Чепмена - Колмогорова

Дифференциальные уравнения не существуют отдельно от уравнения составления переходов. Если вероятность перехода через длинный интервал согласуется с вероятностями двух последовательных интервалов, можно исследовать предел при очень коротком промежуточном шаге. Именно из такого анализа появляются производные по времени и генератор. В этом смысле уравнение Чепмена - Колмогорова выражает глобальную согласованность процесса, а прямое и обратное уравнения - его локальную динамику.

Почему 1931 год был важен для цепей Маркова

Работы Маркова 1906-1907 годов создали дискретную цепную модель. Через четверть века Колмогоров показал, как идея марковости работает для непрерывного времени и пространства состояний. Это превратило «цепь Маркова» из специальной конструкции в часть большой теории процессов без последействия. Подробно происхождение исходной цепи рассматривается в статье Работы Маркова 1906-1907 годов и рождение цепей Маркова. Работа 1931 года показывает следующий исторический этап: локальная зависимость между состояниями становится общей динамической системой переходных вероятностей.

1931 и 1933 годы - разные переломы

В биографии Колмогорова рядом стоят две даты:

• 1931 - аналитическая теория марковских процессов;
• 1933 - аксиоматические основания всей теории вероятностей.

Их легко смешать. В 1931 году Колмогоров не создавал ещё знаменитую систему аксиом. Он строил аналитический аппарат конкретного, но чрезвычайно важного класса случайных процессов. В 1933 году книга Grundbegriffe der Wahrscheinlichkeitsrechnung дала всей вероятности единый язык теории меры. Эти два шага дополняли друг друга: один создавал динамику процессов, второй - фундамент всей дисциплины.

Теория меры и переходные вероятности

После аксиоматики 1933 года переходные вероятности получили естественное место в общей вероятностной системе. Вероятность стала мерой на пространстве событий. Условная вероятность получила строгую мерную интерпретацию. Случайный процесс можно было описывать как семейство случайных величин на одном вероятностном пространстве. Так уравнения 1931 года вошли в более широкий колмогоровский каркас.

После Колмогорова: Феллер

В 1930-1950-е годы Уильям Феллер существенно развил аналитическую теорию марковских процессов. Он исследовал полугруппы операторов, процессы рождения и смерти, граничные условия и диффузии. Связь между вероятностными процессами и операторами анализа становилась всё теснее. В этой традиции уравнения Колмогорова превратились в часть общей теории эволюционных операторов.

Дынкин и сильные марковские процессы

В советской математике важнейшим продолжателем стал Евгений Борисович Дынкин. В 1950-е годы он развивал теорию марковских процессов, сильное марковское свойство, генераторы и связь вероятности с потенциальной теорией. Работы Дынкина и его школы превратили марковские процессы в одну из центральных областей современной вероятности. Исторически это было прямым продолжением программы, начатой Колмогоровым в 1931 году.

Ито: траектория возвращается в центр

Другую линию развил японский математик Киёси Ито. В 1940-е годы он создал стохастическое интегрирование и общую теорию стохастических дифференциальных уравнений. Теперь можно было строго работать с уравнениями типа Ланжевена, содержащими винеровский шум. В результате две исторические линии вновь встретились:

• распределительная - через уравнения Колмогорова;
• траекторная - через стохастические уравнения Ито.

Современная теория диффузий свободно переходит между этими двумя описаниями.

Физика: от броуновской частицы к статистическим системам

В физике прямое уравнение Колмогорова и его формы типа Фоккера - Планка стали стандартным аппаратом для систем с шумом.

Они применяются к:

• диффузии частиц;
• тепловым флуктуациям;
• электрическим цепям;
• лазерной физике;
• химической кинетике;
• неравновесным системам.

Историческое значение здесь в том, что случайность стала входить в дифференциальные уравнения не как внешняя помеха, а как часть основного закона эволюции распределения.

Химия: реакции как случайный процесс

В химической кинетике система может находиться в состоянии, задаваемом числами молекул разных веществ. Отдельные реакции происходят случайно. Вероятности состояний меняются по основному кинетическому уравнению, которое является дискретной формой прямого уравнения Колмогорова. Так теория 1931 года стала естественным языком для реакционных сетей, особенно когда число молекул невелико и обычные детерминированные уравнения концентраций недостаточны.

Биология и популяционные модели

Марковские процессы рождения и смерти описывают случайные изменения численности популяции. Прямое уравнение даёт вероятность иметь определённое число особей через заданное время. Обратное удобно для вычисления вероятности вымирания или достижения порога при заданном начальном состоянии. Исторически это показывает универсальность двух временных перспектив Колмогорова.

Теория массового обслуживания

В очереди заявки поступают и обслуживаются в случайные моменты. Состоянием может быть число клиентов в системе. Если интервалы поступления и обслуживания удовлетворяют подходящим условиям, возникает непрерывновременная марковская цепь. Её вероятности описываются прямыми уравнениями Колмогорова. Так абстрактная теория напрямую вошла в телефонию, транспорт, вычислительные системы и сети связи.

Финансы

В математических финансах диффузионные процессы описывают случайную эволюцию цен и факторов риска. Прямое уравнение задаёт распределение будущего состояния. Обратное уравнение лежит в основе многих задач оценки ожидаемых будущих выплат и связано с дифференциальными уравнениями типа Блэка - Шоулза. Эта область возникла значительно позже работ Колмогорова, но особенно ясно показывает долговечность его двухстороннего подхода к времени.

Почему нельзя сводить уравнения к одной формуле

Выражение «уравнение Колмогорова» используется в нескольких близких смыслах.

Можно иметь в виду:

• прямое уравнение для непрерывновременной цепи;
• обратное уравнение;
• диффузионную форму прямого уравнения;
• уравнение Чепмена - Колмогорова;
• системы уравнений для переходных вероятностей.

Поэтому в исторической статье важно различать интегральное соотношение составления переходов и дифференциальные уравнения 1931 года.

Они принадлежат одной теории, но не являются одной и той же формулой.

Чепмен - Колмогоров и вопрос об авторстве

В западной литературе интегральное соотношение обычно называется уравнением Чепмена - Колмогорова. Но его исторические предшественники включают Башелье, Эйнштейна и Смолуховского. Это типичный случай, когда имя в названии фиксирует не единственный момент открытия, а одну из линий развития понятия. Колмогоров придал соотношению центральную роль в общей теории марковских процессов.

Почему это изменило понятие «состояния»

У Маркова состояние в простейшем примере было дискретной меткой. В колмогоровской теории состоянием могло быть положение частицы, скорость, набор физических параметров или точка в многомерном пространстве. Главное требование состояло в том, чтобы текущее состояние содержало достаточно информации для вероятностного описания будущего. Так марковская идея перестала быть техникой для двух- или многозначных цепочек и стала общим принципом моделирования.

Почему это изменило связь вероятности и анализа

До XX века вероятность часто развивалась как особая область с собственными комбинаторными и предельными методами. Работа Колмогорова 1931 года сблизила её с теорией дифференциальных уравнений и функциональным анализом. Переходные вероятности стали ядрами операторов. Генераторы процессов - дифференциальными или интегральными операторами. Эволюция распределений - задачей анализа. Эта связь определила развитие значительной части стохастики XX века.

Уравнения как мост между микро- и макроописанием

Случайный процесс можно описывать на уровне отдельных траекторий. Но можно вместо этого описывать распределение большого ансамбля возможных траекторий. Прямое уравнение Колмогорова относится ко второму уровню. Оно показывает, как меняется вероятность состояний без необходимости знать конкретную реализацию процесса. Поэтому уравнения оказались особенно полезны там, где отдельная траектория непредсказуема, но распределение подчиняется устойчивому закону.

От Маркова через Винера к Колмогорову

Историческую линию можно представить как три последовательных расширения. Марков показал, что зависимая случайная последовательность может быть строгим математическим объектом. Винер построил строгий непрерывный случайный процесс с бесконечным числом возможных траекторий. Колмогоров создал общий аналитический язык эволюции переходных вероятностей. Эти три шага не заменяли друг друга. Они образовали разные уровни современной теории случайных процессов.

Хронология

Год	Событие
1900	Луи Башелье использует случайное непрерывное движение в математической модели биржевых цен.
1905	Эйнштейн получает количественную теорию броуновского движения.
1906	Смолуховский развивает статистическое описание броуновского движения; Андрей Марков публикует работу о зависимых случайных величинах.
1907	Марков систематически исследует зависимые испытания.
1908	Ланжевен вводит случайную силу в уравнение движения броуновской частицы.
1913-1914	Фоккер получает уравнения эволюции распределения в задачах случайной динамики.
1917	Планк развивает соответствующую форму статистического динамического уравнения.
1923	Винер строит строгую математическую модель броуновского движения.
1928	Сидни Чепмен публикует соотношение составления переходных вероятностей.
1931	Колмогоров публикует Über die analytischen Methoden in der Wahrscheinlichkeitsrechnung и выводит прямые и обратные уравнения марковских процессов.
1932	Колмогоров продолжает исследование общей формы однородного случайного процесса.
1933	Grundbegriffe der Wahrscheinlichkeitsrechnung создаёт аксиоматический фундамент современной вероятности.
1940-е	Ито создаёт стохастическое интегрирование и теорию стохастических дифференциальных уравнений.
1950-е	Феллер, Дынкин и другие математики развивают общую теорию марковских процессов и генераторов.
Вторая половина XX века	Уравнения Колмогорова становятся стандартным аппаратом физики, химии, биологии, массового обслуживания и финансов.

Историческое значение

Уравнения Колмогорова важны не потому, что добавили ещё одну пару дифференциальных формул. Они изменили способ описания случайного процесса. Марковская зависимость получила непрерывное время. Винеровское случайное движение вошло в общий класс. Физические уравнения диффузии получили вероятностную интерпретацию. Переходные вероятности стали объектом анализа, а их временная эволюция - решением дифференциальной задачи. С этого момента теория случайных процессов получила язык, который можно было применять к огромному множеству систем.

Наследие

Сегодня прямые и обратные уравнения Колмогорова находятся в основе теории диффузий, процессов рождения и смерти, стохастического управления, стохастической химии, популяционной биологии, очередей и математических финансов. Но их историческое ядро осталось тем же. Вместо вопроса «какова вероятность отдельного события?» математика стала спрашивать:

как вся система вероятностей меняется во времени?

Именно этот переход связывает работы Маркова начала XX века с современной стохастикой.

См. также

• Цепи Маркова
• Андрей Колмогоров и основания современной теории вероятностей
• Броуновское движение: от Роберта Броуна до математики Винера
• Норберт Винер и винеровский процесс
• Работы Маркова 1906-1907 годов и рождение цепей Маркова
• Уравнение Чепмена - Колмогорова
• Случайный процесс
• Диффузионный процесс
• Уравнение Фоккера - Планка

Источники и литература

• Kolmogoroff A. Über die analytischen Methoden in der Wahrscheinlichkeitsrechnung // Mathematische Annalen. 1931. Bd. 104. S. 415-458.
• Kolmogorov A. N. Selected Works. Vol. II: Probability Theory and Mathematical Statistics. Dordrecht: Kluwer, 1992.
• Chapman S. On the Brownian displacements and thermal diffusion of grains suspended in a non-uniform fluid // Proceedings of the Royal Society A. 1928. Vol. 119. P. 34-54.
• Fokker A. D. Die mittlere Energie rotierender elektrischer Dipole im Strahlungsfeld // Annalen der Physik. 1914. Bd. 43. S. 810-820.
• Langevin P. Sur la théorie du mouvement brownien // Comptes Rendus de l'Académie des Sciences. 1908. Vol. 146. P. 530-533.
• Dynkin E. B. Markov Processes. Vol. I-II. Berlin: Springer, 1965.
• Feller W. An Introduction to Probability Theory and Its Applications. Vol. I-II. New York: Wiley.
• Gikhman I. I., Skorokhod A. V. The Theory of Stochastic Processes. Berlin: Springer.