Случайный процесс

Три численные реализации винеровского процесса. Пунктир отмечает один момент времени.

Семейство случайных величин, описывающее изменение случайной системы во времени.

Область: Теория вероятностей
Разновидность: Математическая модель

Случайный процесс - математическая модель системы, состояние которой изменяется во времени случайным образом. В современной теории его обычно представляют как семейство случайных величин $X (t)$ , индексированных временем или другим параметром. Но исторически это понятие возникло не из одного определения, а из нескольких разных проблем: движения биржевых цен, цепей зависимых испытаний, броуновского движения, временных рядов, шумов и задач предсказания.^[1]

Появление теории случайных процессов изменило саму структуру вероятностного мышления. Классическая теория спрашивала: «Какова вероятность события?» или «Как распределена случайная величина?» Новая теория добавила другой вопрос: как случайная система развивается во времени? Именно этот переход связал работы Андрея Маркова, Луи Башелье, Норберта Винера, Евгения Слуцкого, Андрея Колмогорова и Джозефа Дуба в одну из центральных линий математики XX века.

От случайной величины к случайной истории

Случайная величина описывает один неопределённый результат. Например, количество осадков завтра, результат измерения или число клиентов, пришедших за час. Но многие реальные явления нельзя понять по одному моменту. Важно знать:

как меняется цена день за днём;
как движется частица секунду за секундой;
как колеблется электрический сигнал;
как растёт или вымирает популяция;
как меняется число заявок в очереди;
как значение сегодня связано со вчерашним.

Так возникает объект более высокого уровня - целая случайная траектория.

История теории случайных процессов началась тогда, когда математика научилась рассматривать не один случайный результат, а последовательность или функцию случайных состояний.

До XX века: вероятность в основном изучает результаты

К XVIII-XIX векам теория вероятностей уже обладала законом больших чисел, нормальными приближениями и теорией ошибок. Якоб Бернулли, Лаплас, Пуассон и Чебышёв исследовали массовое поведение случайных величин. Но время чаще выступало внешним параметром серии испытаний, а не самостоятельной частью модели. Даже длинная последовательность бросков монеты рассматривалась прежде всего как множество случайных исходов, а не как динамическая система. Чтобы появилось понятие процесса, потребовались задачи, где порядок и время нельзя было отбросить.

Луи Башелье: цена как случайное движение

В 1900 году французский математик Луи Башелье защитил диссертацию Théorie de la spéculation. Он пытался математически описать движение биржевых цен. В современной ретроспективе его работа содержит несколько идей, которые позднее станут центральными для случайных процессов: независимые приращения, непрерывное случайное движение, переходные вероятности и предшественник марковской модели.^[2] Башелье оказался удивительно рано в правильной точке истории. Он рассматривал случайность не как единичный бросок, а как непрерывно меняющийся во времени объект. Но его работа долго оставалась недооценённой, и новая теория не возникла вокруг неё немедленно.^[2]

Финансовая задача раньше физической

Особенно примечательно, что математическая модель непрерывного случайного движения появилась у Башелье за пять лет до знаменитой работы Эйнштейна о броуновском движении. Башелье пришёл к ней из биржевой практики, а не из молекулярной физики. Encyclopedia of Mathematics отмечает, что его диссертация содержит три близких к современным способа описания броуновского движения: через независимые однородные приращения, как предел случайных блужданий и как марковский процесс, чьё прямое уравнение связано с уравнением теплопроводности.^[2] История случайных процессов поэтому с самого начала соединяла финансы, физику и чистую математику.

Андрей Марков: случайность получает память

Почти одновременно в России возникла другая линия.

В 1906-1907 годах Андрей Марков исследовал зависимые случайные величины и испытания. Его цепи развивались по дискретным шагам. Вероятность следующего состояния зависела от текущего состояния. Это был принципиальный отход от привычной модели независимых повторений. Вместо набора случайных величин появлялась последовательность, в которой порядок имеет математическое значение.^[3]

Марковская цепь ещё не была общей теорией процессов

Марков не формулировал в 1907 году современное понятие «случайного процесса». Его интересовали конкретные цепи зависимых испытаний и предельные теоремы. Но исторически цепи Маркова стали первым крупным классом процессов, где вероятность описывает эволюцию состояния. Именно поэтому Encyclopedia of Mathematics называет марковские процессы хронологически первым подробно исследованным классом случайных процессов.^[4] Подробно этот этап рассматривается в статье Работы Маркова 1906-1907 годов и рождение цепей Маркова.

Броуновское движение: физика требует траектории

Другая линия пришла из физики. В 1827 году Роберт Броун наблюдал беспорядочное движение микроскопических частиц в жидкости. В 1905 году Альберт Эйнштейн показал, что это движение можно связать с тепловым движением молекул и описывать статистически.

Броуновская частица не просто имеет случайное положение. Она имеет целую случайную траекторию. Именно поэтому броуновское движение стало одной из главных лабораторий новой вероятности.

От распределения положения к распределению траекторий

Эйнштейн и Смолуховский получили законы для распределения смещений частицы. Но полное математическое описание требует знать не только вероятность положения через минуту. Нужно описать вероятность целой истории движения. Это значительно более сложный объект. Пространство возможных траекторий бесконечномерно. На нём требуется определить вероятностную меру. Эту задачу решил Норберт Винер.

Винер: случайная функция становится строгим объектом

В 1923 году Норберт Винер построил меру на пространстве непрерывных функций, которая стала математической моделью броуновского движения. Сегодня соответствующий процесс называется винеровским.^[5] Это был важнейший концептуальный шаг. Случайным объектом теперь могла быть не точка и не число, а целая функция времени. Теория вероятностей начала работать с распределениями на пространствах траекторий.

Почему Винер был нужен после Маркова

Марковская цепь развивается дискретными шагами и часто имеет конечное или счётное число состояний. Винеровский процесс непрерывен во времени и принимает непрерывные значения. Его траектории почти наверное непрерывны, но чрезвычайно нерегулярны. Таким образом, Марков и Винер открывали две разные стороны будущей теории процессов:

Марков - зависимость и переходы между состояниями;
Винер - вероятностную меру на непрерывных траекториях.

Следующему поколению предстояло объединить эти идеи.

Евгений Слуцкий: временной ряд как случайный процесс

В 1920-е годы важная линия развивалась и в Москве. Евгений Евгеньевич Слуцкий исследовал экономические временные ряды и случайные функции. Между 1925 и 1928 годами он вводил вероятностные понятия предела, производной и интеграла для случайных функций.^[6] В 1927 году Слуцкий показал, что скользящее усреднение последовательности независимых случайных величин способно порождать почти периодические колебания.^[6] Это стало важным эпизодом истории стационарных случайных процессов.

«Эффект Слуцкого»

Результат Слуцкого был особенно значим для статистики временных рядов. Он показывал: регулярные волны могут возникать не потому, что в системе действует реальный периодический механизм, а как результат фильтрации случайного шума. Для экономики это имело очевидное значение. Наблюдаемая цикличность сама по себе ещё не доказывает существование скрытого экономического цикла. Так случайный процесс стал инструментом критики слишком прямолинейных интерпретаций временных данных.

Стационарность

Одним из ключевых понятий постепенно стала стационарность. Процесс называется стационарным, если его статистические свойства не меняются при сдвиге времени определённого типа. Именно такие процессы удобны для анализа сигналов, шумов и временных рядов. В 1930-1940-е годы теория стационарных процессов будет развиваться Хинчиным, Винером, Колмогоровым и другими исследователями.^[7] Исторически эта линия отличалась от марковской. Марковский процесс определяется особым отношением прошлого и будущего. Стационарный - устойчивостью статистики во времени. Процесс может быть и тем, и другим, но понятия отвечают на разные вопросы.

1931 год: Колмогоров строит общую динамику

В 1931 году Андрей Николаевич Колмогоров опубликовал работу Über die analytischen Methoden in der Wahrscheinlichkeitsrechnung. Она заложила основы общей теории непрерывновременных марковских процессов.^[3] Колмогоров рассматривал переходные вероятности и вывел прямые и обратные дифференциальные уравнения их эволюции. Подробно этот переход рассматривается в статьях Уравнения Колмогорова и Уравнение Чепмена - Колмогорова. После этой работы цепь Маркова стала частью значительно более широкой теории.

Случайность как функция времени

Современное определение выглядит просто. Случайный процесс $X (t)$ - это семейство случайных величин, зависящих от параметра $t$ .^[1] Но эта формула скрывает исторический путь. Каждый фиксированный момент $t$ даёт обычную случайную величину. Вместе все моменты образуют случайную функцию. Чтобы описать её полностью, нужно знать совместные распределения:

$X (t_{1}), X (t_{2}), \dots, X (t_{n})$

для любых моментов времени. Именно такой язык стал основой общей теории процессов.

Конечномерные распределения

Вместо попытки сразу описать бесконечную траекторию можно задавать вероятности для любого конечного набора моментов.

Например:

распределение $X (t_{1})$ ;
совместное распределение $X (t_{1}), X (t_{2})$ ;
совместное распределение $X (t_{1}), X (t_{2}), X (t_{3})$ ;
и так далее.

Эти распределения называют конечномерными. Если они согласованы друг с другом, возникает вопрос: существует ли случайный процесс с такими распределениями? Колмогоров дал общий ответ в своей аксиоматической вероятностной теории.

Теорема существования Колмогорова

Один из фундаментальных результатов показывает, что согласованное семейство конечномерных распределений при подходящих условиях задаёт случайный процесс. Так математик может сначала задать вероятностные законы для любого конечного набора моментов, а затем получить процесс как единый объект. Это был важнейший шаг абстракции. Вероятностная теория перестала зависеть от конкретной физической конструкции траектории.

1933 год: единое вероятностное пространство

В 1933 году Колмогоров опубликовал Grundbegriffe der Wahrscheinlichkeitsrechnung. Вероятность была построена на языке теории меры. Случайная величина стала измеримой функцией на вероятностном пространстве. Случайный процесс - семейством таких функций. Подробно этот перелом рассматривается в статье Андрей Колмогоров и основания современной теории вероятностей. После 1933 года разные виды процессов можно было исследовать в едином формальном каркасе.

Марковские процессы

Марковский процесс - случайный процесс, где при известном настоящем дополнительное знание прошлого не меняет вероятностного закона будущего.^[3] Это не означает, что прошлое вообще неважно. Оно может полностью сформировать текущее состояние. Марковское свойство утверждает лишь, что текущее состояние содержит всю необходимую для будущей вероятности информацию. Этот класс стал одним из главных объектов теории процессов.

Процессы с независимыми приращениями

Другой важный класс определяется не марковским свойством, а независимостью изменений на непересекающихся промежутках времени. Винеровский процесс имеет независимые приращения. К этому же широкому семейству относится пуассоновский процесс. Такие модели особенно естественны для накопления случайных событий: числа звонков, распадов, заявок, аварий или частиц. История показывает, что «случайный процесс» быстро распался на множество классов с разной структурой зависимости.

Стационарные процессы

Стационарные процессы стали центральными для сигналов и временных рядов. Если статистические характеристики не меняются со временем, можно использовать прошлый фрагмент для изучения будущего. Это лежит в основе спектрального анализа и теории предсказания. В 1940-е годы Колмогоров и Винер независимо развивали методы линейного предсказания стационарных случайных процессов.^[8] Так теория процессов вошла в радиотехнику, связь и обработку сигналов.

Винер и шум

Во время Второй мировой войны Винер занимался задачами предсказания движения целей по шумным данным. После войны эта работа стала частью теории фильтрации и предсказания. В 1949 году вышла его книга об экстраполяции, интерполяции и сглаживании стационарных временных рядов. Случайный процесс здесь был уже не абстрактным объектом, а инженерной моделью сигнала во времени.

Хинчин и корреляция

Александр Хинчин внёс важный вклад в теорию стационарных процессов. Его имя связано с теорией корреляционных функций и спектральным описанием стационарных сигналов. Работы Хинчина, Колмогорова и Винера сделали возможным переход от наблюдаемого временного ряда к его частотной структуре. Так случайные процессы стали естественным языком инженерии сигналов.

Джозеф Дуб: теория становится самостоятельной дисциплиной

В США одним из ключевых создателей зрелой теории стал Джозеф Лео Дуб. В 1940-е и 1950-е годы он развивал мартингалы, сепарабельность процессов, связи вероятности с теорией меры и потенциальной теорией. В 1953 году Дуб опубликовал монографию Stochastic Processes объёмом более 650 страниц.^[9] Во введении он подчёркивал, что за предыдущие двадцать лет теория развилась настолько быстро, что потребовала отдельного систематического изложения.^[9] Это хороший исторический маркер: к середине века случайные процессы уже стали самостоятельной большой областью математики.

Мартингалы

Одним из центральных вкладов Дуба стала теория мартингалов. Мартингал формализует идею «справедливой игры»: при известной текущей информации условное ожидание будущего значения равно нынешнему. Хотя термин пришёл из азартных игр, математическая теория оказалась чрезвычайно широкой. Мартингалы стали инструментом для изучения:

случайных процессов;
остановок;
броуновского движения;
финансовых моделей;
потенциальной теории.

Так теория процессов получила ещё один общий язык, уже не связанный только с марковостью.

Почему случайный процесс шире марковского

История узла Маркова легко создаёт впечатление, будто любой случайный процесс является марковским. Это неверно. Процесс может зависеть от всей предыдущей истории. Например, будущая динамика может зависеть от среднего значения за последние десять минут или от максимума за всё прошлое время. Марковский процесс - только один особенно важный класс. Именно поэтому общая теория случайных процессов понадобилась даже после развития марковских моделей.

Случайная последовательность

Если параметр времени принимает только целые значения, процесс превращается в случайную последовательность:

$X_{0}, X_{1}, X_{2}, \dots$

К этому типу относятся цепи Маркова, многие временные ряды и дискретные модели населения. Если время непрерывно, параметр $t$ принимает любые значения на интервале. Так одно общее понятие объединяет дискретные и непрерывные модели.

Случайное поле

Параметр не обязан быть временем. Если случайная величина зависит от точки пространства, говорят о случайном поле. Например, температура может быть случайной функцией координат на карте. В более высоких размерностях случайные поля используются в геофизике, космологии, обработке изображений и статистической физике. Исторически это ещё одно расширение идеи: случайным становится не только движение во времени, но и распределение в пространстве.

Реализация процесса

У случайного процесса есть два уровня описания. Первый - вероятностный закон всего семейства возможных траекторий. Второй - одна конкретная наблюдаемая траектория, называемая реализацией. Это различие особенно ясно на примере броуновского движения. Каждая частица показывает один случайный путь. Теория описывает распределение всех возможных путей. Именно переход от отдельных реализаций к распределению траекторий стал одним из главных новшеств XX века.

Что означает «процесс» в науке

В классической механике состояние системы в настоящий момент вместе с законами движения может полностью определять будущее. В случайном процессе настоящее состояние определяет не обязательно точный будущий путь, а вероятность разных будущих траекторий. Так вероятность перестаёт быть только мерой незнания о фиксированном событии. Она становится частью закона эволюции. Это один из самых глубоких концептуальных сдвигов современной науки.

Физика

В физике случайные процессы описывают:

броуновское движение;
тепловой шум;
радиоактивный распад;
турбулентность;
флуктуации физических систем;
шум в электрических цепях.

Encyclopedia of Mathematics приводит броуновское движение как типичный пример случайного процесса и отдельно упоминает шумы, турбулентность и геофизические колебания.^[1]

Химия

В химии процесс может описывать случайные моменты реакций и изменение числа молекул. Когда молекул мало, детерминированное уравнение концентраций может быть недостаточно. Тогда отдельные реакции моделируются как случайные события во времени. Так теория процессов становится естественным языком химической кинетики.

Биология

В биологии случайные процессы описывают:

рождения и смерти;
мутации;
генетический дрейф;
распространение эпидемий;
активность нейронов;
динамику популяций.

Здесь особенно важна возможность соединять случайность отдельных событий с долгосрочными вероятностными закономерностями.

Теория массового обслуживания

Телефонная станция, касса, сервер или транспортная система получают случайный поток заявок. Время прихода следующей заявки неизвестно. Время обслуживания также может быть случайным. Поэтому длина очереди меняется как случайный процесс. В XX веке эта область стала одним из наиболее практических приложений марковских и пуассоновских процессов.

Экономика и финансы

Башелье начал одну из исторических линий именно с финансов. Позднее случайные процессы стали основой математических моделей цен, процентных ставок и риска. Но история здесь содержит важное предупреждение. Математическая модель не утверждает, что рынок буквально является винеровским или марковским процессом. Она задаёт приближение, полезность которого зависит от задачи и данных.

Теория информации и связь

Случайный сигнал во времени - естественный случайный процесс. Поэтому теория связи XX века оказалась тесно связана с этой математикой. Шеннон моделировал источники сообщений вероятностно. Винер исследовал случайные сигналы и задачи фильтрации. Позднее случайные процессы стали стандартным языком радио, телекоммуникаций и обработки сигналов.

Случайный процесс и данные

Современная статистика часто наблюдает не весь вероятностный закон, а одну или несколько реализаций процесса.

Например, исследователь имеет:

одну длинную запись температуры;
одну финансовую историю;
один сигнал электроэнцефалограммы;
одну последовательность сетевых запросов.

Задача состоит в том, чтобы по наблюдаемой траектории делать выводы о скрытом вероятностном механизме.

Так теория процессов непосредственно связана со статистикой временных рядов.

Почему это понятие стало центральным в XX веке

Наука всё чаще сталкивалась с системами, где случайность проявлялась не однократно, а непрерывно во времени. Физика изучала флуктуации. Инженерия - шум. Экономика - временные ряды. Биология - случайные популяционные события. Связь - случайные сигналы. Одного распределения отдельной случайной величины для этих задач было недостаточно. Понадобилась математика траекторий.

От Маркова к общей стохастике

Историю можно представить как последовательное расширение объекта вероятности. Бернулли - большое число случайных испытаний. Марков - зависимая последовательность. Башелье и Винер - непрерывное случайное движение. Слуцкий - случайная функция и временной ряд. Колмогоров - общий измеримый процесс и аналитическая теория переходов. Дуб - зрелая теория процессов и мартингалов. Ни один из этих этапов не был просто заменой предыдущего. Каждый расширял класс случайных явлений, которые можно исследовать строго.

Историческая хронология

Год	Событие
1827	Роберт Броун наблюдает хаотическое движение микроскопических частиц.
1900	Луи Башелье строит математическую модель случайного движения биржевых цен.
1905	Эйнштейн создаёт количественную теорию броуновского движения.
1906-1907	Андрей Марков исследует зависимые случайные последовательности.
1923	Норберт Винер строит строгую математическую модель броуновского движения.
1925-1928	Евгений Слуцкий развивает понятия случайных функций и исследует временные ряды.
1927	Слуцкий показывает, что скользящее усреднение случайной последовательности способно порождать почти периодические колебания.
1931	Колмогоров создаёт аналитическую теорию непрерывных марковских процессов.
1933	Аксиоматика Колмогорова даёт общей теории процессов единое вероятностное основание.
1930-1940-е	Хинчин, Винер и Колмогоров развивают теорию стационарных процессов и предсказания.
1940-е	Джозеф Дуб развивает мартингалы и мерный аппарат случайных процессов.
1953	Выходит фундаментальная монография Дуба Stochastic Processes.
Вторая половина XX века	Теория случайных процессов становится стандартным языком физики, инженерии, биологии, экономики и связи.

Историческое значение

Понятие случайного процесса стало одним из главных математических новшеств XX века не из-за одного особенно сложного определения. Оно изменило объект исследования. Вероятность перестала описывать только неопределённый результат. Она стала описывать целую случайную историю. Этот переход позволил соединить дискретные цепи Маркова, броуновское движение, сигналы, временные ряды и популяционные процессы в едином математическом языке.

Наследие

Сегодня случайные процессы образуют огромную область современной вероятности. Марковские процессы, мартингалы, стационарные процессы, гауссовские процессы, процессы с независимыми приращениями, ветвящиеся процессы и случайные поля имеют разные структуры. Но исторически все они принадлежат к одному интеллектуальному переходу:

от вероятности одного события к вероятности эволюции системы.

Именно этот переход связал классическую теорию вероятностей XIX века с современной стохастикой.

См. также

Источники и литература

Bachelier L. Théorie de la spéculation. Paris, 1900.
Markov A. A. Исследование замечательного случая зависимых испытаний. 1907.
Wiener N. Differential-Space // Journal of Mathematics and Physics. 1923.
Kolmogoroff A. Über die analytischen Methoden in der Wahrscheinlichkeitsrechnung // Mathematische Annalen. 1931. Bd. 104. S. 415-458.
Kolmogorov A. N. Grundbegriffe der Wahrscheinlichkeitsrechnung. Berlin, 1933.
Slutsky E. The Summation of Random Causes as the Source of Cyclic Processes. 1927.
Doob J. L. Stochastic Processes. New York: Wiley, 1953.
Gikhman I. I., Skorokhod A. V. Introduction to the Theory of Random Processes. 1965.

[EOMStochastic-1] 1,0 ^1,1 ^1,2 Stochastic process // Encyclopedia of Mathematics.

[EOMBachelier-2] 2,0 ^2,1 ^2,2 Bachelier, Louis // Encyclopedia of Mathematics.

[EOMMarkov-3] 3,0 ^3,1 ^3,2 Markov process // Encyclopedia of Mathematics.

[EOMProbability-4] Probability theory // Encyclopedia of Mathematics.

[EOMWiener-5] Wiener process // Encyclopedia of Mathematics.

[MacSlutsky-6] 6,0 ^6,1 Evgeny Slutsky // MacTutor History of Mathematics.

[EOMStationary-7] Stationary stochastic process // Encyclopedia of Mathematics.

[EOMPrediction-8] Stochastic processes, prediction of // Encyclopedia of Mathematics.

[DoobBook-9] 9,0 ^9,1 J. L. Doob. Stochastic Processes. New York: Wiley, 1953.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]