От Бернулли к Маркову: история закона больших чисел
Развитие законов стабилизации частот и средних в независимых и зависимых испытаниях.
- Область
- Теория вероятностей; математическая статистика
- Разновидность
- История научной теории
«От Бернулли к Маркову: история закона больших чисел» - история одной из центральных идей теории вероятностей: представления о том, что множество случайных событий способно образовывать устойчивую закономерность. От первых рассуждений Якоба Бернулли о повторных испытаниях эта идея прошла через работы Пуассона, Чебышёва, социальную статистику XIX века и в начале XX века привела Андрея Маркова к доказательству закона больших чисел для зависимых случайных величин.[1]
Историческое значение закона больших чисел трудно переоценить. Он дал математике язык для описания одного из самых парадоксальных явлений: отдельное событие может оставаться непредсказуемым, но огромная совокупность таких событий становится статистически устойчивой. Именно отсюда выросла возможность применять вероятность к страхованию, демографии, физике, статистике, массовому поведению и позднее к случайным процессам.
Главный парадокс случайности
Если бросить монету один раз, результат неизвестен. Даже десять бросков могут дать неожиданное соотношение орлов и решек. Но в длинной серии доля орлов обычно оказывается всё ближе к определённой величине.
Именно это наблюдение лежит в основе закона больших чисел.
Случайность отдельного события не исчезает. Невозможно предсказать конкретный следующий бросок. Но на уровне большой совокупности появляется порядок.
Для ранней теории вероятностей это был фундаментальный сдвиг: математическая закономерность обнаруживалась не вопреки случайности, а внутри неё.
От азартных игр к вероятности
Европейская теория вероятностей XVII века выросла прежде всего из задач азартных игр. Паскаль, Ферма, Гюйгенс и другие математики исследовали, как делить ставки, вычислять ожидаемый выигрыш и сравнивать разные игры.
Эти задачи были удобны потому, что позволяли точно задавать число возможных исходов.
Но постепенно возник более глубокий вопрос: что происходит, если один и тот же случайный опыт повторяется много раз? Можно ли по наблюдаемым частотам восстановить неизвестную вероятность?
Этот вопрос вывел вероятность далеко за пределы игр.
Якоб Бернулли и Ars Conjectandi
Главный ранний ответ дал Якоб Бернулли. Его книга Ars Conjectandi - «Искусство предположений» - была опубликована посмертно в Базеле в 1713 году племянником автора Николаем Бернулли.[2]
Четвёртая часть книги была особенно важна. Бернулли обсуждал сам смысл вероятности, способы её определения и возможность узнавать неизвестную вероятность из опыта.
В играх вероятность можно вычислить заранее, если все исходы известны. Но как определить вероятность смерти человека в течение ближайших десяти лет? Как оценивать события, для которых невозможно заранее перечислить равновозможные исходы?
Бернулли предложил принципиальный ответ: вероятность можно приближённо определять по частоте события в большой серии наблюдений.[3]
«Золотая теорема» Бернулли
Бернулли доказал результат, который позднее стали называть его теоремой, а затем - первой формой закона больших чисел.
Пусть один и тот же опыт повторяется независимо много раз, а вероятность некоторого события равна p. Бернулли показал, что при достаточно большом числе испытаний относительная частота события с очень высокой вероятностью окажется близка к p.[2]
Современная формула выглядит компактно, но историческая идея была значительно важнее самой записи:
- большое число наблюдений позволяет увидеть устойчивую вероятность через хаотические отдельные результаты.
Так возник математический мост между теоретической вероятностью и наблюдаемой частотой.
Почему доказательство было трудным
Сегодня теорема Бернулли кажется естественной, но для начала XVIII века она была технически сложной. Бернулли нужно было не просто сказать, что частота «обычно» становится ближе к вероятности. Требовалось количественно показать, что вероятность большого отклонения можно сделать сколь угодно малой, если увеличить число испытаний.
По свидетельствам истории математики, Бернулли работал над этим результатом много лет. Его теорема стала одной из первых серьёзных попыток математически объяснить, почему накопление данных даёт знание о случайном явлении.
От игры к реальному миру
Особенно важно, что сам Бернулли не хотел ограничивать вероятность азартными играми. В Ars Conjectandi он писал о применении искусства предположений к гражданским, моральным и экономическим вопросам.[3]
Именно здесь возникает долгосрочная история закона больших чисел. Если повторение случайных событий создаёт устойчивость, то тот же принцип можно пытаться применять к населению, смертности, торговле, страхованию и человеческому поведению.
Но для этого классическую схему Бернулли необходимо было расширять. Реальные испытания редко совершенно одинаковы.
XVIII век: идея существует, но теория развивается медленно
После Бернулли вероятность активно развивалась, но закон больших чисел ещё долго оставался скорее фундаментальной теоремой специальной схемы, чем общей философией случайных процессов.
Лаплас и другие математики развивали методы приближённых вычислений, нормальные приближения и теорию ошибок. Постепенно становилось ясно: массовая статистическая устойчивость - не исключение, а один из центральных феноменов вероятности.
Следующий крупный шаг сделал Симеон Дени Пуассон.
Пуассон и само название «закон больших чисел»
В 1835 году Пуассон ввёл выражение loi des grands nombres - «закон больших чисел». Именно он сделал это название знаменитым.[4]
Его результат расширял теорему Бернулли. У Бернулли вероятность события оставалась одинаковой во всех испытаниях; Пуассон рассматривал последовательность независимых испытаний, где вероятность могла меняться от опыта к опыту.[1]
Это было важно для реальных приложений: события в жизни редко повторяются в совершенно одинаковых условиях.
Почему Пуассон заинтересовался обществом
Пуассон применял вероятность не только к играм или физическим измерениям. Его особенно интересовали судебные решения, криминальная статистика и массовые социальные данные.
Именно в контексте работы о вероятности судебных решений он использовал образ закона больших чисел. Так математическая теорема постепенно превращалась в принцип объяснения массовой статистики: если отдельное решение или поступок может быть случайным, тысячи таких событий могут демонстрировать устойчивую пропорцию.
Эта идея сильно повлияла на социальную статистику XIX века.[4]
Кетле: закон больших чисел выходит в общество
Одним из наиболее известных авторов, развивших статистическое понимание общества, стал бельгийский астроном и статистик Адольф Кетле.
В 1830-е годы Кетле собирал данные о рождаемости, браках, преступлениях и других массовых явлениях. Он был поражён относительной устойчивостью некоторых показателей из года в год.
Именно закон больших чисел давал язык для интерпретации такого порядка. Масса индивидуальных действий могла выглядеть устойчивой даже тогда, когда каждый отдельный поступок невозможно было предсказать.
Социальная физика
Кетле называл свой проект «социальной физикой». Он стремился найти регулярности общественной жизни так же, как физик ищет законы движения тел.
Для него статистика позволяла увидеть «среднего человека» и устойчивые характеристики популяции. Эта программа была чрезвычайно влиятельной и одновременно спорной.
Она ставила философский вопрос: если массовое поведение статистически устойчиво, остаётся ли человек свободным? Кетле сам понимал проблему и в 1847 году специально писал о влиянии свободной воли на социальные факты.[5]
Историческое раздвоение идеи
К середине XIX века закон больших чисел жил уже в двух мирах. Первый был строго математическим: при каких условиях частоты и средние стабилизируются? Второй был статистико-философским: что означает устойчивость массового поведения людей?
Эти два мира постоянно пересекались, но не были одинаковы. Именно из напряжения между ними позже возникнет спор Павла Некрасова и Андрея Маркова.
Русская линия: Буняковский
В России вероятностные и статистические исследования XIX века развивал Виктор Яковлевич Буняковский. Он занимался демографией, страхованием и приложениями вероятности.
Encyclopedia of Mathematics относит его работы 1840-х годов к раннему развитию математической статистики в России.[6]
Но подлинный перелом произошёл с Пафнутием Львовичем Чебышёвым.
Чебышёв: закон становится общей теоремой
Чебышёв начал заниматься вероятностью в середине XIX века. Его интересовала не только классическая схема одинаковых испытаний: он стремился доказать закон больших чисел для более общих случайных величин.
В 1846 году Чебышёв дал строгий анализ закона Пуассона, причём его метод существенно отличался от приближённых аргументов самого Пуассона.[1][7]
Это стало одним из ранних проявлений нового стиля русской вероятностной школы.
Оценка отклонения вместо красивой формулы
Чебышёв сделал центральным вопрос: насколько вероятно большое отклонение случайной величины от её среднего?
Ответом стали строгие неравенства. Именно такой подход позволял доказывать общие результаты, не зная точной формы распределения.
Неравенство Бьенэме - Чебышёва связывает вероятность большого отклонения с дисперсией случайной величины.[8]
Исторически это был огромный шаг: закон больших чисел становился следствием общего метода оценки, а не специальной комбинаторной конструкции.
Работа «О средних величинах»
В 1867 году Чебышёв опубликовал работу «О средних величинах». Он доказал общий закон больших чисел для последовательности независимых случайных величин при достаточно широких условиях.[1]
Теперь случайные величины не обязаны были принимать только значения «успех» и «неудача». Они могли быть разными; важно было контролировать их математические ожидания и дисперсии.
Так закон больших чисел окончательно вышел из схемы монеты или урны.
Почему Чебышёв изменил смысл закона
После Чебышёва закон больших чисел стал не только утверждением о частотах события. Он превратился в общий принцип поведения средних случайных величин.
Это резко расширило область применений: можно было исследовать ошибки измерений, страховые выплаты, физические величины и статистические показатели.
Именно на этом уровне закон стал одной из основных опор математической статистики.
Петербургская школа
Работы Чебышёва создали в Петербурге сильную вероятностную традицию. Его главными продолжателями стали Андрей Марков и Александр Ляпунов.
Подробно научная среда этой группы рассматривается в статье Петербургская школа теории вероятностей.
Для истории закона больших чисел особенно важен Марков. Он продолжил любимый вопрос Чебышёва: какие условия теоремы действительно необходимы?
Независимость остаётся последней границей
К концу XIX века формулировки закона больших чисел стали намного общими, но одно условие оставалось почти естественным - независимость.
Если случайные величины независимы, дисперсия суммы складывается удобно, а влияние одного результата не передаётся следующему.
Что происходит, если отказаться и от этого? Именно здесь теория столкнулась с новым рубежом.
Московский поворот: Павел Некрасов
Павел Алексеевич Некрасов был профессором и ректором Московского университета и одним из представителей московской философско-математической традиции.
Он занимался предельными теоремами и пытался связывать вероятность с социальной статистикой. В 1902 году Некрасов придал независимости особый статус: он утверждал, что попарная независимость случайных величин необходима для слабого закона больших чисел.[5]
Это было не только техническое утверждение. Некрасов связывал математическую независимость с более широкой философской проблемой индивидуальной свободы.
От Кетле к Некрасову
Некрасов сознательно обращался к наследию Кетле. Его книга 1902 года называлась «Философия и логика науки о массовых проявлениях человеческой деятельности» и имела подзаголовок «Пересмотр оснований социальной физики Кетле».
Для Некрасова устойчивость массовых социальных показателей нуждалась не только в статистическом описании, но и в философском объяснении. Независимость отдельных действий становилась частью этого объяснения.
Историк Юджин Сенета показал, что именно такое соединение статистической регулярности и свободы воли составляло важный контекст спора с Марковым.[5]
Марков: математический ответ
Марков относился к подобным философским переходам крайне скептически, но его главный ответ был не философским.
Он взял конкретное математическое утверждение Некрасова и решил показать, что оно неверно. Если закон больших чисел можно доказать для зависимых величин, независимость перестаёт быть необходимым условием.
Именно этот вопрос привёл Маркова к его работе 1906 года.[9]
1906 год: закон больших чисел становится законом зависимых процессов
В 1906 году Марков опубликовал статью «Распространение закона больших чисел на величины, зависящие друг от друга». Название было программным: Марков прямо атаковал границу независимости.
Он построил последовательность, в которой очередное состояние зависит от предыдущего, и доказал, что при подходящих условиях среднее всё равно стабилизируется.[10]
Так закон больших чисел перестал быть законом только независимых событий.
Почему это был исторический перелом
Бернулли показал порядок в большой серии одинаковых независимых испытаний. Пуассон допустил изменение вероятности между испытаниями. Чебышёв перешёл к общим независимым случайным величинам. Марков сделал следующий шаг - допустил зависимость.
В этой последовательности хорошо видна история расширения самой идеи:
| Этап | Что разрешено |
|---|---|
| Бернулли | Одинаковые независимые испытания. |
| Пуассон | Независимые испытания с меняющейся вероятностью. |
| Чебышёв | Общие независимые случайные величины. |
| Марков | Определённые зависимые случайные величины. |
Каждый новый этап расширял область, где случайность всё ещё порождала устойчивость.
Цепь Маркова выросла из закона больших чисел
Сегодня цепи Маркова обычно изучают как самостоятельный класс случайных процессов. Исторически они возникли из совершенно другой задачи.
Маркову нужен был удобный тип зависимости, который позволил бы опровергнуть тезис о необходимости независимости. Так появилась цепная схема: следующее состояние зависит от текущего, а влияние более далёкого прошлого передаётся через последовательность переходов.
Подробно этот этап рассматривается в статье Работы Маркова 1906-1907 годов и рождение цепей Маркова.
Таким образом, один из самых известных объектов современной вероятности родился как часть истории закона больших чисел.
Закон больших чисел и «забывание» прошлого
Для зависимой последовательности недостаточно сказать, что события связаны. Если влияние одного состояния сохраняется навсегда с одинаковой силой, усреднение может вести себя плохо.
Марков исследовал схемы, где влияние удалённых состояний ослабевает. Именно поэтому статистическая устойчивость могла сохраняться.
В современной теории эта идея связана с эргодичностью и перемешиванием. Исторически же она возникла из очень конкретного вопроса: насколько далеко можно распространить закон больших чисел?
1913 год: Пушкин как проверка идеи
Марков продолжил исследования зависимых последовательностей. В 1913 году он применил их к 20 000 буквам «Евгения Онегина».
Буквы были разделены на гласные и согласные. Вероятность следующего типа явно зависела от предыдущего. Тем не менее длинная последовательность демонстрировала устойчивые статистические характеристики.[11]
Опыт с Пушкиным стал наглядным символом новой стадии закона больших чисел: реальная зависимая система может оставаться статистически закономерной.
Закон больших чисел и статистика
Для статистики закон больших чисел имеет фундаментальный смысл. Если среднее большой выборки не приближается к некоторой устойчивой величине, наблюдения не дают надёжного знания о совокупности.
Именно поэтому закон лежит в основе идеи выборочного оценивания. Но исторически важно различать математическую теорему и практическую статистическую интерпретацию.
Закон больших чисел не обещает, что любая большая выборка автоматически правильна. Он требует условий. Если данные систематически смещены, если наблюдения зависимы особым образом или если выборка устроена неправильно, простое увеличение её размера не спасает исследование.
Большие числа не исправляют плохой эксперимент
Это один из самых важных уроков истории. В XIX веке выражение «закон больших чисел» иногда приобретало почти магический оттенок: казалось, что большое количество данных само гарантирует истину.
Но математика показывает другое. Размер выборки работает только внутри модели, где выполнены нужные условия.
Именно поэтому история от Бернулли к Маркову - это история постоянного уточнения условий закона. Каждое поколение спрашивало не просто «работает ли закон?», а «почему именно он работает здесь?»
Слабый и сильный законы
В XX веке понятие закона больших чисел разделилось на несколько форм. Слабый закон утверждает сходимость по вероятности, сильный закон требует почти достоверной сходимости последовательности средних.
Исторически сильный закон получил развитие в работах Эмиля Бореля и позднее Франческо Кантелли, Александра Хинчина и Андрея Колмогорова.[12]
Этот этап уже принадлежит следующей эпохе, но он продолжал ту же историческую линию: всё точнее формулировать, какой именно смысл имеет «стабилизация» случайности.
Борель: почти достоверная частота
Эмиль Борель в начале XX века доказал сильную форму закона для схемы Бернулли. Она утверждала не только, что вероятность большого отклонения уменьшается: для почти всех бесконечных последовательностей относительная частота действительно стремится к вероятности события.[12]
Так идея Бернулли получила новую, гораздо более сильную форму. Случайная бесконечная последовательность почти наверняка сама несёт в себе статистическую частоту.
Колмогоров и современная вероятность
В 1930-е годы Андрей Колмогоров включил закон больших чисел в общую аксиоматическую теорию вероятностей. Его результаты и работы Хинчина расширили сильный закон на широкие классы случайных величин.[12] К этому времени история, начавшаяся с вопроса о частоте выигрыша, превратилась в одну из основных частей современной теории случайных процессов.
Что изменилось между 1713 и 1906 годом
Два века истории закона больших чисел можно рассматривать как постепенное снятие ограничений.
Бернулли работал с одинаковыми испытаниями. Пуассон разрешил изменяться вероятности. Чебышёв перешёл к общим случайным величинам. Марков допустил зависимость.
За каждой ступенью стояла одна и та же идея:
- массовая случайность может иметь устойчивую форму даже тогда, когда отдельные элементы непредсказуемы.
Именно поэтому закон больших чисел стал не частной теоремой, а одним из главных принципов вероятностного мировоззрения.
Почему закон больших чисел так влиял на философию
Немногие математические теоремы столь часто интерпретировались за пределами математики. Причина очевидна: закон говорит о превращении индивидуальной случайности в массовую закономерность. Для общества XIX века, где государства впервые собирали огромные массивы демографической и криминальной статистики, это выглядело почти как открытие скрытого закона человеческой жизни. Отсюда интерес Кетле, спор о свободе воли и попытка Некрасова придать независимости философский смысл. История показывает, насколько опасным и одновременно продуктивным может быть перенос математической конструкции в общественную теорию.
Закон больших чисел не отменяет случайность
Одно из частых недоразумений состоит в том, будто закон больших чисел означает исчезновение случайности. Это не так.
Он не позволяет точно предсказать отдельное событие, а описывает поведение агрегата.
Монета остаётся случайной на каждом броске, но доля исходов становится устойчивой. Цепь Маркова остаётся случайной на каждом переходе, но среднее длинной последовательности может подчиняться закону.
Так вероятность соединяет неопределённость микроуровня с порядком макроуровня.
Исторический смысл для науки XX века
Именно этот принцип оказался необходим огромному числу наук.
Статистическая физика рассматривает огромное число микроскопических случайных взаимодействий. Генетика работает с популяциями и случайной передачей признаков. Теория массового обслуживания - с потоками заявок. Финансовая математика - с сериями случайных изменений. Машинное обучение - с большими выборками данных.
Во всех этих областях возможность делать выводы из множества случайных наблюдений опирается на идеи, родственные закону больших чисел.
От закона больших чисел к теории случайных процессов
Марковская работа 1906 года особенно важна потому, что изменила направление развития.
До неё закон больших чисел прежде всего обобщался внутри мира независимости. После неё зависимость стала центральной темой.
Возник вопрос не только о среднем, но и о самом процессе, который производит последовательность случайных состояний.
Так из истории закона больших чисел выросла теория цепей Маркова, а затем общая теория случайных процессов.
Историческая хронология
| Год | Событие |
|---|---|
| 1650-е | Паскаль и Ферма обсуждают задачи азартных игр, ставшие одним из истоков математической вероятности. |
| 1713 | Посмертно опубликовано Ars Conjectandi Якоба Бернулли. |
| 1835 | Пуассон вводит выражение «закон больших чисел». |
| 1830-1840-е | Кетле использует идеи массовой статистической закономерности в «социальной физике». |
| 1846 | Чебышёв даёт строгий анализ закона Пуассона. |
| 1867 | Чебышёв публикует работу «О средних величинах». |
| 1890-е | Петербургская школа развивает предельные теоремы вероятности. |
| 1902 | Некрасов связывает независимость с законом больших чисел и социальной философией. |
| 1906 | Марков распространяет закон больших чисел на определённые зависимые случайные величины. |
| 1907 | Марков начинает систематическое исследование зависимых испытаний. |
| 1909 | Борель получает сильную форму закона для схемы Бернулли. |
| 1913 | Марков исследует зависимую последовательность букв «Евгения Онегина». |
| 1920-1930-е | Хинчин, Кантелли и Колмогоров развивают сильный закон больших чисел. |
| 1933 | Аксиоматическая теория Колмогорова включает предельные законы в современную систему вероятности. |
Почему эта история важна
История закона больших чисел показывает, как математическая идея меняет смысл по мере расширения. У Бернулли это была гарантия того, что опыт может приближать неизвестную вероятность. У Пуассона - общий принцип массовой статистической регулярности. У Кетле - язык социальной статистики. У Чебышёва - строгая общая теорема о средних. У Маркова - доказательство того, что закономерность не требует полной независимости.
Каждый этап не отменял предыдущий, а расширял его. Именно поэтому путь от Бернулли к Маркову - это одновременно история теории вероятностей, статистики и научного понимания случайности.
Наследие
Современный закон больших чисел существует во множестве форм и для самых разных классов случайных объектов.
Но его историческое ядро осталось тем же: большая совокупность случайных событий способна обладать устойчивостью, которой нет у отдельного события.
Этот принцип стал фундаментальным для научного использования статистики. А работа Маркова показала, что даже зависимость между событиями не обязательно разрушает эту устойчивость.
Тем самым в начале XX века история закона больших чисел непосредственно перешла в историю случайных процессов.
См. также
- Цепи Маркова
- Работы Маркова 1906-1907 годов и рождение цепей Маркова
- Петербургская школа теории вероятностей
- Павел Некрасов и спор о свободе воли в математике
- Марков и «Евгений Онегин»
- Якоб Бернулли
- Адольф Кетле
- Пафнутий Львович Чебышёв
- Андрей Андреевич Марков
Источники и литература
- ↑ 1,0 1,1 1,2 1,3 Law of large numbers // Encyclopedia of Mathematics.
- ↑ 2,0 2,1 Bernoulli theorem // Encyclopedia of Mathematics.
- ↑ 3,0 3,1 Bernoulli, Jakob // Encyclopedia of Mathematics.
- ↑ 4,0 4,1 Poisson, Simeon-Denis // Encyclopedia of Mathematics.
- ↑ 5,0 5,1 5,2 Eugene Seneta. Statistical Regularity and Free Will: L. A. J. Quetelet and P. A. Nekrasov // International Statistical Review. 2003. Vol. 71. № 2. P. 319-334.
- ↑ Mathematical statistics // Encyclopedia of Mathematics.
- ↑ Chebyshev, Pafnutii Lvovich // Encyclopedia of Mathematics.
- ↑ Chebyshev inequality in probability theory // Encyclopedia of Mathematics.
- ↑ Eugene Seneta. Markov and the Birth of Chain Dependence Theory // International Statistical Review. 1996. Vol. 64. № 3. P. 255-263.
- ↑ А. А. Марков. Распространение закона больших чисел на величины, зависящие друг от друга // Известия физико-математического общества при Казанском университете. 2-я серия. 1906. Т. 15. С. 135-156.
- ↑ А. А. Марков. Essai d'une recherche statistique sur le texte du roman “Eugène Oněgin”, illustrant la liaison des épreuves en chaîne // Известия Императорской Академии наук. 1913. Т. 7. № 3. С. 153-162.
- ↑ 12,0 12,1 12,2 Strong law of large numbers // Encyclopedia of Mathematics.
- Bernoulli J. Ars Conjectandi. Basileae, 1713.
- Poisson S.-D. Recherches sur la probabilité des jugements en matière criminelle et en matière civile. Paris, 1837.
- Чебышёв П. Л. О средних величинах. 1867.
- Марков А. А. Распространение закона больших чисел на величины, зависящие друг от друга. 1906.
- Seneta E. Markov and the Birth of Chain Dependence Theory // International Statistical Review. 1996. Vol. 64. № 3.
- Seneta E. Statistical Regularity and Free Will: L. A. J. Quetelet and P. A. Nekrasov // International Statistical Review. 2003. Vol. 71. № 2.