ТВиМС — 06 — Вопросы

Случайные события

Пусть проводится некоторый эксперимент, в результате которого может произойти одно из элементарных событий.

Под элементарными событиями понимают события (исходы), которые нельзя разделить на составные части, также являющиеся событиями. Объединение элементарных событий образует пространство элементарных событий $\Omega$.

Любое событие $A$ является совокупностью элементарных событий, то есть $A \subset \Omega$.

Говорят, что событие $A$ произошло, если произошло некоторое элементарное событие $\omega \in A$.

Событие, заключающееся в том, что произошло хотя бы одно из событий $A$ или $B$, обозначают через $A \cup B$.
Событие, которое происходит, когда происходят одновременно и событие $A$, и событие $B$, обозначают как $A \cap B$.

Если $A \cap B = \varnothing$, то события $A$ и $B$ называют несовместными.

Пустое множество $\varnothing$ принято называть невозможным событием, а множество $\Omega$ — достоверным событием.

Дополнение события $A$ принято обозначать как \[ \overline{A} = \Omega \setminus A = \set{ \omega: \omega \not\in A }. \]

Аксиоматика теории вероятностей

Рассмотрим множества $A_1, \dots, A_m$ такие, что выполнены условия:

Пересечение любых двух различных множеств является пустым: \[ A_i \cap A_j = \varnothing, \quad i \neq j. \]
Объединение всех множеств совпадает с пространством элементарных событий: \[ \bigcup_{i=1}^m A_i = \Omega. \]

Система множеств $\set{A_i}_{i=1}^m$, удовлетворяющая условиям 1 и 2, называется разбиением множества $\Omega$ или полной группой событий.

Совокупность $\mathcal{A} \subset 2^\Omega$ называется алгеброй, если выполнены следующие условия:

$\Omega \in \mathcal{A}$.
Если $A \in \mathcal{A}$ и $B \in \mathcal{A}$, то $A \cup B \in \mathcal{A}$.
$\forall A \in \mathcal{A} \quad \overline{A} \in \mathcal{A}$.

Множества, входящие в алгебру, будем называть событиями.

Пусть существуют множества $\set{A_\gamma} \subset \Omega$, где $\gamma \in \Gamma$. Тогда справедливы законы двойственности: \[ \begin{aligned} \overline{\bigcup_{\gamma \in \Gamma} A_\gamma} &= \bigcap_{\gamma \in \Gamma} \overline{A}_\gamma, \\ \overline{\bigcap_{\gamma \in \Gamma} A_\gamma} &= \bigcup_{\gamma \in \Gamma} \overline{A}_\gamma. \end{aligned} \]

Докажем первое равенство.

Рассмотрим произвольное элементарное событие $\omega$ из множества $\overline{\bigcup_{\gamma \in \Gamma} A_\gamma}$. Очевидно, что событие $\omega$ не принадлежит его дополнению $\bigcup_{\gamma \in \Gamma} A_\gamma$, что означает, что $\omega$ не принадлежит ни одному из множеств $A_\gamma$. Следовательно, событие $\omega$ принадлежит всем дополнениям $\overline{A}_\gamma$, откуда следует, что $\omega$ принадлежит их пересечению $\bigcap_{\gamma \in \Gamma} \overline{A}_\gamma$. Итак, мы показали, что \[ \overline{\bigcup_{\gamma \in \Gamma} A_\gamma} \subseteq \bigcap_{\gamma \in \Gamma} \overline{A}_\gamma. \]

Рассмотрим теперь произвольное событие $\omega$ из пересечения $\bigcap_{\gamma \in \Gamma} \overline{A}_\gamma$. Очевидно, что $\omega \in \overline{A}_\gamma$ для всех $\gamma \in \Gamma$, откуда следует, что $\omega$ не принадлежит ни одному множеству $A_\gamma$. В таком случае $\omega$ не принадлежит и их объединению $\bigcup_{\gamma \in \Gamma} A_\gamma$. Тогда можно утверждать, что оно принадлежит его дополнению $\overline{\bigcup_{\gamma \in \Gamma} A_\gamma}$.

Итак, мы показали, что \[ \overline{\bigcup_{\gamma \in \Gamma} A_\gamma} \subseteq \bigcap_{\gamma \in \Gamma} \overline{A}_\gamma, \qquad \overline{\bigcup_{\gamma \in \Gamma} A_\gamma} \supseteq \bigcap_{\gamma \in \Gamma} \overline{A}_\gamma, \] откуда следует, что \[ \overline{\bigcup_{\gamma \in \Gamma} A_\gamma} = \bigcap_{\gamma \in \Gamma} \overline{A}_\gamma. \]

Аналогичным образом доказывается и второе равенство.

Любая алгебра замкнута относительно операции конечного пересечения.

Пусть $A \in \mathcal{A}$ и $B \in \mathcal{A}$. Рассмотрим выражение $\overline{A \cap B}$. Из теоремы двойственности следует, что \[ \overline{A \cap B} = \overline{A} \cup \overline{B} \in \mathcal{A}, \] а по определению алгебры \[ A \cap B = \overline{\overline{A \cap B}} \in \mathcal{A}. \]

Алгеброй, порождённой множеством $B \subset \Omega$, называют систему подмножеств \[ \alpha(B) = \set{ B, \overline{B}, \varnothing, \Omega }. \]

Рассмотрим некоторое событие $A \in \mathcal{A}$. Проведём эксперимент $N$ раз, в котором событие $A$ произошло $N(A)$ раз. Тогда соотношение $N(A)/N$ называют относительной частотой появления события $A$.

При $N \to \infty$ относительная частота стабилизируется, однако о сходимости говорить нельзя. Можно говорить лишь о «статистической устойчивости» относительных частот.

Вероятность $P(A)$ появления события $A$ приближённо равна $N(A) / N$.

Пусть $\mathcal{A}$ — алгебра подмножеств множества $\Omega$. Функция $\mu : \mathcal{A} \to \R$ называется конечно-аддитивной мерой, если выполнены следующие условия:

$\mu(A) \geqslant 0$ для любого множества $A \in \mathcal{A}$.
Для любых дизъюнктных множеств $A_1, A_2 \in \mathcal{A}$ имеет место равенство: \[ \mu(A_1 \cup A_2) = \mu(A_1) + \mu(A_2). \]
Дизъюнктными называют два множества $A$ и $B$, для которых $A \cap B = \varnothing$.
$\mu(\varnothing) = 0$.

Конечно-аддитивная мера $\mu$ называется конечной, если $\mu(\Omega)$ конечно.

Если $\mu(\Omega) = 1$, то конечно-аддитивная мера $\mu$ называется конечно-аддитивной вероятностной мерой и обозначается через $P$.

Пусть $\mathcal{A}$ — алгебра подмножеств множества $\Omega$. Конечно-аддитивная мера $\mu(\cdot): \mathcal{A} \to \R$ называется счётно-аддитивной ($\sigma$-аддитивной) мерой, если выполнено следующее условие:

Для любой счётной совокупности событий $\set{A_i}_{i=1}^\infty$ из алгебры $\mathcal{A}$ такой, что \[ \bigcup_{i=1}^\infty A_i \in \mathcal{A}, \qquad A_i \cap A_j = \varnothing, \quad i \neq j, \] справедливо равенство \[ \mu\paren{ \bigcup_{i=1}^\infty A_i } = \sum_{i=1}^\infty \mu(A_i). \]

Счётно-аддитивная мера $\mu$ называется $\sigma$-конечной, если существует счётное разбиение множества \[ \Omega = \bigcup_{i=1}^\infty D_i, \quad D_i \in \mathcal{A} \quad \mbox{ и } \quad D_i \cap D_j = \varnothing, \quad i \neq j \] такое, что \[ \mu\paren{ D_i } \lt \infty. \]

Счётно-аддитивная мера $\mu$ называется конечной счётно-аддитивной, если $\mu(\Omega) \lt \infty$. Если $\mu(\Omega) = 1$, то счётно-аддитивная мера $\mu$ называется счётно-аддитивной вероятностной мерой, или вероятностью.

Алгебра $\mathcal{F}$ подмножеств множества $\Omega$ называется $\sigma$-алгеброй, если она замкнута относительно объединения счётной совокупности множеств, т.е. если $\set{A_n}_{n=1}^\infty$ — последовательность событий $A_n \in \mathcal{F}$, то \[ \bigcup_{n=1}^\infty A_n \in \mathcal{F}. \]

Пусть на $\sigma$-алгебре $\mathcal{F}$ задана счётно-аддитивная вероятностная мера $P$. Тогда считается заданным вероятностное пространство $(\Omega, \mathcal{F}, P)$.

Свойства вероятностей

Вероятность невозможного события равна нулю: $P(\varnothing) = 0$.
Очевидны следующие равенства: \[ \Omega \cup \varnothing = \Omega, \qquad \Omega \cap \varnothing = \varnothing. \] В силу свойства аддитивности имеем \[ P(\Omega) = P(\Omega \cup \varnothing) = P(\Omega) + P(\varnothing) = 1, \] откуда следует равенство $P(\varnothing) = 0$.
Для любого события $A \in \mathcal{A}$ \[ P(A) = 1 - P(\overline{A}). \]
Так как $A \cup \overline{A} = \Omega$, то в силу аддитивности \[ P(A) + P(\overline{A}) = P(\Omega) = 1, \] и, следовательно, \[ P(A) = 1 - P(\overline{A}). \]
Рассмотрим события $A,B \in \mathcal{A}$. Тогда \[ A \subset B \implies P(A) \leqslant P(B). \]
Поскольку $A \subset B$, то множество $B$ можно представить следующим образом: \[ B = A \cup (B \setminus A). \] Из условия аддитивности следует равенство \[ P(B) = P(A) + P(B \setminus A). \] При этом $P(B \setminus A) \geqslant 0$, поэтому \[ P(A) \leqslant P(B). \] Заметим, что $A \neq B \cup (A \setminus B)$, так как $A \setminus B = \varnothing$, поэтому \[ P(A) \not\geqslant P(B). \]
Формула сложения вероятностей.
Для любых двух событий $A,B \in \mathcal{A}$ справедливо равенство: \[ P(A \cup B) = P(A) + P(B) - P(A \cap B). \]
Представим событие $A \cup B$ в следующем виде: \[ A \cup B = (A \setminus B) \cup (B \setminus A) \cup (A \cap B). \] Тогда в силу аддитивности вероятности \[ \begin{aligned} P(A \cup B) &= P(A \setminus B) + P(B \setminus A) + P(A \cap B) = \\ &= P(A \setminus B) + P(B \setminus A) + P(A \cap B) + P(A \cap B) - P(A \cap B) = \\ &= \left[ P(A \setminus B) + P(A \cap B) \right] + \left[ P(B \setminus A) + P(A \cap B) \right] - P(A \cap B). \end{aligned} \] Так как \[ \begin{aligned} P(A \setminus B) + P(A \cap B) &= P(A), \\ P(B \setminus A) + P(B \cap A) &= P(B), \end{aligned} \] то \[ P(A \cup B) = P(A) + P(B) - P(A \cap B). \]
Для любых событий $A_1, \dots, A_m \in \mathcal{A}$ выполняется неравенство \[ P\paren{ \bigcup_{i=1}^m A_i } \leqslant \sum_{i=1}^m P(A_i). \]
Введём систему событий: \[ \begin{aligned} B_1 &= A_1, \\ B_2 &= A_2 \setminus A_1, \\ &\dots \\ B_m &= A_m \setminus \bigcup_{i=1}^{m-1} A_i. \end{aligned} \] Очевидно, что \[ B_i \cap B_j = \varnothing, \quad i \neq j \quad \mbox{ и } \quad \bigcup_{i=1}^m A_i = \bigcup_{i=1}^m B_i. \] Тогда \[ P\paren{ \bigcup_{i=1}^m A_i } = P\paren{ \bigcup_{i=1}^m B_i } = \sum_{i=1}^m P(B_i). \] Так как $B_i \subset A_i$ для любого $i = \overline{1,m}$, то по третьему свойству \[ \sum_{i=1}^m P(B_i) \leqslant \sum_{i=1}^m P(A_i), \] откуда следует, что \[ P\paren{ \bigcup_{i=1}^m A_i } \leqslant \sum_{i=1}^m P(A_i). \]
Для любых событий $A_1, \dots, A_m \in \mathcal{A}$ справедливо равенство \[ \begin{aligned} P\paren{ \bigcup_{i=1}^m A_i } &= \phantom{-} \sum_{i=1}^m P(A_i) - \sum_{1 \leqslant i_1 \lt i_2 \leqslant m} P(A_{i_1} \cap A_{i_2}) + \\ &\phantom{=} - \sum_{1 \leqslant i_1 \lt i_2 \lt i_3 \leqslant m} P(A_{i_1} \cap A_{i_2} \cap A_{i_3}) - \cdots + \\ &\phantom{=} + (-1)^{m-1} P(A_1 \cap \cdots \cap A_m). \end{aligned} \]

Это утверждение доказывается методом математической индукцией с базой $m=2$.
Пусть $\set{ A_i }_{i=1}^\infty$ — последовательность событий такая, что $A_i \in \mathcal{A}$, и объединение этих событий $\bigcup_{i=1}^\infty A_i \in \mathcal{A}$. Тогда \[ P\paren{ \bigcup_{i=1}^\infty A_i } \leqslant \sum_{i=1}^\infty P(A_i). \]
Введём систему событий: \[ \begin{aligned} B_1 &= A_1, \\ B_2 &= A_2 \setminus A_1, \\ &\dots \\ B_m &= A_m \setminus \bigcup_{i=1}^{m-1} A_i, \\ &\dots \end{aligned} \] Очевидно, что \[ B_i \cap B_j = \varnothing, \quad i \neq j \quad \mbox{ и } \quad \bigcup_{i=1}^\infty A_i = \bigcup_{i=1}^\infty B_i. \] Тогда \[ P\paren{ \bigcup_{i=1}^\infty A_i } = P\paren{ \bigcup_{i=1}^\infty B_i } = \sum_{i=1}^\infty P(B_i). \] Так как $B_i \subset A_i$ для любого $i = \overline{1,m}$, то по третьему свойству \[ \sum_{i=1}^\infty P(B_i) \leqslant \sum_{i=1}^\infty P(A_i), \] откуда следует, что \[ P\paren{ \bigcup_{i=1}^\infty A_i } \leqslant \sum_{i=1}^\infty P(A_i). \]

Свойства 1-6 справедливы для любой конечно-аддитивной вероятностной меры. Свойство 7 предполагает счётную аддитивность вероятностной меры.

Теорема о непрерывности вероятностной меры

(о непрерывности вероятностной меры).
Пусть $\mathcal{A}$ — алгебра подмножеств множества $\Omega$, $P$ — конечно-аддитивная вероятностная мера, заданная на алгебре $\mathcal{A}$. Следующие утверждения эквивалентны:

Вероятностная мера $P$ — счётно-аддитивная.
Конечно-аддитивная вероятностная мера $P$ непрерывна «сверху», т.е. для любой последовательности множеств $\set{ A_n }_{n=1}^\infty$ такой, что \[ A_n \in \mathcal{A}, \qquad \bigcup_{i=1}^\infty A_i \in \mathcal{A}, \qquad A_n \subset A_{n+1}, \] выполняется \[ P(A_n) \limto{n \to \infty} P\paren{ \bigcup_{i=1}^\infty A_i }. \]
Конечно-аддитивная вероятностная мера $P$ непрерывна «снизу», т.е. для любой последовательности множеств $\set{ A_n }_{n=1}^\infty$ такой, что \[ A_n \in \mathcal{A}, \qquad \bigcap_{i=1}^\infty A_i \in \mathcal{A}, \qquad A_n \supset A_{n+1}, \] выполняется \[ P(A_n) \limto{n \to \infty} P\paren{ \bigcap_{i=1}^\infty A_i }. \]
Конечно-аддитивная вероятностная мера $P$ «непрерывна в нуле», т.е. для любой последовательности событий $\set{ A_i }_{i=1}^\infty$ такой, что \[ A_n \in \mathcal{A}, \qquad \bigcap_{i=1}^\infty A_i = \varnothing, \qquad A_n \supset A_{n+1}, \] выполняется \[ P(A_n) \limto{n \to \infty} 0. \]

Покажем, что \[ 1 \implies 2 \implies 3 \implies 4 \implies 1. \]

$1 \implies 2$.
Пусть $P$ — счётно-аддитивная. Рассмотрим произвольную последовательность событий $\set{A_i}_{i=1}^\infty$ такую, что выполнены все требования 2 пункта теоремы. Определим систему событий \[ \begin{aligned} D_1 &= A_1, \\ D_2 &= A_2 \setminus A_1, \\ &\dots \\ D_k &= A_k \setminus A_{k-1}, &\dots \end{aligned} \] Очевидно, что \[ D_i \cap D_j = \varnothing, \quad i \neq j, \] и имеет место равенство \[ \bigcup_{i=1}^\infty A_i = \bigcup_{i=1}^\infty D_i. \] Вычислим вероятность события $\bigcup_{i=1}^\infty A_i$. Очевидно следующие равенства: \[ P\paren{ \bigcup_{i=1}^\infty A_i } = \sum_{i=1}^\infty P(D_i) = \lim\limits_{n \to \infty} P(A_n). \]
$2 \implies 3$
Рассмотрим последовательность событий $\set{A_n}$, для которой выполнены требования 3 пункта, тогда для последовательности $\set{ \overline{A}_n }$ выполнено \[ \overline{A}_n \subset \overline{A}_{n+1}, \qquad \bigcup_{i=1}^\infty \overline{A}_i = \overline{ \bigcap_{i=1}^\infty A_i } \in \mathcal{A}. \] Согласно пункту 2 имеет место сходимость: \[ P(A_n) \limto{n \to \infty} P\paren{ \bigcup_{i=1}^\infty A_i }, \] или, иначе, \[ P(\overline{A}_n) \limto{n \to \infty} P\paren{ \overline{ \bigcap_{i=1}^\infty A_i } }, \] что эквивалентно сходимости \[ 1 - P(A_n) \limto{n \to \infty} 1 - P\paren{ \bigcap_{i=1}^\infty A_i }, \] откуда следует утверждение 3 теоремы: \[ P(A_n) \limto{n \to \infty} P\paren{ \bigcap_{i=1}^\infty A_i }. \]
$3 \implies 4$, так как 4 является частным случаем 3.
$4 \implies 1$
Рассмотрим произвольную последовательность $\set{ B_n }_{n=1}^\infty$ такую, что \[ B_n \in \mathcal{A}, \qquad B_i \cap B_j = \varnothing, \quad i \neq j, \qquad \bigcup_{n=1}^\infty B_n \in \mathcal{A}. \] Очевидно, что \[ \bigcup_{n=1}^\infty B_n = \bigcup_{n=1}^k B_n + \bigcup_{n=k+1}^\infty B_n. \] Так как \[ \bigcup_{n=1}^\infty B_n \in \mathcal{A}, \qquad \bigcup_{n=1}^k B_n \in \mathcal{A}, \] то \[ \bigcup_{n=k+1}^\infty B_n \in \mathcal{A}. \] Из того, что $P$ — конечно-аддитивная мера, следует равенство \[ P\paren{ \bigcup_{n=1}^\infty B_n } = \sum_{n=1}^k P(B_n) + P\paren{ \bigcup_{n=k+1}^\infty B_n }. \] Покажем, что \[ \lim_{k \to \infty} P \paren{ \bigcup_{l=k+1}^\infty B_l } = 0. \] Пусть \[ \bigcup_{l=k+1}^\infty B_l = A_{k+1}. \] Очевидно, что $A_n \supset A_{n+1}$. Если \[ \bigcap_{k=1}^\infty A_{k+1} = \varnothing, \] то получаем, что из 4 следует 1 утвердждение теоремы. Предположим теперь, что \[ \bigcap_{k=1}^\infty A_{k+1} \neq \varnothing, \] т.е. существует $\tilde\omega \in \bigcap_{k=1}^\infty A_{k+1}$. Следовательно, $\tilde\omega \in A_n$ для всех $n$, или \[ \tilde\omega \in \bigcup_{l=n}^\infty B_l, \] но это означает, что $\tilde\omega$ должна принадлежать по крайней мере одному множеству из объединения, но так как эти множества попарно непересекаются, то $\tilde\omega$ должно принадлежать какому-то одному множеству: \[ \tilde\omega \in B_i \quad \mbox{ и } \quad \tilde\omega \not\in B_j, \quad j \gt i, \] из чего следует, что $\tilde\omega \not\in A_j$ — получили противоречие, т.к. $\tilde\omega \in A_j$ для всех $j$. Значит, предположение \[ \bigcap_{k=1}^\infty A_{k+1} \neq \varnothing \] неверно.

Классическое определение вероятности. Урновые схемы

Рассмотрим множество $\Omega = \set{ \omega_1, \dots, \omega_m }$. Пусть все элементарные события равновероятны, т.е. $P(\omega_i) = P(\omega_j) = p$ для любых индексов $i$ и $j$. По свойству вероятности справедливо равенство $P(\Omega) = 1$. В силу аддитивности вероятностной меры можно записать следующее равенство: \[ P(\Omega) = \sum\limits_{i=1}^{m} P(\omega_i) = mp. \] Следовательно, вероятность любого элементарного события $\omega_i$ может быть вычислена по формуле \[ p = \frac{1}{m} = \frac{1}{\abs{\Omega}}. \]

В качестве алгебры $\mathcal{A}$ рассмотрим множество всех подмножеств множества $\Omega$, которое обозначим через $2^\Omega$. Рассмотрим некоторое событие $A = \set{\omega_{i_1}, \dots, \omega_{i_k}} \subset \Omega$. Вероятность наступления этого события в силу свойства аддитивности вероятностной меры может быть вычислена по формуле \[ P(A) = \sum\limits_{j=1}^{k} P(\omega_{i_j}) = \frac{k}{\abs{\Omega}} = \frac{\abs{A}}{\abs{\Omega}}. \]

Формулу \[ P(A) = \frac{\abs{A}}{\abs{\Omega}} \] называют классическим определением вероятности.

(правило умножения в комбинаторике).

Пусть имеется $r$ групп различных объектов. В первую группу входит $n_1$ объектов, во вторую — $n_2$ объектов и так далее. Будем составлять различные комбинации этих объектов следующим образом: последовательно из групп будем выбирать по одному объекту и располагать их в порядке появления. Тогда всего возможно $n_1 n_2 \cdots n_r$ различных комбинаций.

Обозначим группы объектов следующим образом: \[ \begin{aligned} X_1 &= \set{ x_1^{(1)}, \dots, x_{n_1}^{(1)} }, & \abs{X_1} &= n_1, \\ X_2 &= \set{ x_1^{(2)}, \dots, x_{n_2}^{(2)} }, & \abs{X_2} &= n_2, \\ &\dots \\ X_r &= \set{ x_1^{(r)}, \dots, x_{n_r}^{(r)} }, & \abs{X_r} &= n_r. \end{aligned} \] Рассмотрим случай $r = 2$. Изобразим всевозможные комбинации объектов этих двух групп в виде таблицы, в которых столбцам соответствуют группы $X_2$, а строкам — объекты группы $X_1$: \[ \begin{array}{c|cccc} & x_1^{(2)} & x_2^{(2)} & \dots & x_{n_2}^{(2)} \\ \hline x_1^{(1)} & x_1^{(1)} x_1^{(2)} & x_1^{(1)} x_2^{(2)} & \dots & x_1^{(1)} x_{n_2}^{(2)} \\ x_2^{(1)} & x_2^{(1)} x_1^{(2)} & x_2^{(1)} x_2^{(2)} & \dots & x_2^{(1)} x_{n_2}^{(2)} \\ \vdots & \vdots & \vdots & & \vdots \\ x_{n_1}^{(1)} & x_{n_1}^{(1)} x_1^{(2)} & x_{n_1}^{(1)} x_2^{(2)} & \dots & x_{n_1}^{(1)} x_{n_2}^{(2)} \\ \end{array} \] Таким образом, каждая клетка таблицы сответствует одной возможной комбинации объектов. Количество всевозможных комбинаций объектов совпадает с количеством клеток Таким образом, каждая клетка таблицы сответствует одной возможной комбинации объектов. Количество всевозможных комбинаций объектов совпадает с количеством клеток таблицы и равняется $n_1 n_2$. Для случая $r=2$ теорема верна.

Рассмотрим случай $r = 3$. Любую комбинацию объектов из групп $X_1, X_2, X_3$ можем записать в виде \[ \paren{ x_{i_1}^{(1)}, x_{i_2}^{(2)}, x_{i_3}^{(3)} } = \paren{ \paren{ x_{i_1}^{(1)}, x_{i_2}^{(2)} }, x_{i_3}^{(3)} }, \] применив доказанное утверждение для случая $r = 2$ дважды. Количество всевозможных комбинаций объектов $(n_1 n_2) n_3 = n_1 n_2 n_3$, что доказывает теорему для случая $r = 3$.

Для доказательства теоремы для случая $r = m$ можно применять предложенную схему рассуждения $m-1$ раз.

Урновые схемы. Рассмотрим несколько вариантов определения вероятностных пространств, когда осуществляется случайный выбор объектов.

Упорядоченный выбор с возвращением
Пусть имеется урна с $n$ шарами. Каждый шар имеет свой номер от $1$ до $n$. Произведём из них последовательный случайный выбор $r$ шаров, при этом возвращая каждый вынутый шар обратно. Тогда элементарным событием будет вектор $\omega = (a_1, \dots, a_r)$, где $a_1 = 1, \dots, n$, к тому же шары могут совпадать. Мощность пространства элементарных событий $\Omega$ в данном случае равна $n^r$. В качестве вероятностной меры возьмём отношение $1/\abs{\Omega}$, или $P(\omega) = 1/n^r$.
Упорядоченный выбор без возвращения
В этом случае вынутые на каждом шаге шары не возвращаются в урну. Пространство элементарных событий может быть определено следующим образом: \[ \Omega = \set{ (a_1, \dots, a_r): a_i = 1,\dots,n, \; a_i \neq a_j, i \neq j }. \] Мощность этого множества равна \[ A_n^r = n (n-1) \cdots (n - r + 1), \] где $A_n^r$ — число размещений из $n$ по $r$. Вероятность: $P(\omega) = 1 / A_n^r$.
Неупорядоченный выбор без возвращения
Пространство элементарных событий может быть определено следующим образом: \[ \Omega = \set{ [a_1, \dots, a_r]: a_i = 1,\dots,n, \; a_i \neq a_j, i \neq j }. \] Квадратные скобки означают, что порядок появления шаров неизвестен. Мощность этого множества называют числом сочетаний из $n$ по $r$ и обозначают через $C_n^r$. Имеет место равенство \[ A_n^r = C_n^r \cdot r!, \] поэтому \[ \abs{\Omega} = C_n^r = \frac{n!}{r!(n-r)!}. \] Вероятность: $P(\omega) = 1/C_n^r$.

Рассмотрим случайную величину $\xi$, равную числу белых шаров в выборке без возвращения объёма $n$ из урны, содержащей $M$ белых и $N - M$ чёрных шаров. Нетрудно заметить, что \[ P\set{ \xi = m } = \frac{C_M^m C_{N-M}^{n-m}}{C_N^n}, \] где $m = 0, 1, \dots, \min(n,M)$, причём $n \leqslant N - M$.

Говорят, что случайная величина $\xi$ подчиняется гипергеометрическому распределению.
Неупорядоченный выбор с возвращением
Пространство элементарных событий: \[ \Omega = \set{ [a_1, \dots, a_r]: a_i = 1,\dots,n }. \] Порядок появления шаров неизвестен. Так как $\abs{\Omega} \lt \infty$, а все элементарные события равновероятны, то $P(\omega) = 1 / \abs{\Omega}$.

Пусть $r_1 \geqslant 0$ — число появлений в выборке шара $a_1$, $r_2 \geqslant 0$ — шара $a_2$, и так далее, при этом \[ \sum_{i=1}^n r_i = r, \qquad r \in \set{0, \dots, r}. \] Найдём количество решений этого уравнения. Прибавим к обеим частям уравнения по $n$: \[ (r_1 + 1) + (r_2 + 1) + \dots + (r_n + 1) = r + n. \] Число решений этого уравнения совпадает с числом разбиений отрезка $[0,r+n]$ на $n$ частей. Необходимо выбрать $n-1$ точку дробления, такие точки можно выбрать $C_{r+n-1}^{n-1}$ способами, но \[ C_k^l = C_k^{k-l}, \implies C_{r+n-1}^{n-1} = C_{r+n-1}^r = \abs{\Omega}, \] поэтому $P(\omega) = 1 / C_{r+n-1}^{n-1}$.

Геометрические вероятности. Задача о встрече. Задача Бюффона

Рассмотрим числовую прямую и отрезок $[a,b] = \Omega$. Пусть случайным образом выбирается точка из этого отрезка. Это означает, что любая точка отрезка $[a,b]$ может появиться в результате эксперимента с равными шансами.

Зададим вероятностную меру для любого множества $A \in \mathcal{F}_{[a,b]}$, где $\mathcal{F}_{[a,b]}$ — сигма-алгебра подмножеств отрезка $[a,b]$, измеримых по Лебегу. Вероятностная мера, называемая геометрической вероятностью, может быть определена следующим образом: \[ P(A) = \frac{\mu(A)}{\mu[a,b]} = \frac{\mu(A)}{b - a}, \] где через $\mu(A)$ обозначена мера Лебега множества $A$.

В качестве сигма-алгебры событий нельзя рассматривать множество всех подмножеств множества $\Omega$, так как не все подмножества множества $\Omega$ измеримы по Лебегу.

В более общем случае геометрическая вероятность определяется аналогично. В качестве множества элементарных событий рассмотрим некоторую область $\Omega \subset \R^k$, измеримую по Лебегу. Через $\mu(\Omega)$ обозначим меру Лебега в $\R^k$ множества $\Omega$. Используя принцип геометрической вероятности по отношению к мере Лебега $\mu$, можно определить вероятностную меру для любого измеримого по Лебегу множества $A \subset \Omega \subset \R^k$ следующим образом: \[ P(A) = \frac{\mu(A)}{\mu(\Omega)}. \]

Равенство \[ P(A) = \frac{\mu(A)}{\mu(\Omega)} \] принято называть определением геометрической вероятности.

Задача о встрече. Два лица $A$ и $B$ условились встретиться в определённом месте между 12 и 13 часами дня. Пришедший первым ждёт другого в течение 20 минут, после чего уходит. Требуется вычислить вероятность встречи лиц $A$ и $B$, если приход каждого из них в течение указанного часа происходит наудачу случайным образом, и моменты прихода независимы.

Обозначим моменты прихода лица $A$ через $x$ и лица $B$ через $y$. Для того чтобы встреча произошла, необходимо и достаточно, чтобы \[ \abs{x - y} \leqslant 20. \] Изобразим $x$ и $y$ на декартовой плоскости, в качестве единицы масштаба возьмём минуту.

Возможные исходы могут быть изображены квадратом со сторонами 60, благоприятствующие встрече исходы — в области $S$. Вероятность встречи лиц $A$ и $B$ равна отношению площади фигуры $S$ к площади всего квадрата: \[ p = \frac{60^2 - 40^2}{60^2} = \frac{5}{9}. \]

Задача Бюффона. На плоскость, разлинеенную параллельными прямыми, отстоящими друг от друга на расстоянии $2a$, наудачу бросается игла длиною $2l \lt 2a$. Требуется найти вероятность того, что игла пересечёт одну из параллельных прямых.

Пусть $y$ — расстояние от середины иглы до ближайшей из параллельных прямых, $x$ — острый угол между иглой и перпендикуляром, проведённым к параллельным прямым. Координаты $(x,y)$ определяют положение иглы относительно параллельных прямых на плоскости, причём \[ 0 \leqslant x \leqslant \pi/2, \qquad 0 \leqslant y \leqslant a. \]

Предполагается, что точка $(x,y)$ распределена равномерно в соответствующем прямоугольнике.

Событие, заключающееся в том, что игла пересечёт какую-либо параллельную прямую, можно записать следующим образом: \[ A = \set{ (x,y): 0 \leqslant y \leqslant l \cos x }. \] Тогда искомая вероятность определяется как отношение площадей, соответствующих благоприятствующим и всем возможным исходам, и равна \[ \frac{\mu(A)}{\mu(\Omega)} = \frac{ \int\limits_{0}^{\pi/2} l \cos x dx }{a \cdot \frac{\pi}{2}} = \frac{2l}{a \pi}. \]

Геометрические вероятности. Парадокс Бертрана

Рассмотрим числовую прямую и отрезок $[a,b] = \Omega$. Пусть случайным образом выбирается точка из этого отрезка. Это означает, что любая точка отрезка $[a,b]$ может появиться в результате эксперимента с равными шансами.

Зададим вероятностную меру для любого множества $A \in \mathcal{F}_{[a,b]}$, где $\mathcal{F}_{[a,b]}$ — сигма-алгебра подмножеств отрезка $[a,b]$, измеримых по Лебегу. Вероятностная мера, называемая геометрической вероятностью, может быть определена следующим образом: \[ P(A) = \frac{\mu(A)}{\mu[a,b]} = \frac{\mu(A)}{b - a}, \] где через $\mu(A)$ обозначена мера Лебега множества $A$.

В качестве сигма-алгебры событий нельзя рассматривать множество всех подмножеств множества $\Omega$, так как не все подмножества множества $\Omega$ измеримы по Лебегу.

В более общем случае геометрическая вероятность определяется аналогично. В качестве множества элементарных событий рассмотрим некоторую область $\Omega \subset \R^k$, измеримую по Лебегу. Через $\mu(\Omega)$ обозначим меру Лебега в $\R^k$ множества $\Omega$. Используя принцип геометрической вероятности по отношению к мере Лебега $\mu$, можно определить вероятностную меру для любого измеримого по Лебегу множества $A \subset \Omega \subset \R^k$ следующим образом: \[ P(A) = \frac{\mu(A)}{\mu(\Omega)}. \]

Равенство \[ P(A) = \frac{\mu(A)}{\mu(\Omega)} \] принято называть определением геометрической вероятности.

(Парадокс Бертрана). Рассматривается окружность радиуса $R$, в которую вписан равносторонний треугольник. Случайным образом в данной окружности выбирается хорда. Какова вероятность того, что длина хорды окажется больше стороны равностороннего треугольника, вписанного в эту окружность?

Данную задачу можно решить тремя способами.

Из геометрических соображений: для того чтобы длина хорды окружности $R$ была больше стороны равностороннего треугольника, вписанного в эту окружность, необходимо, чтобы центр хорды оказался внутри окружности, вписанной в равносторонний треугольник. Последняя окружность будет иметь радиус $R/2$.

Таким образом, искомая вероятность определяется как отношение площадей окружности радиуса $R/2$ и радиуса $R$ соответственно: \[ \frac{S_{R/2}}{S_R} = \frac{\pi \frac{R^2}{4}}{\pi R^2} = \frac{1}{4}. \]
Из соображений симметрии: пусть один конец хорды закреплён в одной из вершин равностороннего треугольника.
Вершины треугольника разбивают дугу окружности на три равные части. Длина хорды будет больше стороны равностороннего треугольника, если другой конец хорды будет лежать на дуге между двумя другими вершинами треугольника. Тогда искомая вероятность определяется как отношение длин соответствующих дуг и равна $1/3$.
В окружности радиуса $R$ произвольным образом проведём диаметр. Отметим точку, в которой рассматриваемая хорда пересекает диаметр. Рассматриваем хорды, перпендикулярные диаметру.

Следовательно, по расстоянию $\rho$ от центра окружности до точки пересечения хорды и диаметра можем судить о длине хорды: длина хорды будет больше стороны равностороннего треугольника, если расстояние $\rho \lt R/2$. Искомая вероятность определяется как отношение соответствующих расстояний: \[ \frac{\mu(0, \frac{R}{2})}{R} = \frac{\frac{R}{2}}{R} = \frac{1}{2}. \]

Причина возникновения парадокса связана с неоднозначностью математической формализации поставленной задачи.

Условные вероятности. Независимость событий

Условные вероятности

Рассмотрим вероятностное пространство $(\Omega, \mathcal{F}, P)$. Выберем некоторое событие $B \in \mathcal{F}$ такое, что $P(B) \gt 0$. Определим вероятность события $A \in \mathcal{F}$ при условии, что произошло событие $B$.

Проведём эксперимент $N$ раз. Обозначим через $N(B)$ количество экспериментов, в которых произошло событие $B$, а через $N(A \cap B)$ — количество экспериментов, в которых произошли оба события $A$ и $B$. Относительная частота события $A$, если известно, что произошло событие $B$, будет определяться отношением \[ \frac{N(A \cap B)}{N(B)}. \] Поделим числитель и знаменатель этого отношения на $N$, получаем: \[ \frac{N(A \cap B) / N}{N(B) / N} \approx \frac{P(A \cap B)}{P(B)}. \] Приближённое равенство следует из свойства «статистической устойчивости» относительных частот. Пусть множество $\Omega$ конечно, а вероятность любого элементарного события $\omega \in \Omega$ равна $p(\omega) = p = \const$. Пусть произошло событие $B$, что означает, что событие $B$ стало достоверным. Воспользуемся классическим определением вероятности. Посчитаем количество элементарных событий в множествах $A \cap B$ и $B$, получим соотношение \[ \frac{\abs{A \cap B} / \abs{\Omega}}{\abs{B} / \abs{\Omega}} = \frac{P(A \cap B)}{P(B)}. \]

Если вероятность события $B$ отлична от нуля, то условная вероятность события $A$ при условии, что событие $B$ произошло, определяется формулой \[ P(A / B) = \frac{P(A \cap B)}{P(B)}. \]

Выберем событие $B \in \mathcal{F}$ так, чтобы $P(B) \gt 0$. Рассмотрим вероятность $P(A/B)$, где $A \in \mathcal{F}$. Определим функцию \[ P(\cdot / B): \mathcal{F} \to [0,1]. \] Она обладает следующими свойствами:

Если $A = \Omega$, то $P(\Omega / B) = 1$.
Для любого события $A \in \mathcal{F}$ вероятность $P(A/B) \geqslant 0$.
Для любых несовместных событий $A_1$ и $A_2$ справедливо равенство \[ P(A_1 \cup A_2 / B) = P(A_1 / B) + P(A_2 / B). \]
Для последовательности попарно несовместных событий $\set{ A_n }_{n=1}^\infty$ справедливо равенство \[ P \paren{ \bigcup_{i=1}^\infty A_i / B } = \sum\limits_{i=1}^{\infty} P(A_i / B). \]

Таким образом, функция $P(\cdot / B)$ является вероятностной мерой на $(\Omega, \mathcal{F})$.

Из определения условной вероятности следует формула умножения вероятностей: \[ P(A \cap B) = P(B) P(A / B). \] Обобщим формулу умножения вероятностей на случай $n$ событий. Для событий $A_1, \dots, A_n \in \mathcal{F}$, для которых $P(A_1 \cap \cdots \cap A_{n-1}) \gt 0$, имеет место равенство: \[ P(A_1 \cap \cdots \cap A_n) = P(A_1) P(A_2 / A_1) \cdots P(A_n / A_1 \cap \cdots \cap A_{n-1}). \]

Независимость событий

Выберем некоторое событие $B \in \mathcal{F}$ так, чтобы $P(B) \gt 0$. Если событие $A \in \mathcal{F}$ не зависит от появления события $B$, то $P(A / B) = P(A)$. Используя определение условной вероятности, получаем равенство: \[ \frac{P(A \cap B)}{P(B)} = P(A). \] Следовательно, вероятность совместного появления событий $P(A \cap B)$ равна произведению вероятностей $P(A)P(B)$. Пусть $P(A) \gt 0$, тогда \[ P(B / A) = \frac{P(B \cap A)}{P(A)} = P(B). \] Следовательно, если событие $A$ не зависит от события $B$, то и событие $B$ не зависит от события $A$.

События $A$ и $B$ независимы, если справедливо равенство \[ P(A \cap B) = P(A) P(B). \]

Определение не нуждается в предположении о положительности $P(A)$ и $P(B)$.

Если предположить, что события $A$ и $B$ несовместны, и $P(A) \gt 0$ и $P(B) \gt 0$, то приходим к выводу, что $A$ и $B$ — зависимые события.

События $A_1, \dots, A_n$ называются независимыми в совокупности, если для любых $m$ событий $A_{i_1}, \dots, A_{i_m}$, где $m = 2, \dots, n$, выполняется равенство \[ P(A_{i_1} \cap A_{i_2} \cap \cdots \cap A_{i_m}) = \prod_{k=1}^m P(A_{i_k}). \]

Если события независимы в совокупности, то они независимы попарно. Обратное, вообще говоря, неверно.

Рассмотрим пространство элементарных событий $\Omega = \set{\omega_1, \omega_2, \omega_3, \omega_4}$. Пусть $P(\omega_i) = 1/4$. Определим следующие события: \[ A = \set{\omega_1, \omega_2}, \quad B = \set{\omega_1, \omega_3}, \quad C = \set{\omega_1, \omega_3}. \] Очевидно, что справедливы равенства \[ P(A) = P(B) = P(C) = \frac{1}{2}. \] Заметим, что \[ P(A \cap B) = p(\omega_1) = \frac{1}{4} = P(A) P(B), \] то есть $A$ и $B$ независимы. Аналогично можно показать попарную независимость для пар $A, C$ и $B, C$. Однако \[ P(A \cap B \cap C) = \frac{1}{4} \neq P(A) P(B) P(C) = \frac{1}{8}, \] что означает зависимость в совокупности событий $A, B, C$.

Рассмотрим вероятностное пространство $(\Omega, \mathcal{F}, P)$. Пусть алгебры $\mathcal{A}_1, \dots, \mathcal{A}_n$ являются подалгебрами сигма-алгебры $\mathcal{F}$. Говорят, что алгебры $\mathcal{A}_1, \dots, \mathcal{A}_n$ независимы или независимы в совокупности, если для любых событий $A_1 \in \mathcal{A}_1, \dots A_n \in \mathcal{A}_n$ имеет место равенство: \[ P(A_1 \cap \cdots \cap A_n) = \prod_{i=1}^n P(A_i). \]

Определение относится и к $\sigma$-алгебрам, так как $\sigma$-алгебра является частным случаем алгебры.

Формула полной вероятности. Формулы Байеса

Рассмотрим вероятностное пространство $(\Omega, \mathcal{F}, P)$. Пусть задано разбиение множества $\Omega$ на события $B_1, \dots, B_m$, где $B_i \in \mathcal{F}$, такие, что \[ P(B_i) \gt 0, \qquad B_i \cap B_j = \varnothing, \qquad \Omega = \bigcup_{i=1}^m B_i. \] Рассмотрим некоторое событие $A \in \mathcal{F}$. Представим его в виде \[ A = \bigcup_{i=1}^m A \cap B_i. \] По свойству аддитивности получаем \[ P(A) = \sum\limits_{i=1}^{m} P(A \cup B_i) = \sum\limits_{i=1}^{m} P(B_i) P(A / B_i). \]

Формула \[ P(A) = \sum\limits_{i=1}^{m} P(B_i) P(A / B_i) \] называется формулой полной вероятности.

Дополнительно предположим, что $P(A) \gt 0$. Найдём вероятность события $B_j$ при условии, что произошло событие $A$. Имеет место равенство \[ P(B_j / A) = \frac{P(B_j \cap A)}{P(A)} = \frac{P(B_j) P(A / B_j)}{\sum\limits_{i=1}^{m} P(B_i) P(A / B_i)}. \]

Формулы \[ P(B_j / A) = \frac{P(B_j) P(A / B_j)}{\sum\limits_{i=1}^{m} P(B_i) P(A / B_i)}, \quad j = \overline{1,m} \] называются формулами Байеса.

Вероятности $P(B_i)$ называются априорными вероятностями.
Вероятности $P(B_j / A)$ называются апостериорными вероятностями.

Схема Бернулли. Биномиальное и полиномиальное распределения

Пусть проводится $n$ независимых испытаний, причём в каждом испытании возможны два исхода: «1» — успех и «0» — неудача. Обозначим через $p$ вероятность успеха, через $q = 1 - p$ — вероятность неудачи.

Для определения вероятностного пространства рассмотрим элементарное событие $\omega = \paren{a_1, \dots, a_n}$, где $a_i = 1$ или $0$. Тогда $\abs{\Omega} = 2^n$, в качестве $\sigma$-алгебры возьмём $\mathcal{F} = 2^\Omega$. Вероятность элементарного события $\omega$ вычислим по формуле \[ P(\omega) = p^{ \sum\limits_{i=1}^{n} a_i} q^{n - \sum\limits_{i=1}^{n} a_i}, \] где $\sum\limits_{i=1}^{n} a_i$ — количество единиц в векторе $\paren{ a_1, \dots, a_n }$.

Пусть \[ \mu(a_1, \dots, a_n) = \mu(\omega) = \sum\limits_{i=1}^{n} a_i \] — количество успехов в серии из $n$ независимых испытаний. Величина $\mu(\omega)$ является случайной величиной. Нас интересует вероятность события $\mu = m$, то есть вероятность того, что в серии из $n$ независимых испытаний произойдёт ровно $m$ успехов.

Случайная величина $\mu$ принимает в данном случае значение из конечной совокупности $\set{ 0, 1, \dots, n }$. Вероятность события $\mu = m$ можно вычислить по формуле \[ \begin{aligned} P\set{ \mu = m } &= \sum\limits_{\omega: \; \mu(\omega) = m} P(\omega) = \\ &= \sum\limits_{\omega: \; \sum\limits_{i=1}^{n} a_i = m} p^{ \sum\limits_{i=1}^{n} a_i} q^{n - \sum\limits_{i=1}^{n} a_i} = \\ &= p^m q^{n-m} \sum\limits_{\omega: \; \sum\limits_{i=1}^n a_i = m}^{n} 1 = \\ &= C_n^m p^m q^{n-m}. \end{aligned} \] Найдём сумму вероятностей при $m$, пробегающем значения от $0$ до $n$: \[ \sum\limits_{m=0}^{n} P\set{\mu = m} = \sum\limits_{m=0}^{n} C_n^m p^m q^{n-m} = (p + q)^n = 1. \]

Распределение случайной величины $\mu$, равной количеству успехов в серии из $n$ независимых испытаний, называется биномиальным распределением.

Рассмотрим более общую схему. Пусть производится $n$ независимых испытаний, каждое из которых может закончится одним из $r$ исходов из множества $\set{1, \dots, r}$. Исходу $i$ соответствует вероятность $p_i$. При этом \[ \sum\limits_{i=1}^{r} p_i = 1. \] Пусть набор $\paren{ a_1, \dots, a_n }$ — упорядоченный набор чисел из множества $\set{1, \dots, r}$. Определим пространство элементарных событий $\Omega$ и сигма-алгебру $\mathcal{F}$ следующим образом: \[ \Omega = \set{ \paren{ a_1, \dots, a_n }: a_i = 1, \dots, r }, \qquad \mathcal{F} = 2^\Omega. \] Вероятность события $\paren{ a_1, \dots, a_n }$ определим так, чтобы последовательные испытания оказались независимыми: \[ P\set{ \paren{a_1, \dots, a_n} } = p_1^{m_1} \cdots p_r^{m_r}, \] где $m_1$ — количество исходов »1«, $m_2$ — количество исходов »2« и так далее. Заметим, что \[ m_1 + \cdots + m_r = n. \] Найдём вероятность следующего события: в $n$ независимых испытаниях $m_1$ раз выпал исход «1», $m_2$ раз выпал исход «2» и так далее.

Обозначим вероятность этого события через $P_n(m_1, \dots, m_r)$. Легко видеть, что \[ P_n(m_1, \dots, m_r) = D_{m_1, \dots, m_r} p_1^{m_1} \cdots p_r^{m_r}, \] где \[ \begin{aligned} D_{m_1, \dots, m_r} &= C_n^{m_1} C_{n - m_1}^{m_2} \cdots C_{n - m_1 - \cdots - m_{r-1}}^{m_r} = \\ &= \frac{n!}{m_1! (n - m_1)!} \frac{(n - m_1)!}{m_2! (n - m_1 - m_2)!} \cdots 1 = \\ &= \frac{n!}{m_1! m_2! \cdots m_r!}. \end{aligned} \]

Распределение, определяемое формулой \[ P_n(m_1, \dots, m_r) = \frac{n!}{m_1! m_2! \cdots m_r!} p_1^{m_1} \cdots p_r^{m_r}, \] называется полиномиальным распределением.

Схема Бернулли. Теорема Пуассона

Рассмотрим схему Бернулли с $n$ независимыми испытаниями, в каждом из которых возможны два исхода: «1» — успех и «0» — неудача. Вероятность успеха обозначим через $p$, вероятность неудачи — через $q = 1 - p$. Считаем, что вероятности не зависят от номера испытания. Введём случайную величину $\mu$, равную количеству успехов в $n$ испытаниях.

(Пуассона). Пусть в схеме Бернулли число испытаний $n \to \infty$ и при этом \[ np \limto{n \to \infty} \lambda \gt 0. \] Тогда для всех $m = 0, 1, \dots$ выполняется \[ P\set{\mu = m} = C_n^m p^m q^{n - m} \limto{n \to \infty} \frac{\lambda^m}{m!} e^{-\lambda}. \]

Так как \[ \frac{(np)^m}{m!} \limto{n \to \infty} \frac{\lambda^m}{m!}, \] а также справдливы соотношения \[ \frac{1 \cdot \paren{1 - \frac{1}{n}} \cdots \paren{1 - \frac{m-1}{n}}} {(1 - p)^m} \limto{n \to \infty} 1 \]

почему?

и \[ \ln(1 - p) = -p + o(p) \implies e^{n \ln (1 - p)} = e^{-np + np \frac{o(p)}{p}} \limto{n \to \infty} e^{-\lambda} \] Справедливы следующие равенства: \[ \begin{aligned} C_n^m p^m q^{n-m} &= \frac{n!}{m! (n-m)!} p^m \frac{(1 - p)^n}{(1 - p)^m} = \\ &= \frac{(np)^m}{m!} e^{n \ln (1 - p)} \frac{1 \cdot \paren{1 - \frac{1}{n}} \cdots \paren{ 1 - \frac{m-1}{n} }} {(1 - p)^m} \limto{n \to \infty} \frac{\lambda^m}{m!} e^{-\lambda}. \end{aligned} \]

Можно доказать более сильное утверждение: \[ \abs{ \sum\limits_{m \in B} C_n^m p^m q^{n - m} - \sum\limits_{m \in B} \frac{(np)^m}{m!} e^{-np} } \leqslant np^2, \] где $B$ — любое подмножество на положительной части числовой прямой.

Если вероятность $p$ близка к 0, то есть $p \ll 1$, а $n \gg 1$, то теорема даёт «хорошую» аппроксимацию для соответствующей вероятности. Эта аппроксимация называется аппроксимацией Пуассона.

Используя формулу разложения экспоненты в ряд Тейлора, получаем равенство \[ \sum\limits_{m=0}^{\infty} \frac{\lambda^m}{m!} e^{-\lambda} = e^{-\lambda} e^\lambda = 1. \] Таким образом, правая часть выражения \[ P\set{\mu = m} = C_n^m p^m q^{n - m} \limto{n \to \infty} \frac{\lambda^m}{m!} e^{-\lambda} \] определяет некоторое распределение, которое носит название распределения Пуассона. Это распределение зависит от положительного параметра $\lambda$.

Локальная и интегральная теоремы Муавра-Лапласа (без док-ва интегральной теоремы)

Рассмотрим схему Бернулли с $n$ независимыми испытаниями, в каждом из которых возможны два исхода: «1» — успех и «0» — неудача. Вероятность успеха обозначим через $p$, вероятность неудачи — через $q = 1 - p$. Считаем, что вероятности не зависят от номера испытания. Введём случайную величину $\mu$, равную количеству успехов в $n$ испытаниях.

(локальная предельная теорема Муавра-Лапласа).

Пусть \[ \sigma = \sqrt{npq} \limto{n \to \infty} \infty, \] тогда для любой константы $c \gt 0$ выполняется \[ P\set{ \mu = m } = C_n^m p^m q^{n - m} = \frac{1}{\sqrt{2 \pi} \sigma} e^{- \frac{x^2}{2}} (1 + o(1)) \] равномерно по \[ x = \frac{m - np}{\sigma}, \qquad \abs{x} \leqslant c, \] причём \[ o(1) \limto{n \to \infty} 0. \]

Утверждение теоремы можно записать в виде \[ \frac {P\set{ \mu = m }} {\frac{1}{\sqrt{2 \pi} \sigma} e^{- \frac{x^2}{2}}} \limto{n \to \infty} 1. \]

Учитывая, что \[ x = \frac{m - np}{\sigma}, \qquad \abs{x} \leqslant c, \qquad \sigma = \sqrt{npq}, \] получаем, что \[ m = np + \sigma x = np \paren{ 1 + \frac{xq}{\sigma} }. \] Пусть $k = n - m$. Очевидно, что \[ k = nq - \sigma x = nq \paren{ 1 - \frac{xp}{\sigma} }. \] При $n \to \infty, \sigma \to \infty$ получаем, что $m \to \infty, k \to \infty$. Вычислим логарифм вероятности $P\set{ \mu = m }$: \[ \ln C_n^m p^m q^k = \ln n! - \ln m! - \ln k! + m \ln p + k \ln q. \] Пользуясь формулой Стирлинга: \[ n! = \sqrt{2 \pi n} n^n e^{-n + \Theta_n}, \quad \text{где} \quad \Theta_n = O\paren{\frac{1}{n}} \quad \text{при} \quad n \to \infty, \] вычислим логарифмы факториалов: \[ \begin{aligned} \ln n! &= \ln \sqrt{2 \pi} + \frac{\ln n}{2} + n \ln n - n + \Theta_n, \\ \ln k! &= \ln \sqrt{2 \pi} + \frac{\ln k}{2} + k \ln k - k + \Theta_k, \\ \ln m! &= \ln \sqrt{2 \pi} + \frac{\ln m}{2} + m \ln m - m + \Theta_m. \end{aligned} \] Тогда \[ \ln n! - \ln k! - \ln m! = \ln \frac{1}{\sqrt{2 \pi}} - \frac{1}{2} \ln \frac{mk}{n} - m \ln \frac{m}{n} - k \ln \frac{k}{n} + O\paren{ \frac{1}{\sigma^2} }. \] Отсюда следует, что \[ \begin{aligned} \ln C_n^m p^m q^k &= \ln \frac{1}{\sqrt{2 \pi}} - \frac{1}{2} \ln \paren{ \sigma^2 \paren{ 1 + \frac{xq}{\sigma} } \paren{1 - \frac{xp}{\sigma}} } - \\ &\phantom{=}- m \ln \frac{m}{np} - k \ln \frac{k}{nq} + O \paren{ \frac{1}{\sigma^2} } = \\ &= \ln \frac{1}{\sqrt{2 \pi} \sigma} - \frac{1}{2} \ln \paren{ 1 + \frac{xq}{\sigma} } - \frac{1}{2} \ln \paren{ 1 - \frac{xp}{\sigma} } - \\ &\phantom{=}- \left[ (np + \sigma x) \ln \paren{ 1 + \frac{xq}{\sigma} } + (nq - \sigma x) \ln \paren{ 1 - \frac{xp}{\sigma} } \right] + O\paren{ \frac{1}{\sigma^2} }. \end{aligned} \] Преобразуя выражение в квадратных скобках как?, получаем равенство \[ \ln C_n^m p^m q^k = \ln \frac{1}{\sqrt{2 \pi} \sigma} - \frac{x^2}{2} + O\paren{ \frac{1}{\sigma} }, \] откуда следует утверждение теоремы: \[ C_n^m p^m q^k = \frac{1}{\sigma \sqrt{2 \pi}} e^{ -\frac{x^2}{2} } e^{O\paren{ \frac{1}{\sigma} }}, \] где \[ e^{O\paren{ \frac{1}{\sigma} }} = 1 + O\paren{ \frac{1}{\sigma} }. \]

Рассмотрим функцию \[ \varphi(x) = \frac{1}{\sqrt{2 \pi}} e^{ -\frac{x^2}{2} }. \] Вычислим интеграл \[ \int\limits_{-\infty}^{\infty} \varphi(x) dx. \] Для этого вычислим \[ \paren{ \int\limits_{-\infty}^{\infty} e^{ -\frac{x^2}{2} } dx }^2 = \int\limits_{-\infty}^{\infty} e^{ -\frac{x^2}{2} } dx \int\limits_{-\infty}^{\infty} e^{ -\frac{y^2}{2} } dy. \] Используя теорему о повторном интегрировании (ссылка?), получаем \[ \int\limits_{-\infty}^{\infty} \int\limits_{-\infty}^{\infty} e^{ - \frac{x^2 + y^2}{2} } dx dy. \] Переходя к полярным координатам, получаем интеграл \[ \int\limits_{0}^{2\pi} \int\limits_{0}^{\infty} e^{ -\frac{r^2}{2} } r dr d\psi = 2 \pi. \] Следовательно, \[ \int\limits_{-\infty}^{\infty} e^{ -\frac{x^2}{2} } dx = \sqrt{2\pi}, \] поэтому \[ \int\limits_{-\infty}^{\infty} \varphi(x) dx = 1. \]

Функция $\varphi(x)$ обладает следующими свойствами:

$\varphi(x) \geqslant 0$ для всех $x \in \R$.
$\int\limits_{-\infty}^{\infty} \varphi(x) dx = 1$.

Любая функция, удовлетворяющая этим двум свойствам, называется плотностью распределения.

Функция \[ \varphi(x) = \frac{1}{\sqrt{2\pi}} e^{ -\frac{x^2}{2} } \] называется плотностью стандартного нормального распределения.

(интегральная предельная теорема Муавра-Лапласа).

Пусть \[ \sigma = \sqrt{npq} \limto{n \to \infty} 0, \] тогда при $n \to \infty$ равномерно по парам $(a,b)$ имеет место сходимость: \[ P\left\{ a \leqslant \frac{\mu - np}{\sqrt{npq}} \leqslant b \right\} \limto{n \to \infty} \frac{1}{\sqrt{2 \pi}} \int\limits_{a}^{b} e^{ -\frac{x^2}{2} } dx = \int\limits_{a}^{b} \varphi(x) dx. \]

Схема Бернулли. Закон больших чисел Бернулли

(закон больших чисел для схемы Бернулли).

Пусть число испытаний в схеме Бернулли $n \to \infty$, тогда для любого $\varepsilon \gt 0$ имеет место сходимость \[ P\left\{ \abs{ \frac{\mu}{n} - p } \gt \varepsilon \right\} \limto{n \to \infty} 0. \]

Очевидно, что \[ P\left\{ \abs{ \frac{\mu}{n} - p } \gt \varepsilon \right\} = 1 - P\left\{ \abs{ \frac{\mu}{n} - p } \leqslant \varepsilon \right\}. \] Проведём преобразования: \[ \begin{aligned} P\left\{ \abs{ \frac{\mu}{n} - p } \leqslant \varepsilon \right\} &= P\left\{ -\varepsilon \leqslant \frac{\mu}{n} - p \leqslant \varepsilon \right\} = \\ &= P\left\{ -\varepsilon \sqrt{ \frac{n}{pq} } \leqslant \frac{\mu - np}{\sqrt{npq}} \leqslant \varepsilon \sqrt{ \frac{n}{pq} } \right\}. \end{aligned} \] Тогда \[ \begin{aligned} P\left\{ \abs{ \frac{\mu}{n} - p } \gt \varepsilon \right\} &= \paren{ 1 - \int\limits_{-\varepsilon \sqrt{ \frac{n}{pq} }} ^{\varepsilon \sqrt{ \frac{n}{pq} }} \frac{1}{\sqrt{2 \pi}} e^{ -\frac{x^2}{2} } dx } + \\ &\phantom{=}+ \paren{ \int\limits_{-\varepsilon \sqrt{ \frac{n}{pq} }} ^{\varepsilon \sqrt{ \frac{n}{pq} }} \frac{1}{\sqrt{2 \pi}} e^{ -\frac{x^2}{2} } dx - P\left\{ -\varepsilon \sqrt{ \frac{n}{pq} } \leqslant \frac{\mu - np}{\sqrt{npq}} \leqslant \varepsilon \sqrt{ \frac{n}{pq} } \right\} } \end{aligned} \] Выражение в первых скобках стремится к нулю, а выражение во вторых скобках по интегральной предельной теореме Муавра-Лапласа также стремится к нулю, из чего следует утверждение теоремы.

Последовательности зависимых испытаний. Цепи Маркова

Рассмотрим последовательность испытаний, в каждом из которых возможны $r$ исходов из множества $\set{ 1, \dots, r }$. Пусть испытание с номером 0 закончилось исходом $a_0$, испытание с номером 1 — исходом $a_1$, $\dots$ испытание с номером $T$ — исходом $a_T$. Упорядоченная последовательность исходов \[ \omega = (a_0, a_1, \dots, a_T), \qquad a_i \in \set{1, \dots, r}, \] образует элементарное событие. Множество всех элементарных событий обозначим через $\Omega$.

Возможно другое описание рассматриваемого события.

Пусть имеется система, которая может находиться в некотором фазовом пространстве в состояниях $1, 2, \dots, r$. Время предполагается дискретным и может принимать значения $1, 2, \dots, t, \dots, T$. Элементарное событие \[ \omega = (a_1, \dots, a_T) \] является траекторией движения. Пространство элементарных событий зададим так: \[ \Omega = \set{ \omega = (a_0, \dots, a_t, \dots, a_T): a_t = 1, \dots, r }; \] оно конечно, причём $\abs{\Omega} = r^{T+1}$.

Рассмотрим совокупность подмножеств $\mathcal{M} = \set{ M_\alpha }$.

Будем говорить, что алгебра $\mathcal{A}$ порождена совокупностью $\mathcal{M}$ (и записывать $\mathcal{A} = \alpha(\mathcal{M})$), если выполнены следующие условия:

Совокупность $\mathcal{M} \subset \mathcal{A}$.
Если $D$ — некоторая алгебра, относительно которой известно, что $\mathcal{M} \subset D$, то $\mathcal{A} \subset D$.

Термин «порождённая» равносилен выражению «минимальная, содержащая $\mathcal{M}$», то есть \[ \mathcal{A} = \bigcap_\gamma D_\gamma, \] где $D_\gamma \supset \mathcal{M}$ — всевозможные алгебры, содержащие $\mathcal{M}$.

Если в определении заменить термин «алгебра» на термин «$\sigma$-алгебра», то получим определение $\sigma$-алгебры, порождённой семейством $\mathcal{M}$.

Каким бы ни было семейство $\mathcal{M}$, порождённые им алгебра и $\sigma$-алгебра существуют.

Рассмотрим конечное разбиение множества $\Omega$: \[ \Omega = \bigcup_{i=1}^m D_i, \qquad D_i \cap D_j = \varnothing. \] Рассмотрим семейство $\mathcal{M} = \set{ D_1, \dots, D_m }$. Очевидно, что \[ \alpha(\mathcal{M}) = \left\{ D_1, \dots, D_m, \varnothing, \left\{ \bigcup_{j=1}^k D_{l_j} \right\}_{k = 1, \dots, m} \right\} \] — совокупность всевозможных конечных объединений множеств $D_i$.

Частица переходит из одного состояния в другое. Если предположить, что время дискретно, а наблюдения за частицей происходят в промежутке времени $[0,T]$, тогда траектория движения частицы соответствует элементарному событию $\omega = (a_0, \dots, a_T)$, где $a_0$ — начальное положение частицы, $a_1$ — положение частицы в момент времени 1, $\dots$, $a_T$ — конечное положение частицы.

Выделим следующие события, которые являются подмножествами множества $\Omega$: \[ \begin{aligned} A_0^{(1)} &= \set{ \omega: a_0 = 1 }, \\ A_0^{(2)} &= \set{ \omega: a_0 = 2 }, \\ &\phantom{=} \dots \\ A_0^{(r)} &= \set{ \omega: a_0 = r }. \end{aligned} \] Множества $\set{ A_0^{(1)}, A_0^{(2)}, \dots, A_0^{(r)} }$ образуют конечное разбиение множества $\Omega$, так как \[ \Omega = \bigcup_{i=1}^r A_0^{(i)} \quad \text{и} \quad A_0^{(i)} \cap A_0^{(j)} = \varnothing, \quad i \neq j. \] Определим алгебру $\mathcal{A}_0 = \alpha(A_0^{(1)}, A_0^{(2)}, \dots, A_0^{(r)})$. В неё входят все события, характеризующие начальное положение частицы.

Аналогичным образом определим события $\set{ A_1^{(1)}, A_1^{(2)}, \dots, A_1^{(r)} }$, характеризующие положение частицы в момент времени 1. Определим алгебру $\mathcal{A}_1 = \alpha(A_1^{(1)}, A_1^{(2)}, \dots, A_1^{(r)})$.

Для любого момента времени $t$ можно построить алгебру $\mathcal{A}_t$. Итак, получаем последовательность алгебр $\mathcal{A}_0, \dots, \mathcal{A}_T$. Очевидно, что $\mathcal{A}_t \subset 2^\Omega$.

Предположим, что существует вероятностная мера $P(\cdot)$, заданная на $2^\Omega$. Введём ограничение: \[ \forall \omega \in \Omega \qquad P(\omega) \gt 0. \] Также рассмотрим алгебры \[ A_0^{t-1} = \alpha(\mathcal{A}_0, \dots, \mathcal{A}_{t-1}), \qquad A_{t+1}^T = \alpha(\mathcal{A}_{t+1}, \dots, \mathcal{A}_T). \]

Говорят, что последовательность испытаний $\mathcal{A}_0, \dots, \mathcal{A}_T$ образует цепь Маркова, если для любого целочисленного момента времени $t \in [1, T - 1]$, любых событий $A \in \mathcal{A}_0^{t-1}, B \in \mathcal{A}_{t+1}^T$ и любого исхода $k$ выполняется равенство: \[ P(A \cap B / \set{ a_t = k }) = P(A / \set{ a_t = k }) P(B / \set{ a_t = k }). \]

Алгебра $\alpha(\mathcal{A}_0, \dots, \mathcal{A}_{t-1})$ содержит события, относящиеся к поведению частицы до момента $t - 1$ включительно.
Алгебра $\alpha(\mathcal{A}_{t+1}, \dots, \mathcal{A}_T)$ содержит события, относящиеся к поведению частицы после момента $t + 1$, включая его.

Рассматривая момент времени $t$ как текущий, получаем процесс, распадающийся на прошлое $\mathcal{A}_0^{t-1}$, настоящее $\mathcal{A}_t$ и будущее $\mathcal{A}_{t+1}^T$.

Таким образом, цепь Маркова представляет собой последовательность испытаний, в которой прошлое и будущее условно независимы при фиксированном настоящем.

Последовательность испытаний образует цепь Маркова тогда и только тогда, когда для любого момента времени $t = 1, \dots, T - 1$, любого исхода $k \in \set{1, \dots, r}$ и любых событий $A \in \mathcal{A}_0^{t-1}$ и $B \in \mathcal{A}_{t+1}^T$ выполняется условие \[ P(B / A \cap \set{ a_t = k }) = P(B / \set{ a_t = k }). \]

Пусть последовательность испытаний образует цепь Маркова, тогда \[ P(A \cap B / \set{ a_t = k }) = P(A / \set{ a_t = k }) P(B / \set{ a_t = k }). \] Тогда, пользуясь определением условной вероятности, получаем, что \[ \begin{aligned} P(B / A \cap \set{ a_t = k }) &= \frac {P(\set{ a_t = k }) P(A \cap B / \set{ a_t = k })} {P(\set{ a_t = k }) P(A / \set{ a_t = k })} = \\ &= \frac {P(A / \set{ a_t = k }) P(B / \set{ a_t = k })} {P(A / \set{ a_t = k })} = \\ &= P(B / \set{ a_t = k }). \end{aligned} \]

Пусть выполнено равенство \[ P(B / A \cap \set{ a_t = k }) = P(B / \set{ a_t = k }). \] Тогда \[ \begin{aligned} P(A \cap B / \set{ a_t = k }) &= \frac {P(\set{ a_t = k }) P(A / \set{ a_t = k }) P(B / A \cap \set{ a_t = k })} {P(\set{ a_t = k })} = \\ &= P(A / \set{ a_t = k }) P(B / \set{ a_t = k }), \end{aligned} \] то есть последовательность испытаний образует Марковскую цепь.

Лемма даёт эквивалентное определение цепи Маркова.

Рассмотрим некоторую траекторию $\omega = (i_0, \dots, i_T)$ движения частицы по состояниям. Найдём вероятность осуществления траектории $\omega$, используя формулу умножения вероятностей: \[ \begin{aligned} P(\omega) &= P(\set{ i_0, \dots, i_T }) = \\ &= P(A_0^{(i_0)} \cap \dots \cap A_T^{(i_T)}) = \\ &= P(A_0^{(i_0)}) P (A_1^{(i_1)} / A_0^{(i_0)}) P(A_2^{(i_2)} / A_1^{(i_1)}) \cdots P(A_T^{(i_T)} / A_{T-1}^{(i_{T-1})}). \end{aligned} \] Таким образом, вероятность любого элементарного события полностью определяется начальными $P(A_0^i)$ и условными $P(A_{t+1}^j / A_t^i)$ вероятностями.

Вероятности $P(A_{t+1}^j / A_t^i)$ называются переходными вероятностями за один шаг.

Зафиксируем момент времени $t$ и сформируем матрицу переходных вероятностей $P_t = \left\{ P(A_{t+1}^{(j)} / A_t^{(i)}) \right\}$, где $i = \overline{1,r}$ — номер строки, а $j = \overline{1,r}$ — номер столбца.

Сложим элементы произвольной строки $i$: \[ P(A_{t+1}^{(1)} / A_t^{(i)}) + P(A_{t+1}^{(2)} / A_t^{(i)}) + \dots + P(A_{t+1}^{(r)} / A_t^{(i)}) = 1. \] Таким образом, события $A_{t+1}^{(1)}, \dots, A_{t+1}^{(r)}$ попарно несовместны, а их объединение даёт достоверное событие.

Квадратная матрица с неотрицательными коэффициентами, у которой сумма элементов в любой строке равна единице, называется стохастической.

Однородная цепь Маркова. Уравнение Чепмена-Колмогорова. Теорема о предельных вероятностях для цепей Маркова (без док-ва)

Цепь Маркова называется однородной, если переходные вероятности за один шаг не зависят от номера испытания (момента времени $t$), то есть \[ P(A_{t+1}^{(j)} / A_t^{(i)}) = p_{ij}. \]

Обозначим через $P = \set{ p_{ij} }$ матрицу переходных вероятностей. Найдём вероятность перехода из состояния $i$ в состояние $j$ за два шага: \[ \begin{aligned} P(A_{t+2}^{(j)} / A_t^{(i)}) &= P\left\{ \bigcup_{k=1}^r \paren{ A_{t+2}^{(j)} \cap A_{t+1}^{(k)} } / A_t^{(i)} \right\} = \\ &= \sum\limits_{k=1}^{r} P\paren{ A_{t+2}^{(j)} \cap A_{t+1}^{(k)} / A_t^{(i)} } = \\ &= \sum\limits_{k=1}^{r} \frac { P\paren{A_t^{(i)}} P\paren{A_{t+1}^{(k)} / A_t^{(i)}} P\paren{A_{t+2}^{(j)} / A_{t+1}^{(k)}} } {P(A_t^{(i)})} = \\ &= \sum\limits_{k=1}^{r} p_{ik} p_{kj}. \end{aligned} \] Полученная формула доказывает, что для однородной цепи Маркова переходные вероятности за два шага не зависят от момента времени $t$. Аналогично можно показать, что переходные вероятности за любое число шагов не зависят от момента времени $t$.

Обозначим через \[ p_{ij}(k) = P\paren{ A_{t+k}^{(j)} / A_t^{(i)} } \] вероятность перехода частицы из состояния $i$ в состояние $j$ за $k$ шагов. Очевидно, что \[ P\paren{ A_{t+1}^{(j)} / A_t^{(i)} } = p_{ij} = p_{ij}(1). \]

(уравнение Чепмена-Колмогорова).

Для однородной цепи Маркова для любого момента времени $t \geqslant 1$ и любого $s \geqslant 1$ переходную вероятность из состояния $i$ в состояние $j$ за $t + s$ шагов можно найти по формуле \[ p_{ij}(t+s) = \sum\limits_{k=1}^{r} p_{ik}(1) p_{kj}(s). \]

Действительно, \[ \begin{aligned} p_{ij}(t+s) &= P\paren{ A_{t+s}^{(j)} / A_0^{(i)} } = \\ &= \sum\limits_{k=1}^{r} P\paren{ A_t^{(k)} \cap A_{t+s}^{(j)} / A_0^{(i)} } = \\ &= \sum\limits_{k=1}^{r} \frac { \cancel{P\paren{ A_0^{(i)} }} P\paren{ A_t^{(k)} / A_0^{(i)} } P\paren{ A_{t+s}^{(j)} / A_t^{(k)} } } {\cancel{P\paren{ A_0^{(i)} }}} = \\ &= \sum\limits_{k=1}^{r} p_{ik}(t) p_{kj}(s). \end{aligned} \]

Обозначив за $P(t)$ матрицу переходных вероятностей за $t$ шагов (причём $P(t) \bydef= P$), можно переписать это уравнение в виде \[ P(t+s) = P(t) P(s). \] Если взять $s = 1$, то получим формулу \[ P(t+1) = P(t) P(1), \] верную для любого момента времени $t$. Следовательно, при всех $t \geqslant 1$ верно \[ P(t) = P^t. \] По определению можно положить, что $P^0 = I$, где $I$ — единичная матрица порядка $r$.

Пусть задана однородная цепь Маркова. Если существует момент времени $t_0$ такой, что \[ p_{ij}(t_0) \gt 0 \qquad \forall i,j = \overline{1,r}, \] то существуют пределы \[ \lim\limits_{t \to \infty} p_{ij}(t) = p_j, \qquad j = \overline{1,r}, \] причём пределы не зависят от начального состояния.

Предельные вероятности $p_1, \dots, p_r$ являются единственным решением системы линейных уравнений: \[ \sum\limits_{j=1}^{r} x_j = 1; \qquad x_j = \sum\limits_{k=1}^{r} x_k p_{kj}, \quad \text{где} \quad j = \overline{1,r}. \]

Полуалгебры. Теоремы о продолжении меры

Систему подмножеств $\mathcal{S}$ множества $\Omega$ будем называть полуалгеброй, если выполнены следующие условия:

$\Omega \in \mathcal{S}$.
Если $A \in \mathcal{S}, B \in \mathcal{S}$, то $A \cap B \in \mathcal{S}$.
Если $A \in \mathcal{S}$, то множество $\overline{A}$ можно представить в виде \[ \overline{A} = \sum\limits_{k=1}^{m} B_k, \] где \[ B_k \in \mathcal{S}, \qquad B_i \cap B_j = \varnothing, \quad i \neq j. \]

Неотрицательная числовая функция \[ \mu: \mathcal{S} \to [0, \infty] \] называется конечно-аддитивной мерой на полуалгебре $\mathcal{S}$, если выполняются следующие условия:

$\mu(\varnothing) = 0$.
Для всех множеств $B_1, \dots, B_k \in \mathcal{S}$ таких, что \[ \sum\limits_{i=1}^{k} B_i \in \mathcal{S}, \qquad B_i \cap B_j = \varnothing, \quad i \neq j, \] выполнено \[ \mu\paren{ \sum\limits_{i=1}^{k} B_i } = \sum\limits_{i=1}^{k} \mu(B_i). \]

Объединение множеств $\bigcup\limits_{i=1}^k B_i$ будем обозначать через $\sum\limits_{i=1}^{k} B_i$, если $B_i \cap B_j = \varnothing, i \neq j$.

Если $\mu(\Omega) = 1$, то конечно-аддитивная мера $\mu$ называется конечно-аддитивной вероятностной мерой и обозначается через $P$.

Пусть $\mu$ — конечно-аддитивная мера на $\mathcal{S}$. Если для всех множеств $B_k \in \mathcal{S}$ таких, что \[ \sum\limits_{i=1}^{\infty} B_k \in \mathcal{S}, \qquad B_i \cap B_j = \varnothing, \quad i \neq j, \] выполнено \[ \mu\paren{ \sum\limits_{i=1}^{\infty} B_i } = \sum\limits_{i=1}^{\infty} \mu(B_i), \] то $\mu$ называется счётно-аддитивной мерой на полуалгебре $\mathcal{S}$.

Если существует последовательность множеств $\set{A_i}$, где $A_i \in \mathcal{S}$, такая, что \[ A_i \subset A_{i+1}, \qquad \bigcup\limits_{i=1}^{\infty} A_i = \Omega, \qquad \mu(A_i) \lt +\infty, \] то счётно-аддитивная мера $\mu$ называется $\sigma$-конечной мерой.

Если $\mu(\Omega) = 1$, то $\mu$ называют счётно-аддитивной вероятностной мерой.

Пусть $\mathcal{S}$ — полуалгебра подмножеств множества $\Omega$. Семейство $\mathcal{A}$, состоящее из всевозможных конечных объединений непересекающихся элементов полуалгебры $\mathcal{S}$, представляет собой алгебру, порождённую полуалгеброй $\mathcal{S}$, то есть $\mathcal{A} = \alpha(\mathcal{M})$.

Для доказательства теоремы достаточно заметить, что система множеств, о которой говорится в условии:

является алгеброй;
содержит полуалгебру $\mathcal{S}$;
должна содержаться в любой алгебре, содержащей полуалгебру $\mathcal{S}$.

(о продолжении конечно-аддитивной меры с полуалгебры на алгебру).

Пусть $\mathcal{S}$ — полуалгебра подмножеств множества $\Omega$. Пусть на $\mathcal{S}$ задана конечно-аддитивная мера $\mu$, тогда существует и единственна конечно-аддитивная мера $\nu$, определённая на $\alpha(\mathcal{S})$, такая, что \[ \forall E \in \mathcal{S} \qquad \nu(E) = \mu(E). \]

В силу предыдущей теоремы любое множество $B \in \alpha(\mathcal{S})$ может быть представлено следующим образом: \[ B = \sum\limits_{i=1}^{m} E_i, \qquad E_i \in \mathcal{S}, \qquad E_i \cap E_j = \varnothing, \quad i \neq j. \] Следовательно, по определению можно записать, что \[ \nu(B) = \sum\limits_{i=1}^{m} \mu(E_i). \]

Необходимо показать, что функция $\nu$ задана корректно и что она является конечно-аддитивной.

Представим, что множество $B$ можно записать в виде конечной суммы \[ B = \sum\limits_{j=1}^{n} F_j, \qquad F_j \in \mathcal{S}, \qquad F_i \cap F_j = \varnothing, \quad i \neq j. \] Отсюда следует, что должно выполняться равенство \[ \nu(B) = \sum\limits_{j=1}^{n} \nu(F_j). \] Действительно, так как \[ \sum\limits_{j=1}^{n} F_j = \sum\limits_{i=1}^{m} E_i, \] значит, $F_j$ представимо в виде \[ F_j = \sum\limits_{i=1}^{m} F_j \cap E_i. \] Тогда \[ \mu(F_j) = \sum\limits_{i=1}^{m} \mu(F_j \cap E_i). \] Рассуждая аналогично, получаем \[ \mu(E_i) = \sum\limits_{j=1}^{n} \mu(F_j \cap E_i). \] Взяв от первого выражения сумму по $j$, а от второго — сумму по $i$, получаем равенство \[ \nu(B) = \sum\limits_{j=1}^{n} \nu(F_j). \]

Нетрудно проверить, что функция $\nu(\cdot)$ конечно-аддитивная. (проверить).

Пусть $\mathcal{S}$ — полуалгебра подмножеств множества $\Omega$. Пусть на $\mathcal{S}$ задана счётно-аддитивная $\sigma$-конечная мера $\mu$. Тогда существует единственная счётно-аддитивная $\sigma$-конечная мера $\nu$, определённая на $\alpha(\mathcal{S})$, такая, что \[ \forall E \in \mathcal{S} \qquad \nu(E) = \mu(E). \]

По предположению $\mu$ — счётно-аддитивная, следовательно, она также является конечно-аддитивной. Из предыдущей теоремы следует, что существует единственная конечно-аддитивная мера $\nu$, для которой выполнено условие теоремы.

Рассмотрим произвольное множество $B \in \alpha(\mathcal{S})$. Оно может быть представлено в виде \[ B = \sum\limits_{i=1}^{m} E_i, \qquad E_i \in \mathcal{S}, \qquad E_i \cap E_j = \varnothing, \quad i \neq j. \] Нетрудно показать, что мера $\nu$, определённая равенством \[ \nu(B) = \sum\limits_{i=1}^{m} \mu(E_i), \] счётно-аддитивна.

(о продолжении $\sigma$-конечной счётно-аддитивной меры с алгебры на $\sigma$-алгебру).

Пусть $\mathcal{A}$ — алгебра подмножеств множества $\Omega$. Пусть на $\mathcal{A}$ задана $\sigma$-конечная счётно-аддитивная мера $\mu$. Тогда существует единственная счётно-аддитивная $\sigma$-конечная мера $\nu$, определённая на $\sigma$-алгебре, порождённой алгеброй $\mathcal{A}$, такая, что \[ \forall E \in \mathcal{A} \qquad \nu(E) = \mu(E). \]

Для того, чтобы задать меру на $\sigma$-алгебре, достаточно задать её на полуалгебре, если $\sigma$-алгебра порождена этой полуалгеброй.

Все теоремы справедливы для вероятностных мер.

Пара $(\Omega, \mathcal{F})$ называется измеримым пространством. Будем предполагать, что $\sigma$-алгебра $\mathcal{F}$ порождается полуалгеброй $\mathcal{S}$, то есть \[ \mathcal{F} = \sigma(\mathcal{S}), \] или можно рассматривать два этапа: \[ \mathcal{F} = \sigma(\alpha(\mathcal{S})). \]

Рассмотрим измеримое пространство и некоторую меру на нём. Может оказаться так, что $\sigma$-алгебра $\mathcal{F}$ неполна относительно меры $\mu$, то есть существует множество $E$ нулевой меры ($\mu(E) = 0$), подмножества которого могут не принадлежать $\sigma$-алгебре $\mathcal{F}$. В этом случае всегда можно провести процедуру пополнения $\sigma$-алгебры, добавив в неё все подмножества множества нулевой меры.

Примеры измеримых пространств

Пусть $\Omega = \R$ — вся числовая ось. Рассмотрим семейство множеств \[ \mathcal{I}_1 = \set{ (-\infty, +\infty), (-\infty, a], (a,b], (b, +\infty) }, \] где $a, b \in \R$. Нетрудно проверить, что $\mathcal{I}_1$ — полуалгебра. Введём $\sigma$-алгебру $\bor{} = \sigma(\mathcal{I}_1)$. Справедливо равенство: \[ (a,b) = \bigcup\limits_{i=1}^{\infty} \left( a, b - \frac{1}{n} \right] \in \bor{}. \]

$\sigma$-алгебра $\bor{} = \sigma(\mathcal{I}_1)$, называется борелевской $\sigma$-алгеброй на числовой прямой.

Как известно, любое открытое множество на числовой прямой представляет собой не более чем счётное объединение интервалов. Так как операция счётного объединения не выводит из $\sigma$-алгебры, то все открытые множества будут входить в борелевскую $\sigma$-алгебру. Отсюда же следует, что и все замкнутые множества также будут входить в борелевскую $\sigma$-алгебру. В неё также будут входить и одноточечные множества, так как \[ \set{ a } = \bigcap\limits_{n=1}^{\infty} \left( a - \frac{1}{n}, a \right]. \]

Вместо числовой прямой можно рассматривать расширенную числовую прямую: \[ \Omega = [-\infty, +\infty]. \] Нетрудно построить полуалгебру и $\sigma$-алгебру на расширенной числовой прямой, включив в неё два одноточечных множества $\set{ -\infty }, \set{ \infty }$.

Рассмотрим $n$-мерное пространство $\Omega = \R^n$. Введём множество \[ I = I_1 \times I_2 \times \dots \times I_n, \] где $I_1, \dots, I_n \in \mathcal{I}_1(\R)$.

Рассмотрим систему подмножеств \[ \mathcal{I}_2 = \set{ I = I_1 \times \dots \times I_n }. \] Нетрудно показать, что она является полуалгеброй. Введём множество \[ B = B_1 \times \dots \times B_n, \] где $B_1, \dots, B_n \in \bor{}$. Рассмотрим всевозможные множества \[ \mathcal{I}_3 = \set{ B = B_1 \times \dots \times B_n }. \] Нетрудно показать, что $\mathcal{I}_3$ — полуалгебра.

Понятно, что $\mathcal{I_3} \supset \mathcal{I}_2$. Из этого следует, что $\alpha(\mathcal{I}_3) \supset \alpha(\mathcal{I}_2)$, но можно показать, что \[ \sigma(\alpha(\mathcal{I}_3)) = \sigma(\alpha(\mathcal{I}_2)) = \bor{n}. \]

Сигма-алгебра $\bor{n}$ называется борелевской $\sigma$-алгеброй.

Рассмотрим $\Omega = \R^\infty$. Введём цилиндрические множества \[ C_n(I_1 \times \dots \times I_n) = \set{ (x_1, \dots, x_n, \dots) \in \R^\infty: x_1 \in I_1, \dots, x_n \in I_n }, \] где $I_1, \dots, I_n \in \mathcal{I}_1$. Рассмотрим семейство таких цилиндрических множеств: \[ \mathcal{I}_4 = \set{ C_n(I_1 \times \dots \times I_n) }. \] Нетрудно показать, что $\mathcal{I}_4$ — полуалгебра. Можно рассмотреть цилиндры другого вида: \[ C_n(B_1 \times \dots \times) = \set{ (x_1, \dots, x_n, \dots) \in \R^\infty: x_1 \in B_1, \dots, x_n \in B_n }, \] где $B_1, \dots, B_n \in \bor{}$. Рассмотрим семейство таких множеств: \[ \mathcal{I}_5 = \set{ C_n(B_1 \times \dots \times B_n) }, \qquad \mathcal{I}_4 \subset \mathcal{I}_5. \] Система множеств $\mathcal{I}_5$ также является полуалгеброй.

Возьмём в основании цилиндра множество $B$: \[ C_n(B) = \set{ (x_1, \dots, x_n, \dots): (x_1, \dots, x_n) \in B, \; B \in \bor{n} } \] и рассмотрим совокупность множеств \[ \mathcal{I}_6 = \set{ C_n(B) }, \qquad \mathcal{I}_5 \subset \mathcal{I}_6. \] Система множеств $\mathcal{I}_6$ образует алгебру. Можно показать, что $\sigma$-алгебры, порождённые выделенными системами множеств, совпадают: \[ \sigma(\mathcal{I}_6) = \sigma(\mathcal{I}_5) = \sigma(\mathcal{I}_6) = \bor{\infty}. \]

$\sigma$-алгебра $\bor{\infty}$ называется сигма-алгеброй борелевских множеств бесконечномерного пространства.

Вероятностное пространство на числовой прямой. Функция распределения

Пусть вероятностная мера $P$ задана на борелевской $\sigma$-алгебре $\bor{}$. Для любого $A \in \bor{}$ задана вероятность $P(A)$. Будем рассматривать событие $B = (-\infty, x]$, где $x \in \R$. Определим функцию распределения $F(x)$ следующим образом: \[ F(x) = P(B) = P(-\infty, x]. \]

Определение функции распределения?

Свойства функции распределения

Пусть $x_1 \lt x_2$, тогда $F(x_1) \leqslant F(x_2)$; функция $F(x)$ монотонно неубывающая.
Как легко заметить, \[ P(-\infty, x_2] = P(-\infty, x_1] + P(x_1, x_2]. \] Следовательно, $F(x_2) \geqslant F(x_1)$.
В любой точке $y \in \R$ выполняется равенство: \[ F(y+0) = F(y); \] функция непрерывна справа: \[ \lim_{x \to y+0} F(x) = F(y); \] существует предел слева $\lim\limits_{x \to y-0} F(x)$, который может не совпадать с $F(y)$.
Пусть $x \lt y$, тогда из первого свойства следует, что $F(x) \leqslant F(y)$, но тогда существование предела \[ \lim\limits_{x \to y-0} F(x) \] очевидно вследствие монотонности функции.
Возьмём любую последовательность \[ \set{ x_n } \limto{n \to \infty} y+0, \qquad x_{n+1} \lt x_n. \] Рассмотрим \[ F(x_n) - F(y) = P(y, x_n]. \] Введём событие $A_n = (y, x_n]$, тогда $A_{n+1} \subset A_n$. Очевидно, что \[ \bigcap\limits_{n=1}^{\infty} A_n = \varnothing. \] Тогда из свойства непрерывности счётно-аддитивной вероятностной меры следует, что \[ P(y, x_n] \limto{n \to \infty} 0. \]
Справедливы следующие равенства: \[ \lim_{x \to \infty} F(x) = F(\infty) = 1, \qquad \lim_{x \to -\infty} F(x) = F(-\infty) = 0. \]
В силу монотонности $F(x)$ достаточно рассмотреть любую возрастающую последовательность. Выберем возрастающую $\set{ n }$ и убывающую $\set{ -n }$ последовательности натуральных чисел. Рассмотрим их разность: \[ F(n) - F(-n) = P(-\infty, n] - P(-\infty, -n] = P(-n, n]. \] Введём обозначение: \[ A_n = (-n, n], \qquad A_n \subset A_{n+1}, \qquad \bigcup\limits_{n=1}^{\infty} A_n = \R. \] По свойству непрерывности \[ P(A_n) \limto{n \to \infty} P(\R) = 1, \] но тогда \[ \lim\limits_{n \to \infty} \paren{ F(n) - F(-n) } = 1, \] что в силу монотонности равносильно тому, что \[ F(n) \limto{n \to \infty} 1, \qquad F(-n) \limto{n \to \infty} 0. \]

Элементы класса функций, определённых на числовой прямой и удовлетворяющих свойствам 1-3, называют функциями распределения.

Пусть $F(x)$ — некоторая произвольно выбранная функция распределения. Тогда существует и единственна вероятностная мера $P$, заданная на $(\R, \bor{})$, такая, что для любых $a,b \in \R, \; a \lt b$ выполняется \[ P(a, b] = F(b) - F(a). \]

Составим полуалгебру \[ \mathcal{I}_1 = \set{ (-\infty, \infty), (-\infty, a], (a, b], (b, +\infty) }, \quad \text{где} \quad a,b \in \R. \] Введём функцию $P_0$ на полуалгебре. Так как \[ \begin{aligned} & P_0(-\infty, \infty) = F(\infty) - F(-\infty) = 1, \\ & P_0(-\infty, a] = F(a), \\ & P_0(a, b] = F(b) - F(a), \\ & P_0(b, +\infty) = 1 - F(b). \end{aligned} \] Видим, что функция $P_0$ неотрицательна.

Проверим её на конечную аддитивность. Для этого разобьём промежуток $(a,b]$ точкой $c$: \[ (a,b] = (a,c] + (c, b], \qquad c \in (a,b]. \] Тогда \[ \begin{aligned} P_0(a,b] &= F(b) - F(a) \pm F(c) = \\ &= F(c) - F(a) + F(b) - F(c) = \\ &= P_0(a, c] + P_0(c, b]. \end{aligned} \] Аналогично можно проверить конечную аддитивность для любых элементов полуалгебры. По теореме о продолжении меры с полуалгебры на алгебру считаем, что $P_0$ — конечно-аддитивная вероятностная мера на $\alpha(\mathcal{I}_1)$.

Проверим счётную аддитивность $P_0$ на полуалгебре. Пусть \[ (a,b] = \sum\limits_{i=1}^{\infty} (a_i, b_i], \qquad (a_i, b_i] \cap (a_j, b_j] = \varnothing, \quad i \neq j. \] Теперь для любых $\varepsilon_i \gt 0$ и для любого $\delta \gt 0$ имеет место включение \[ [a + \delta, b] \subset \bigcup\limits_{i=1}^{\infty} (a_i, b_i + \varepsilon_i). \] Для компактного множества из любого открытого покрытия можно выделить конечное подпокрытие, поэтому существует номер $m$ такой, что \[ [a + \delta, b] \subset \bigcup\limits_{i=1}^{m} (a_i, b_i + \varepsilon_i), \] тогда \[ (a + \delta, b] \subset \bigcup\limits_{i=1}^{m} \set{ (a_i, b_i] \cup (b_i, b_i + \varepsilon_i] }, \] но в таком случае \[ \begin{aligned} P_0(a + \delta, b] &\leqslant P_0 \left\{ \bigcup\limits_{i=1}^{m} \set { (a_i, b_i] \cup (b_i, b_i + \varepsilon_i] } \right\} \leqslant \\ &\leqslant \sum\limits_{i=1}^{m} \paren{ P_0(a_i, b_i] + P_0(b_i, b_i + \varepsilon_i] } \leqslant \\ &\leqslant \sum\limits_{i=1}^{\infty} P_0(a_i, b_i] + \sum\limits_{i=1}^{\infty} \paren{ F(b_i + \varepsilon_i) - F(b_i) }. \end{aligned} \] Функция $F(x)$ непрерывна справа в каждой точке, следовательно, можно выбрать $\varepsilon_i$ так, чтобы разность $F(b_i + \varepsilon_i) - F(b_i)$ была меньше $\varepsilon / 2^i$. Следовательно, для любого $\varepsilon \gt 0$ и для любого $\delta \gt 0$ справедливо неравенство: \[ P_0(a + \delta, b] = F(b) - F(a + \delta) \leqslant \sum\limits_{i=1}^{\infty} P_0(a_i, b_i] + \varepsilon. \] Можем устремить $\varepsilon$ и $\delta$ к нулю, тогда \[ P_0(a,b] \leqslant \sum\limits_{i=1}^{\infty} P_0(a_i, b_i]. \] С другой стороны, очевидно, что \[ \forall m \qquad \sum\limits_{i=1}^{m} (a_i, b_i] \subset (a,b], \] тогда \[ P_0(a,b] \geqslant \sum\limits_{i=1}^{m} P_0(a_i, b_i]. \] Переходя к пределу при $m \to \infty$, получаем \[ P_0(a,b] \geqslant \sum\limits_{i=1}^{\infty} P_0(a_i, b_i], \] поэтому \[ P_0(a,b] = \sum\limits_{i=1}^{\infty} P_0(a_i, b_i]. \]

Возьмём любое подмножество \[ I \subset \mathcal{I}_1: \qquad I = \bigcup\limits_{n=-\infty}^{+\infty} I \cap (n, n+1]. \] Нетрудно показать, что \[ P_0(I) = \sum\limits_{n=-\infty}^{+\infty} P_0\paren{ I \cap (n, n+1] }. \] Например, рассмотрим множество $I = (b, +\infty)$, тогда \[ \bigcup\limits_{n=-\infty}^{+\infty} \set{ (b, +\infty) \cap (n, n+1] } = (b,l] + \bigcup\limits_{n=l}^{+\infty} (n, n + 1], \qquad l - 1 \leqslant b \lt l. \] Очевидно, что \[ \begin{aligned} \sum\limits_{n=-\infty}^{+\infty} P_0\paren{ I \cap (n, n+1] } &= F(l) - F(b) + \lim\limits_{k \to \infty} \sum\limits_{n=l}^{k} \paren{ F(n+1) - F(n) } = \\ &= \lim\limits_{k \to \infty} \paren{ F(l) - F(b) + F(l+1) - F(l) + \dots + F(k+1) } = \\ &= \lim\limits_{k \to \infty} \paren{ F(k+1) - F(b) } = \\ &= F(\infty) - F(b) = \\ &= 1 - F(b) = \\ &= P_0(I). \end{aligned} \] Аналогично рассматриваются все другие элементы полуалгебры.

Теперь проверим счётную аддитивность меры $P_0$ на полуалгебре. Пусть \[ I = \sum\limits_{k=1}^{\infty} I_k, \qquad I, I_k \in \mathcal{I}_1, \qquad I_k \cap I_n = \varnothing, \quad k \neq n. \] По доказанному ранее получаем: \[ \begin{aligned} P_0(I) &= \sum\limits_{n=-\infty}^{+\infty} P_0\paren{ I \cap (n, n+1] } = \\ &= \sum\limits_{n=-\infty}^{+\infty} P_0\paren{ \bigcup\limits_{k=1}^{+\infty} \paren{ I_k \cap (n, n+1] } } = \\ &= \sum\limits_{n=-\infty}^{+\infty} \sum\limits_{k=1}^{\infty} P_0\paren{ I_k \cap (n, n+1] } = \\ &= \sum\limits_{k=1}^{\infty} \sum\limits_{n=-\infty}^{+\infty} P_0\paren{ I_k \cap (n, n+1] } = \\ &= \sum\limits_{k=1}^{\infty} P_0(I_k). \end{aligned} \] Отсюда следует, что $P_0$ — счётно-аддитивная мера на полуалгебре, поэтому по теореме о продолжении $\sigma$-конечной счётно-аддитивной меры с алгебры на $\sigma$-алгебру она единственным образом продолжается на $\sigma$-алгебру $\sigma(\alpha(\mathcal{I}_1))$.

Каждой вероятностной мере $P$ на $(\R, \bor{})$ соответствует единственная функция распределения $F$ и наоборот.

Отметим ряд важных свойств:

Справедливо равенство: \[ \begin{aligned} P(\set{a}) &= P\left\{ \bigcap\limits_{n=1}^{\infty} \left( a - \frac{1}{n}, a \right] \right\} = \\ &= \lim\limits_{n \to \infty} P\left\{ \left( a - \frac{1}{n}, a \right] \right\} = \\ &= \lim\limits_{n \to \infty} \paren{ F(a) - F\paren{ a - \frac{1}{n} } } = \\ &= F(a) - F(a - 0). \end{aligned} \] Если функция $F(x)$ непрерывна в точке $a$, то $P(\set{a}) = 0$.
Справедливы равенства: \[ \begin{aligned} P(a,b) &= P(a,b] - P(\set{b}) = \\ &= F(b) - F(a) - F(b) + F(b - 0) = \\ &= F(b - 0) - F(a), \\ \\ P[a,b] &= P(\set{a}) + P(a,b] = \\ &= F(a) - F(a - 0) + F(b) - F(a) = \\ &= F(b) - F(a - 0). \end{aligned} \]

Классификация вероятностных мер. Пример Кантора сингулярной функции распределения

Дискретная вероятностная мера

Будем говорить, что мера $P$, заданная на числовой оси, дискретна, если существует не более чем счётная совокупность точек $\set{ a_i }$ таких, что \[ P\set{ a_i } \gt 0, \] причём \[ \sum\limits_{i} P\set{ a_i } = 1. \] Точки $\set{ a_i }$ называются носителями меры.

Так как \[ P\set{ a_i } = F(a_i) - F(a_i - 0) \gt 0, \] то \[ \sum\limits_{i} \paren{ F(a_i) - F(a_i - 0) } = 1, \] тогда функция $F(x)$ может быть только кусочно-постоянной:

Абсолютно непрерывная вероятностная мера

Будем говорить, что вероятностная мера $P$, заданная на $(\R, \bor{})$, абсолютно непрерывна относительно меры Лебега (или просто абсолютно непрерывна), если существует функция $f(x) \geqslant 0$ такая, что \[ \forall B \in \bor{} \qquad P(B) = \int\limits_{B} f(x) dx. \] Неотрицательную функцию $f(x)$ называют плотностью вероятностной меры $P$ относительно меры Лебега.

Если $B = (-\infty, x]$, то $P(B) = F(x)$, поэтому \[ F(x) = \int\limits_{-\infty}^{x} f(t) dt. \] Нетрудно показать, что эти формулы эквивалентны.

Важное свойство интеграла Лебега заключается в том, что если мы изменим под знаком интеграла подынтегральную функцию на множестве меры 0, то интеграл от этого никак не изменится.

Монотонные функции почти всюду дифференцируемы и почти всюду имеет место равенство \[ F'(x) \overset{\text{п.в.}}{=} f(x). \] Если для любого $x \in \R$ функция $f(x)$ неотрицательна и \[ \int\limits_{-\infty}^{\infty} f(x) dx = 1, \] то \[ \int\limits_{-\infty}^{x} f(t) dt \] — функция распределения на $\R$, которой взаимно однозначно соответствует мера $P$ такая, что \[ P(B) = \int\limits_{B} f(x) dx. \]

Сингулярная мера

Пусть $F(x)$ — некоторая произвольная функция распределения на $\R$. Будем говорить, что точка $z$ — точка роста функции $F(x)$, если \[ \forall \varepsilon \gt 0 \qquad F(z + \varepsilon) - F(z - \varepsilon) \gt 0. \]

Будем говорить, что непрерывная функция распределения $F(x)$ сингулярна, если множество точек роста имеет меру Лебега равную нулю. Вероятностная мера, взаимно однозначно соответствующая сингулярной функции распределения, также называется сингулярной.

Для сингулярной функции выполняется соотношение \[ F'(x) \overset{\text{п.в.}}{=} 0, \] но тогда \[ F(x) \neq \int\limits_{-\infty}^{x} F'(x) dx, \] при этом $F(x)$ непрерывна. Отсюда следует, что функция распределения не восстанавливается по своей производной.

(пример Кантора сингулярной функции распределения).

Кусочно-линейная непрерывная функция $F_0(x)$ представлена графиком:

Непрерывная функция распределения $F_1(x)$ равна нулю левее точки $x = 0$ и равна 1 правее точки $x = 1$. Отрезок $[0,1]$ делим на 3 равные части. Значение функции внутри среднего интервала постоянно и равно среднему арифметическому ближайших слева и справа уже заданных значений:

Таким образом определим функцию $F_1(x)$ на отрезке $[0,1]$ следующим образом: \[ F_1(x) = \begin{cases} 0, & x = 0, \\ \frac{1}{2}, & x \in \paren{\frac{1}{3}, \frac{2}{3}}, \\ 1, & x = 1, \end{cases} \] доопределяя её в остальных точках отрезка $[0,1]$ с помощью линейной интерполяции.

Далее каждый из отрезков $[0, 1/3]$ и $[2/3, 1]$ также разбиваем на три части по вышеописанному правилу, определяем функцию: \[ F_2(x) = \begin{cases} 0, & x = 0, \\ \frac{1}{4}, & x \in \paren{ \frac{1}{9}, \frac{2}{9} }, \\ \frac{1}{2}, & x \in \paren{ \frac{1}{3}, \frac{2}{3} }, \\ \frac{3}{4}, & x \in \paren{ \frac{7}{9}, \frac{8}{9} }, \\ 1, & x = 1, \end{cases} \] доопределяя её в остальных точках отрезка $[0,1]$ с помощью линейной интерполяции.

Таким образом строится последовательность функций распределения $F_n(x)$. Все функции $F_n(x)$ непрерывны. Для любого $x$ последовательность $F_n(x)$ сходится в себе, то есть для любого $\varepsilon \gt 0$ существует номер $n_0$ такой, что для любых $n \gt n_0, \; m \gt n_0$ справедливо неравенство: \[ \abs{F_n(x) - F_m(x)} \lt \varepsilon. \] Иначе: существует предел \[ \lim\limits_{n \to \infty} F_n(x) = F(x). \] В данном случае сходимость не только поточечная, но и равномерная: \[ \sup_x \abs{F(x) - F_n(x)} \limto{n \to \infty} 0. \] Следовательно, предельная функция $F(x)$ — непрерывная функция распределения на числовой оси.

Проанализируем участки функции внутри отрезка $[0,1]$, где она является постоянной: \[ \begin{aligned} \frac{1}{3} + \frac{2}{9} + \frac{4}{27} + \dots &= \frac{1}{3} \paren{ 1 + \frac{2}{3} + \paren{ \frac{2}{3} }^2 + \dots } = \\ &= \frac{1}{3} \frac{1}{\paren{1 - \frac{2}{3}}} = 1 \end{aligned} \] Таким образом, суммарная длина участков, содержащихся в $[0,1]$, на которых функция $F(x)$ является постоянной, равна 1. Производная функции $F(x)$ почти всюду существует и почти всюду равна нулю.

Заключаем, что функция $F(x)$ является сингулярной функцией распределения.

(Лебега).

Любая функция распределения $F(x)$ на числовой прямой представима в виде \[ F(x) = p_1 F_1(x) + p_2 F_2(x) + p_3 F_3(x), \] где

$p_1 + p_2 + p_3 = 1$, причём $p_1, p_2, p_3 \geqslant 0$.
$F_1(x)$ — кусочно-постоянная функция распределения;
$F_2(x)$ — абсолютно-непрерывная функция распределения;
$F_3(x)$ — сингулярная функция распределения.

Конечномерное вероятностное пространство

Рассмотрим вероятностное пространство $(\R^n, \bor{n}, P)$. Для любого $B \in \bor{n}$ задана вероятность $P(B)$. Возьмём в качестве $B$ множество специального вида: \[ B = (-\infty, x_1] \times \dots \times (-\infty, x_n]. \] Таким образом, определена функция \[ F(x_1, \dots, x_n) = P(B). \]

Функция $F(x_1, \dots, x_n)$ называется функцией распределения, соответствующей вероятностной мере $P$ в пространстве $\R^n$.

Для выяснения свойств этой функции введём разностный оператор: \[ \begin{aligned} \Delta_{a_i, b_i}^{(i)} h(x_1, \dots, x_n) &=\phantom{-} h(x_1, \dots, x_{i-1}, b_i, x_{i+1}, \dots, x_n) - \\ &\phantom{=}- h(x_1, \dots, x_{i-1}, a_i, x_{i+1}, \dots, x_n). \end{aligned} \]

Последовательно применим разностный оператор (каждый по своей оси), тогда \[ \Delta_{a_1,b_1}^{(1)} \Delta_{a_2,b_2}^{(2)} \cdots \Delta_{a_n,b_n}^{(n)} F(x_1, \dots, x_n) \geqslant 0, \] где $a_i \lt b_i, \; i = \overline{1,n}$.
Рассмотрим случай $n = 2$, то есть $\Delta_{a_1,b_1}^{(1)} \Delta_{a_2,b_2}^{(2)} F(x_1, x_2)$. Имеют место равенства: \[ \begin{aligned} F(x_1, b_2) &= P\set{ (-\infty, x_1] \times (-\infty, b_2] }, \\ F(x_1, a_2) &= P\set{ (-\infty, x_1] \times (-\infty, a_2] }, \end{aligned} \] поэтому \[ \Delta_{a_2, b_2}^{(2)} F(x_1, x_2) = P\set{ (-\infty, x_1] \times (a_2, b_2] }. \] Аналогично выводится, что \[ \Delta_{a_1, b_1}^{(1)} \Delta_{a_2, b_2}^{(2)} F(x_1, x_2) = P\set{ (a_1, b_1] \times (a_2, b_2] } \geqslant 0. \]
Функция $F(x)$ непрерывна справа в любой точке по всем аргументам. Для любого $y = (y_1, \dots, y_n)$ имеет место равенство: \[ \lim_{\forall i: \; x_i \to y_i + 0} F(x_1, \dots, x_n) = F(y_1, \dots, y_n). \]
Рассмотрим множество \[ A_m = (-\infty, x_1(m)] \times \cdots \times (-\infty, x_n(m)], \] где последовательности выбраны следующим образом: \[ \begin{aligned} x_1(m) &\to y_1 + 0, \\ &\vdots \\ x_n(m) &\to y_n + 0. \end{aligned} \] Пусть \[ A = (-\infty, y_1] \times \cdots \times (-\infty, y_n]. \] Из построения очевидно, что \[ A_{m+1} \subset A_m, \qquad A = \bigcap\limits_{m=1}^{\infty} A_m. \] По свойству непрерывности \[ P(A_m) \limto{m \to \infty} P(A), \] то есть \[ F(x_1(m), \dots, x_n(m)) \limto{m \to \infty} F(y). \]
Справедливы утверждения: если существует $x_i \to -\infty$, то \[ \lim_{\forall i: \; x_i \to +\infty} F(x_1, \dots, x_n) = 1 \] и \[ \lim_{\exists i: \; x_i \to -\infty} F(x_1, \dots, x_n) = 0. \]
Пусть выбраны следующие последовательности: \[ x_1(m) \to +\infty, \quad \dots, \quad x_n(m) \to +\infty. \] Рассмотрим множества \[ A_m = (-\infty, x_1(m)] \times \cdots \times (-\infty, x_n(m)]. \] Очевидно, что \[ A_m \subset A_{m+1}, \qquad \bigcup\limits_{m=1}^{\infty} A_m = \R^n, \qquad P(A_m) \limto{m \to \infty} 1. \]
Докажем теперь второе утверждение. Зафиксируем все аргументы, кроме одного. Пусть \[ x_i(m) \limto{m \to \infty} -\infty. \] Рассмотрим множества \[ \begin{aligned} A_m &= (-\infty, x_1] \times \cdots \times \\ &\phantom{=}\times (-\infty, x_{i-1}] \times (-\infty, x_i(m)] \times (-\infty, x_{i+1}] \times \cdots \times \\ &\phantom{=}\times (-\infty, x_n]. \end{aligned} \] Очевидно, что \[ A_{m+1} \subset A_m, \qquad \bigcap\limits_{m=1}^{\infty} A_m = \varnothing, \] тогда \[ P(A_m) \limto{m \to \infty} 0. \]

Любая функция от $n$ аргументов, удовлетворяющая свойствам 1-3, называется функцией распределения в $\R^n$.

Пусть $F(x_1, \dots, x_n)$ — функция распределения в $\R^n$, тогда существует и единственна вероятностная мера $P$ на $(\R^n, \bor{n})$ такая, что для любых $a = (a_1, \dots, a_n)$ и $b = (b_1, \dots, b_)$ таких, что \[ a_i \lt b_i, \quad i = \overline{1,n}, \] выполняется равенство \[ P\left\{ (a_1, b_1] \times \dots \times (a_n, b_n] \right\} = \Delta_{a_1, b_1}^{(1)} \dots \Delta_{a_n, b_n}^{(n)} F(x), \] где $x = (x_1, \dots, x_n)$.

Доказательство аналогично доказательству соответствующей теоремы на прямой. (какой?)

Пусть $F_1(x), \dots, F_n(x)$ — произвольные функции распределения на числовой прямой $\R$, тогда \[ F(x_1, \dots, x_n) = F_1(x_1) \cdot \ldots \cdot F_n(x_n) \] является функцией распределения в пространстве $\R^n$.

Классификация мер

Дискретная вероятностная мера
Будем говорить, что мера $P$ на $(\R^n, \bor{n})$ дискретна, если существует не более чем счётное множество $\set{ z_i = (z_{1i}, \dots, z_{ni}) }$ такое, что \[ P\set{ z_i } \gt 0, \qquad \sum\limits_{i} P(z_i) = 1. \]
Абсолютно непрерывная мера относительно меры Лебега
Будем говорить, что вероятностная мера $P$ абсолютно непрерывна относительно меры Лебега в $\R^n$, если существует плотность, то есть существует $f(x) \geqslant 0$ такая, что \[ \forall B \in \bor{n} \qquad P(B) = \int\limits_{B} f(x) dx, \] где $x = (x_1, \dots, x_n)$.

Возьмём множество \[ B = (-\infty, x_1] \times \cdots \times (-\infty, x_n]. \] Тогда для любого $x \in \R^n$ выполнено равенство: \[ \int\limits_{-\infty}^{x_1} \cdots \int\limits_{-\infty}^{x_n} f(t_1, \dots, t_n) dt_1 \dots dt_n = F(x_1, \dots, x_n). \] Нетрудно показать, что можно дать эквивалентное определение плотности, опираясь на это выражение.

Если для некоторой функции $f(x) \geqslant 0$ справедливо равенство \[ \int\limits_{-\infty}^{x_1} \cdots \int\limits_{-\infty}^{x_n} f(t_1, \dots, t_n) dt_1 \dots dt_n = F(x_1, \dots, x_n), \] где $F(x)$ — функция распределения в $\R^n$, соответствующая мере $P$, то $f(x)$ — плотность меры $P$ относительно меры Лебега.

Рассмотрим выражение \[ \int\limits_{-\infty}^{x_1} \cdots \int\limits_{-\infty}^{x_n} f(t_1, \dots, t_n) dt_1 \dots dt_n = F(x_1, \dots, x_n). \] Производная по верхнему пределу почти всюду существует и почти всюду совпадает со значениями $f$ в точке: \[ \frac{d^n F(x)}{dx_1 \dots dx_n} \overset{\text{п.в.}}{=} f(x_1, \dots, x_n). \]

Распределения случайных величин

Случайной величиной, заданной на вероятностном пространстве $(\Omega, \mathcal{F}, P)$, или $\mathcal{F}$-измеримой числовой функцией называется функция \[ \xi: \Omega \to \R \] такая, что \[ \forall B \in \bor{} \qquad \xi^{-1}(B) = \set{ \omega: \xi(\omega) \in B } \in \mathcal{F}, \] то есть полный прообраз любого борелевского множества содержится в $\sigma$-алгебре $\mathcal{F}$.

Пусть $B \in \bor{}$ — некоторое борелевское множество. Рассмотрим \[ \xi^{-1}(B) = \set{ \omega: \xi(\omega) \in B } = \set{ \xi \in B }. \] Можно говорить о вероятности \[ P(\xi^{-1}(B)) = P(\xi \in B), \] так как полный прообраз $\xi^{-1}(B)$ содержится в $\sigma$-алгебре $\mathcal{F}$.

Определим функцию $P_\xi(B)$ как функцию аргумента $B \in \bor{}$ следующим образом: \[ P_\xi(B) = P(\xi^{-1}(B)) = P\set{ \xi \in B }. \]

Функция $P_\xi$, определённая равенством \[ P_\xi(B) = P\set{ \xi \in B } \] на $\sigma$-алгебре борелевских множеств, называется вероятностным распределением случайной величины $\xi$.

$P_\xi(\cdot)$ представляет собой вероятностную меру на борелевской прямой $\paren{ \R, \bor{} }$.

Проверим свойства вероятностной меры:

$P_\xi(\R) = P(\xi^{-1}(B)) = P(\Omega) = 1$.
Неравенство $P_\xi(B) \geqslant 0$ следует из определения.
Пусть $B_1, B_2 \in \bor{}$, причём $B_1 \cap B_2 = \varnothing$. Тогда \[ \xi^{-1}(B_1 \cup B_2) = \xi^{-1}(B_1) \cup \xi^{-1}(B_2), \] причём \[ \xi^{-1}(B_1) \cap \xi^{-1}(B_2) = \varnothing. \] Следовательно, справедливы равенства: \[ \begin{aligned} P_\xi(B_1 \cup B_2) &= P\left\{ \xi^{-1}(B_1 \cup B_2) \right\} = \\ &= P\left\{ \xi^{-1}(B_1) \cup \xi^{-1}(B_2) \right\} = \\ &= P\left\{ \xi^{-1}(B_1) \right\} + P\left\{ \xi^{-1}(B_2) \right\} = \\ &= P_\xi(B_1) + P_\xi(B_2). \end{aligned} \] Таким образом, распределение $P_\xi$ — конечно-аддитивная вероятностная мера.
Рассмотрим последовательность $\set{ B_k }$ такую, что \[ B_k \in \bor{}, \qquad B_k \cap B_m = \varnothing, \quad k \neq m. \] Повторяя рассуждения из предыдущего пункта, получаем, что \[ P_\xi\paren{ \bigcup\limits_{k=1}^{\infty} B_k } = \sum\limits_{k=1}^{\infty} P_\xi (B_k). \] Таким образом, $P_\xi$ — счётно-аддитивная вероятностная мера.

Из определения случайной величины и того факта, что $P_\xi$ — вероятностная мера, следует, что функции $P_\xi(B)$ взаимно однозначно соответствует функция $F_\xi(x)$. Если взять в качестве $B = (-\infty, x]$, то \[ P_\xi (-\infty, x] = P\left\{ \xi \in (-\infty, x] \right\} = P\set{ \xi \leqslant x } = F_\xi(x). \] Таким образом, можно перейти от вероятностного распределения случайной величины $\xi$ к её функции распределения.

Функцией распределения случайной величины $\xi$ будем называть функцию \[ F_\xi(x) = P\set{ \xi \leqslant x }. \]

Она обладает следующими свойствами:

Монотонность: \[ x_1 \lt x_2 \implies F_\xi(x_1) \leqslant F_\xi(x_2). \]
Непрерывность справа: \[ \forall x \in \R \qquad F_\xi(y) \limto{y \to x, \; y \gt x} F_\xi(x). \]
Имеют место сходимости: \[ F_\xi(x) \limto{x \to +\infty} 1, \qquad F_\xi(x) \limto{x \to -\infty} 0. \]

Пусть $F_\xi(x)$ — функция распределения случайной величины $\xi$, тогда для любых двух точек $a \lt b$ выполняется равенство \[ F_\xi(b) - F_\xi(a) = P\set{ a \lt \xi \leqslant b }. \]

Любая точка на числовой прямой является борелевским множеством. Имеет место равенство: \[ P\set{ \xi = a } = F_\xi(a) - F_\xi(a - 0). \]

Справедливы равенства: \[ \begin{aligned} P\set{ a \leqslant \xi \leqslant b } &= F_\xi(b) - F_\xi(a - 0), \\ P\set{ a \lt \xi \lt b } &= F_\xi(b - 0) - F_\xi(a). \end{aligned} \]

Пусть $F(x)$ — произвольно выбранная функция распределения на $\R$, тогда существует случайная величина $\xi$ такая, что \[ \forall x \in R \qquad F_\xi(x) \equiv F(x). \]

Рассмотрим $\Omega = \R, \mathcal{F} = \bor{}, \xi(\omega) \equiv \omega$. Каждой функции распределения $F(x)$ взаимно-однозначно соответствует вероятностная мера $P$. Итак, определили $(\Omega, \mathcal{F}, P) = (\R, \bor{}, P)$. Таким образом, для любого $x$ справедливы равенства: \[ \begin{aligned} F_\xi(x) &= P\set{ \xi \leqslant x } = \\ &= P\set{ \xi^{-1}(-\infty, x] } = \\ &= P(-\infty, x] = \\ &= F(x). \end{aligned} \]

В большинстве прикладных задач требуется знать только закон распределения случайной величины без задания самой функции $\xi(\omega)$.

Будем говорить, что случайная величина $\xi$ дискретна если её распределение представляет собой дискретную вероятностную меру на $\R$, то есть существует не более чем счётная совокупность $\set{ z_i }$ такая, что \[ P_\xi(z_i) = P\set{ \xi = z_i } \gt 0 \quad \text{и} \quad \sum\limits_{i} P\set{ \xi = z_i } = 1. \]

Из определения следует, что $F_\xi(x)$ — кусочно-постоянная функция: \[ P_\xi(z_i) = F_\xi(z_i) - F_\xi(z_i - 0) \gt 0, \qquad \sum\limits_{i} \paren{ F_\xi(z_i) - F_\xi(z_i - 0) } = 1. \]

Если число слагаемых в сумме конечно, то случайная величина называется простой. Её можно записать в следующем виде: \[ \xi(\omega) = \sum\limits_{i=1}^{m} z_i I \set{ \omega \in A_i }, \] где \[ A_i \in \mathcal{F}, \qquad A_i \cap A_j = \varnothing, \qquad A_i \in \Omega, \] а $I\set{ \omega \in A_i }$ — индикатор множества $A_i$: \[ I\set{ \omega \in A_i } = \begin{cases} 1, & \omega \in A_i, \\ 0, & \omega \not \in A_i. \end{cases} \]

Если $A_i = \xi^{-1}(z_i)$, то $z_i \neq z_j$ для всех $i \neq j$. Может оказаться так, что $A_i$ будет разбито на подмножества, например, так: \[ A_1 = D_1 + D_2 + D_3, \qquad D_1,D_2,D_3 \in \mathcal{F}, \qquad D_i \cap D_j = \varnothing. \] Тогда \[ I(D_1 + D_2 + D_3) = I(D_1) + I(D_2) + I(D_3), \] поэтому, вообще говоря, коэффициенты $z_i$ могут совпадать.

Будем говорить, что распределение $P_\xi(\cdot)$ случайной величины $\xi$ абсолютно непрерывно относительно меры Лебега, если существует функция $f_\xi(x)$ такая, что \[ \forall x \in \R \qquad f_\xi(x) \geqslant 0, \] а для любого $B \in \bor{}$ выполнено: \[ P_\xi(B) = \int\limits_{B} f_\xi(x) dx. \] Функцию $f_\xi(x)$ называют плотностью распределения случайной величины $\xi$ относительно меры Лебега.

Из определения следует, что если $B = (-\infty, x]$, то справедливо равенство \[ F_\xi(x) = \int\limits_{-\infty}^{x} f_\xi(y) dy. \]

Плотность распределения определяется единственным образом с точностью до множеств Лебега меры нуль по формуле \[ \dv{F_\xi(x)}{x} \overset{\text{п.в.}}{=} f_\xi(x). \] Функция распределения $F_\xi(x)$ называется абсолютно непрерывной функцией, если у неё существует плотность распределения относительно меры Лебега.

Для того чтобы задать абсолютно непрерывное распределение случайной величины, достаточно задать плотность распределения $f_\xi(x) \geqslant 0$ такую, что \[ \int\limits_{-\infty}^{\infty} f_\xi(x) dx = 1. \]

Распределение Бернулли: случайная величина принимает значения 0 или 1: \[ \xi = 0 \cdot I(\overline{A}) + 1 \cdot I(A) = I(A), \] где \[ P_\xi(1) = p, \qquad P_\xi(0) = 1 - p = q. \]

Биномиальное распределение: случайная величина принимает значение, равное числу успехов в серии из $n$ независимых испытаний Бернулли: \[ P\set{ \xi = m } = C_n^m p^m q^{n - m}, \qquad m = 0, 1, \dots, n. \]

Распределение Пуассона: случайная величина $\xi$ распределена по закону Пуассона: \[ P\set{ \xi = m } = \frac{\lambda^m}{m!} e^{-\lambda}, \qquad \lambda \gt 0, \quad m = 0, 1, \dots \]

Стандартное нормальное распределение $N(0,1)$ с плотностью распределения: \[ f_\xi(x) = \frac{1}{\sqrt{2 \pi}} e^{- \frac{x^2}{2} }, \qquad x \in \R. \]

Нормальное распределение $N(a, \sigma^2)$, где $a \in \R$ и $\sigma \gt 0$. Рассмотрим случайную величину $\eta = a + \sigma \xi$, где случайная величина подчиняется стандартному нормальному распределению. Тогда функция распределения случайной величины $\eta$ может быть определена так: \[ \begin{aligned} F_\eta(x) &= P\set{ \eta \leqslant x } = \\ &= P\set{ a + \sigma \xi \leqslant x } = \\ &= P\left\{ \xi \leqslant \frac{x - a}{\sigma} \right\} = \\ &= F_\xi\paren{ \frac{x - a}{\sigma} }. \end{aligned} \] Функция плотности распределения случайной величины $\eta$: \[ \begin{aligned} f_\eta(x) &= F_\eta'(x) = \\ &= \frac{1}{\sigma} F_\xi'\paren{ \frac{x - a}{\sigma} } = \\ &= \frac{1}{\sigma} f_\xi \paren{ \frac{x - a}{\sigma} } = \\ &= \frac{1}{\sqrt{2 \pi} \sigma} e^{- \frac{(x - a)^2}{2\sigma^2} }. \end{aligned} \]

Будем говорить, что случайная величина $\xi$ подчиняется гамма-распределению $G(\lambda, p)$ с параметрами $\lambda, p$, если плотность распределения имеет следующий вид: \[ f_\xi(x) = \begin{cases} \frac{\lambda^p x^{p-1}}{\Gamma(p)} e^{- \lambda x}, & \text{если } x \gt 0, \\ 0, & \text{если } x \leqslant 0, \end{cases} \] где $\lambda$ — параметр масштаба, а $p$ — параметр формы: \[ \lambda, p \gt 0, \qquad \Gamma(p) = \int\limits_{0}^{\infty} x^{p-1} e^{-x} dx. \]

Экспоненциальное распределение является частным случаем гамма-распределения при $p = 1$: \[ f_\xi(x) = \begin{cases} \lambda e^{-\lambda x}, & \text{если } x \gt 0, \\ 0, & \text{если } x \leqslant 0. \end{cases} \]

Бета-распределение с параметрами $p_1, p_2$. Плотность распределения имеет вид \[ f_\xi(x) = \begin{cases} \frac{x^{p_1 - 1} (1 - x)^{p_2 - 1}}{B(p_1, p_2)}, & \text{если } x \in (0,1), \\ 0, & \text{если } x \not \in (0,1) \end{cases} \] где $\beta$-функция определяется как \[ B(p_1, p_2) = \int\limits_{0}^{1} x^{p_1 - 1} (1 - x)^{p_2 - 1} dx, \qquad p_1 \gt 0, \quad p_2 \gt 0. \]

Равномерное распределение является частным случаем бета-распределения при $p_1 = p_2 = 1$. Плотность распределения: \[ f_\xi(x) = \begin{cases} 1, & \text{если } x \in [0,1], \\ 0, & \text{если } x \not \in [0,1]. \end{cases} \]

Свойство измеримости

Рассмотрим вероятностное пространство $(\Omega, \mathcal{F}, P)$ и случайную величину $\xi: \Omega \to \R$. Пусть функция $\xi(\omega)$ является $\mathcal{F}$-измеримым отображением, то есть \[ \forall B \in \bor{} \qquad \xi^{-1}(B) \in \mathcal{F}. \]

Будем называть функцию $h: \R^k \to \R^l$ борелевской, если \[ \forall B \in \bor{l} \qquad h^{-1}(B) \in \bor{k}. \]

Пусть $\mathcal{M}$ — семейство множеств на числовой прямой $\R$ такое, что $\sigma(\mathcal{M}) = \bor{}$. Для того чтобы функция $\xi: \Omega \to \R$ была $\mathcal{F}$-измеримой, необходимо и достаточно, чтобы \[ \forall C \in \mathcal{M} \qquad \xi^{-1}(C) \in \mathcal{F}. \]

Очевидно, что если $\sigma(\mathcal{M}) = \bor{}$, то $\mathcal{M} \subset \bor{}$, тогда для любого $C \in \mathcal{M}$ имеет место включение $\xi^{-1}(C) \in \mathcal{F}$.

Рассмотрим семейство множеств \[ \mathcal{D} = \set{ A \in \bor{}: \xi^{-1}(A) \in \mathcal{F} }, \qquad \mathcal{M} \subset \mathcal{D} \subset \bor{}. \] Нетрудно доказать, что \[ \xi^{-1}\paren{ \bigcup\limits_{i} T_i } = \bigcup\limits_{i} \xi^{-1}(T_i), \qquad \xi^{-1}\paren{ \bigcap\limits_{i} T_i } = \bigcap\limits_{i} \xi^{-1}(T_i), \qquad \xi^{-1}(\overline{T}) = \overline{\xi^{-1}(T)}. \] Отсюда следует, что система множеств $\mathcal{D}$ представляет собой $\sigma$-алгебру, и, следовательно, $\mathcal{D} = \bor{}$.

Справедливо равенство: \[ \sigma\set{ (-\infty, a], \; a \in \R } = \bor{}. \]

Пусть на вероятностном пространстве $(\Omega, \mathcal{F}, P)$ задана случайная величина $\xi(\omega)$ и борелевская функция $h: \R \to \R$. Тогда $\eta(\omega) = h(\xi(\omega))$ — $\mathcal{F}$-измеримая числовая функция, то есть случайная величина.

Очевидно, что $\eta: \Omega \to \R$. Для произвольного борелевского множества $B \in \bor{}$ выполнено \[ \eta^{-1}(B) = \xi^{-1}(h^{-1}(B)) \in \mathcal{F}. \]

Из леммы следует, что элементарные функции от случайных величин являются случайными величинами. Если для люьго $\omega \in \Omega$ существует предел \[ \lim\limits_{n \to \infty} \xi_n(\omega) = \xi(\omega), \] где $\xi_n(\omega)$ — $\mathcal{F}$-измеримые функции, то $\xi(\omega)$ также является $\mathcal{F}$-измеримой функцией.

Семейство полных прообразов $\xi^{-1}(B)$, где $B \in \bor{}$, является $\sigma$-алгеброй.

Проверим замкнутость относительно операций объединения и дополнения:

$\xi^{-1}(\R) = \Omega$.
Рассмотрим счётные или конечные совокупности борелевских множеств $\set{ B_i }$. Тогда справедливо \[ \xi^{-1}\paren{ \bigcup\limits_{i} B_i } = \bigcup\limits_{i} \xi^{-1}(B_i), \quad \text{причём} \quad \bigcup\limits_{i} B_i \in \bor{}, \] следовательно, \[ \xi^{-1}\paren{ \bigcup\limits_{i} B_i } \in \mathcal{F}. \]
$\overline{\xi^{-1}(B)} = \xi^{-1}(\overline{B})$.

Таким образом, это семейство является $\sigma$-алгеброй, которая содержится в $\mathcal{F}$.

$\sigma$-алгебру $\sigma_\xi = \set{ \xi^{-1}(B), \; B \in \bor{} }$ будем называть сигма-алгеброй, порождённой случайной величиной $\xi$.

Случайные элементы со значениями в конечномерном пространстве

В дальнейшем будем говорить о $\sigma$-алгебре борелевских множеств $\bor{n}$ в пространстве $\R^k$, то есть о \[ \sigma\set{ (a_1, b_1] \times (a_2, b_2] \times \dots \times (a_k, b_k] } = \bor{k}. \] К этой $\sigma$-алгебре можно прийти другим способом: пусть \[ B_1 \in \mathcal{B}(\R_1), \quad B_2 \in \mathcal{B}(\R_2), \quad \dots, \quad B_n \in \mathcal{B}(\R_k), \] тогда \[ \sigma\set{ B_1 \times B_2 \times \dots \times B_n } = \bor{k}. \]

Построенную $\sigma$-алгебру называют прямым произведением $n$ $\sigma$-алгебр и обозначают \[ \bor{k} = \mathcal{B}(\R_1) \otimes \mathcal{B}(\R_2) \otimes \dots \otimes \mathcal{B}(\R_k). \]

Отображение $\xi: \Omega \to \R^k$ будем называть $\mathcal{F}$-измеримым (или случайным вектором), если \[ \forall B \in \bor{k} \qquad \xi^{-1}(B) \in \mathcal{F}. \]

По аналогии со скалярным случаем определим вероятностное распределение случайного вектора $\xi$ или совместное распределение случайных величин $\xi_1, \dots, \xi_n$: \[ P\set{ \xi^{-1}(B) } = P\set{ \xi \in B } = P_\xi(B). \] Совместное распределение случайных величин $\xi_1, \dots, \xi_k$ определено на $\sigma$-алгебре $\bor{k}$. Как и в скалярном случае, совместное распределение является вероятностной мерой $P_\xi(\cdot)$ на $\R^k, \bor{k}$.

Пусть на вероятностном пространстве $(\Omega, \mathcal{F}, P)$ задано отображение $\xi: \Omega \to \R$. Для $\mathcal{F}$-измеримости отображения $\xi$ необходимо и достаточно, чтобы для любого $c \in \mathcal{M}$ такого, что $\sigma(c) = \bor{k}$, выполнялось \[ \xi^{-1}(c) \in \mathcal{F}. \]

Пусть $\varphi: \R^k \to \R^m$ — борелевская функция, тогда если \[ \xi(\omega) = \paren{ \xi_1(\omega), \dots, \xi_k(\omega) }^T \] — случайный вектор, то $\varphi(\xi(\omega))$ — случайный вектор.

Пусть $F(x_1, \dots, x_k)$ — произвольная функция распределения в $\R^k$. Тогда существует случайный вектор $\xi(\omega)$, заданный на некотором вероятностном пространстве $(\Omega, \mathcal{F}, P)$, такой, что \[ F_{\xi_1, \dots, \xi_k}(x_1, \dots, x_k) \equiv F(x_1, \dots, x_k). \]

Семейство полных прообразов $\xi^{-1}(B)$, где $B \in \bor{k}$, является $\sigma$-алгеброй.

$\sigma$-алгебру \[ \sigma_\xi = \set{ \xi^{-1}(B), \; B \in \bor{k} } \] называют $\sigma$-алгеброй, порождённой случайным вектором $\xi$.

Рассмотрим случайный вектор \[ \xi(\omega) = \paren{ \xi_1(\omega), \dots, \xi_k(\omega) }^T, \qquad \xi_l(\omega): \Omega \to \R. \] Заметим, что для произвольного $B \in \bor{}$ справедливо равенство \[ \begin{aligned} \xi_l^{-1}(B) &= \xi_1^{-1}(\R) \cap \dots \cap \xi_{l-1}^{-1}(\R) \cap \xi_l^{-1}(B) \cap \xi_{l+1}^{-1}(\R) \cap \dots \cap \xi_k^{-1}(\R) = \\ &= \xi^{-1}(\R \times \dots \times \R \times B \times \R \times \dots \times \R) \in \mathcal{F}. \end{aligned} \] Таким образом, любая проекция случайной величины является случайной величиной.

Верно и обратное: пусть $\eta_1(\omega), \dots, \eta_k(\omega)$ — случайные величины, заданные на вероятностном пространстве $(\Omega, \mathcal{F}, P)$, тогда \[ \eta(\omega) = \paren{ \eta_1(\omega), \dots, \eta_k(\omega) }^T \] является случайным элементом со значениями в $\R^k$.

Функции распределения в конечномерных пространствах

Рассмотрим конечномерное вероятностное пространство $(\R^k, \bor{k}, P_\xi)$.

Совместной функцией распределения случайных величин $\xi_1, \dots, \xi_k$ (функцией распределения вектора $\xi$) называется функция \[ \begin{aligned} F_{(\xi_1, \dots, \xi_k)}(x_1, \dots, x_k) &= F_\xi(x) = \\ &= P_\xi\paren{(-\infty, x_1] \times \dots \times (-\infty, x_k]} = \\ &= P\set{ \xi_1 \leqslant x_1, \dots, \xi_k \leqslant x_k }. \end{aligned} \]

Будем говорить, что распределение $P_\xi(\cdot)$ случайного вектора $\xi$ в пространстве $(\R^k, \bor{k})$ абсолютно непрерывно относительно меры Лебега, если существует функция $f_\xi(x)$ такая, что \[ \forall x \in R^k \qquad f_\xi(x) \geqslant 0, \] и для любого $B \in \bor{k}$ выполняется \[ P_\xi(B) = \int\limits_{B} f_\xi(x) dx. \]

Функцию $f_\xi(x)$ называют совместной плотностью распределения случайных величин $\xi_1, \dots, \xi_k$.

Выберем множество \[ B = (-\infty, x_1] \times \dots \times (-\infty, x_k], \] тогда справедливо равенство \[ \begin{aligned} P\set{ (-\infty, x_1] \times \dots \times (-\infty, x_k] } &= F_\xi(x_1, \dots, x_k) = \\ &= \int\limits_{-\infty}^{x_1} \dots \int\limits_{-\infty}^{x_k} f(y_1, \dots, y_k) dy_1 \dots dy_k. \end{aligned} \]

Переходя к повторному интегрированию, используя свойства интеграла Лебега с переменным верхним пределом, получаем: \[ \frac{\partial^k F_\xi(x_1, \dots, x_k)}{\partial x_1 \dots \partial x_k} \overset{\text{п.в.}}{=} f_\xi(x). \]

Ранее было показано взаимно однозначное соответствие между вероятностными мерами и функциями распределения в конечномерных пространствах.

Установим ещё одно свойство.

Пусть задана функция распределения $F_\xi(x)$. Выберем совокупность аргументов $x_{l+1}, \dots, x_k$ и устремим каждый из них к бесконечности, тогда имеет место сходимость \[ F_{(\xi_1, \dots \xi_k)}(x_1, \dots, x_k) \limto{x_{l+1} \to \infty, \dots, x_k \to \infty} F_{(\xi_1, \dots, \xi_l)}(x_1, \dots, x_l), \] где \[ \begin{aligned} F_{(\xi_1, \dots, \xi_k)}(x_1, \dots, x_k) &= P\set{ \xi_1 \leqslant x_1, \dots, \xi_k \leqslant x_k } = \\ &= P\set{ \xi_1^{-1}(-\infty, x_1] \cap \dots \cap \xi_k^{-1}(-\infty, x_k] }. \end{aligned} \]

Выберем произвольные числовые последовательности $x_{l+1}(n), \dots, x_k(n) \to \infty$ и подставим их вместо $x_{l+1}, \dots, x_k$ в выражение для функции распределения, тогда под знаком вероятности получим возрастающие последовательности: \[ P_\xi\set{ (-\infty, x_1] \times \dots \times (-\infty, x_l] \times (-\infty, x_{l+1}(n)] \times \dots \times (-\infty, x_k(n)] }. \] Введём обозначение: \[ A_n = (-\infty, x_1] \times \dots \times (-\infty, x_l] \times (-\infty, x_{l+1}(n)] \times \dots \times (-\infty, x_k(n)]. \] Очевидно, что $A_n \subset A_{n+1}$, тогда в силу непрерывности вероятностной меры \[ P_\xi(A_n) \to P_\xi((-\infty, x_1] \times \dots \times (-\infty, x_l] \times \R^{n - l}) = F_{\xi_1, \dots, \xi_l}(x_1, \dots, x_l). \]

Утверждение справедливо для любого набора аргументов $x_{i_1}, \dots, x_{i_s}$. Устремив выбранные аргументы к бесконечности, получим функцию распределения подвектора, зависящую от оставшихся аргументов.

Имеет место сходимость: \[ F_{\xi_1, \dots, \xi_k}(x_1, \dots, x_k) \limto{ x_1 \to \infty, \dots, x_{i-1} \to \infty, x_{i+1} \to \infty, \dots, x_k \to \infty } F_{\xi_i}(x_i), \] где $F_{\xi_1}(x_1)$ — маргинальная функция распределения (то есть одномерная функция распределения случайной величины $\xi_i$).

Пусть $f_{\xi_1, \dots, \xi_k}(x_1, \dots, x_k)$ — совместная плотность распределения случайных величин $\xi_1, \dots, \xi_k$. Тогда имеет место равенство \[ f_{\xi_1, \dots, \xi_l}(x_1, \dots, x_l) = \int\limits_{-\infty}^{+\infty} \cdots \int\limits_{-\infty}^{+\infty} f_{\xi_1, \dots, \xi_l, \xi_{l+1}, \dots, \xi_k}( x_1, \dots, x_l, x_{l+1} \dots, x_k ) dx_{l+1} \dots dx_k. \]

Рассмотрим произвольное борелевское множество $B \in \bor{l}$. Перейдя к повторному интегрированию, найдём вероятность: \[ \begin{aligned} P\set{ (\xi_1, \dots, \xi_l) \in B } &= P\set{ \xi \in B \times \R^{k-l} } = \\ &= \underset{B}{\int \cdots \int} \int\limits_{\R} \dots \int\limits_{\R} f_\xi(x) dx_1 \dots dx_k = \\ &= \underset{B}{\int \cdots \int} \left[ \int\limits_{\R} \dots \int\limits_{\R} f_\xi(x) dx_{l+1} \dots dx_k \right] \times dx_1 \dots dx_l. \end{aligned} \] Функция в квадратных скобках неотрицательна и удовлетворяет определению плотности. Так как равенство верно для любого $B \in \bor{l}$, то по определению \[ \int\limits_{\R} \cdots \int\limits_{\R} f_\xi(x_1, \dots, x_k) dx_{l+1} \dots dx_k \] представляет собой плотность.

Утверждение сохраняется для любого набора аргументов $x_{i_1}, \dots, x_{i_s}$.

Плотность стандартного нормального $k$-мерного распределения $N(0, I_k)$ имеет вид \[ f_\xi(x_1, \dots, x_k) = \frac{1}{\paren{2\pi}^{\frac{k}{2}}} e^{-\frac{1}{2} \sum\limits_{i=1}^{k} x_i^2 }. \]

Плотность нормального $k$-мерного распределения $N(a, \Sigma)$ имеет вид \[ f_\xi(x_1, \dots, x_k) = \frac{1}{\paren{2\pi}^{\frac{k}{2}} \sqrt{\abs{\Sigma}}} e^{-\frac{1}{2} (x - a)^T \Sigma^{-1} (x - a) }, \] где $\Sigma \gt 0$ — положительно определённая матрица, а вектор $a \in \R^k$.

Независимые случайные величины. Критерии независимости случайных величин

Пусть на вероятностном пространстве $(\Omega, \mathcal{F}, P)$ задан случайный вектор $\xi(\omega)$.

Случайные величины $\xi_1, \dots, \xi_k$ взаимно независимы, если для любых борелевских множеств $B_1, \dots, B_k \in \bor{}$ выполнено \[ P\set{ \xi_1 \in B_1, \dots, \xi_k \in B_k } = P\set{ \xi_1 \in B_1 } \cdot \ldots \cdot P\set{ \xi_k \in B_k } \] или \[ P_{\xi_1, \dots, \xi_k}(B_1 \times \dots \times B_k) = P_{\xi_1}(B_1) \cdot \ldots \cdot P_{\xi_k}(B_k). \]

Данное определение эквивалентно следующему: случайные величины $\xi_1, \dots, \xi_k$ взаимно независимы, если взаимно независимы порождённые ими $\sigma$-алгебры.

Случайные величины $\xi_1, \dots, \xi_k$ взаимно независимы тогда и только тогда, когда совместная функция распределения удовлетворяет условию \[ F_{\xi_1, \dots, \xi_k}(x_1, \dots, x_k) = F_{\xi_1}(x_1) \cdot \ldots \cdot F_{\xi_k}(x_k) \] при любом $x$.

Очевидна.

К обеим частям равенства применим разностный оператор $\Delta_{a_1 b_1}^{(1)} \dots \Delta_{a_k b_k}^{(k)}$: \[ P\set{ \xi_1 \in (a_1, b_1], \dots, \xi_k \in (a_k, b_k] } = P\set{ \xi_1 \in (a_1, b_1] } \cdot \ldots \cdot P\set{ \xi_k \in (a_k, b_k] }. \] В силу непрерывности вероятностных мер получаем: \[ P\set{ \xi_1 \in I_1, \dots \xi_k \in I_k } = P\set{ \xi_1 \in I_1 } \cdot \ldots \cdot P\set{ \xi_k \in I_k }, \] где $I_1, \dots, I_k$ — произвольные множества из полуалгебры \[ \mathcal{I}_1 = \set{ (-\infty, +\infty), (-\infty, a], (b, +\infty), (a, b] }. \] Зафиксируем множества $I_2, \dots, I_k$, получим две конечные меры, заданные на пространстве $(\R_1, \mathcal{B}(\R_1))$. Они совпадают на полуалгебре, поэтому они совпадают на $\sigma$-алгебре, порождённой этой полуалгеброй: \[ P\set{ \xi_1 \in B_1, \dots \xi_k \in I_k } = P\set{ \xi_1 \in B_1 } \cdot \ldots \cdot P\set{ \xi_k \in I_k }, \] где $B_1 \in \bor{}$. Повторяя рассуждение, получаем формулу \[ P\set{ \xi_1 \in B_1, \dots \xi_k \in B_k } = P\set{ \xi_1 \in B_1 } \cdot \ldots \cdot P\set{ \xi_k \in B_k }, \] то есть величины $\xi_1, \dots, \xi_k$ независимы (по определению).

Предположим, что распределение случайного вектора $\xi$ абсолютно непрерывно относительно меры Лебега, то есть существует совместная плотность распределения $f_\xi(x_1, \dots, x_k)$ случайного вектора $\xi$, тогда существует плотность $f_{\xi_i}(x_i)$ у каждой случайной величины $\xi_i$, причём \[ f_{\xi_i}(x_i) = \int\limits_{-\infty}^{\infty} \cdots \int\limits_{-\infty}^{\infty} f_\xi(x_1, \dots, x_k) dx_1 \dots dx_{i-1} dx_{i+1} \dots dx_k. \]

Если существует совместная плотность распределения, то для независимости случайных величин $\xi_1, \dots, \xi_k$ необходимо и достаточно, чтобы совместная плотность была представима в виде \[ f_{\xi_1, \dots, \xi_k}(x_1, \dots, x_k) \overset{\text{п.в.}}{=} f_{\xi_1}(x_1) \cdot \ldots \cdot f_{\xi_k}(x_k). \]

Пусть все случайные величины дискретны: \[ \xi_1 \in \set{ z_1^{(i_1)} }, \quad \dots, \quad \xi_k \in \set{ z_k^{(i_k)} } \] Тогда для их независимости необходимо и достаточно, чтобы выполнялось равенство \[ P\left\{ \xi_1 = z_1^{(i_1)}, \dots, \xi_k = z_k^{(i_k)} \right\} = P\left\{ \xi_1 = z_1^{(i_1)} \right\} \cdot \ldots \cdot P\left\{ \xi_k = z_k^{(i_k)} \right\}. \]

Рассмотрим суммирование двух взаимно независимых случайных величин с абсолютно непрерывными распределениями. Пусть на вероятностном пространстве $(\Omega, \mathcal{F}, P)$ заданы случайные величины $\xi(\omega)$ и $\eta(\omega)$ с плотностями распределения $f_\xi(x)$ и $f_\eta(x)$. Будем считать, что они независимы, тогда их совместная плотность представима в виде \[ f_{\xi \eta}(x, y) = f_\xi(x) f_\eta(y). \] Рассмотрим теперь случайную величину $\zeta = \xi + \eta$ и найдём её плотность распределения. Для этого достаточно найти \[ \begin{aligned} F_\zeta(z) &= P\set{ \zeta \leqslant z } = \\ &= P\set{ \xi + \eta \leqslant z } = \\ &= P\left\{ (\xi, \eta) \in \set{ (x,y): x + y \leqslant z} \right\} = \\ &= \iint\limits_{\set{ (x,y): x + y \leqslant z }} f_\xi(x) f_\eta(y) dx dy = \\ &= \int\limits_{-\infty}^{+\infty} \paren{ \int\limits_{-\infty}^{z - x} f_\xi(x) f_\eta(y) dy } dx = \\ &= \int\limits_{-\infty}^{+\infty} \int\limits_{-\infty}^{z} f_\xi(x) f_\eta(u - x) du dx = \\ &= \int\limits_{-\infty}^{z} \paren{ \int\limits_{-\infty}^{+\infty} f_\xi(x) f_\eta(u - x) dx } du = \\ &= \int\limits_{-\infty}^{z} f_\zeta(u) du. \end{aligned} \] Таким образом, получили формулу свёртки: \[ f_\zeta(u) = \int\limits_{-\infty}^{+\infty} f_\xi(x) f_\eta(u - x) dx, \] причём в силу симметричности \[ f_\zeta(u) = \int\limits_{-\infty}^{+\infty} f_\xi(x) f_\eta(u - x) dx = \int\limits_{-\infty}^{+\infty} f_\eta(y) f_\xi(u - y) dy. \]

Определение и свойства линейности и положительности математического ожидания как интеграла Лебега

Пусть задано вероятностное пространство $(\Omega, \mathcal{F}, P)$ и числовая функция $\xi(\omega)$. Могут существовать такие элементарные события $\omega$, то $\xi(\omega) = \pm \infty$, поэтому имеет смысл рассматривать расширенную числовую прямую $\overline{\R} = \R \cup \set{ -\infty } \cup \set{ +\infty }$.

Пусть для любого борелевского множества $B \in \bor{}$ выполняется \[ \xi^{-1}(B) \in \mathcal{F}, \quad \xi^{-1}(-\infty) \in \mathcal{F}, \quad \xi^{-1}(\infty) \in \mathcal{F}. \] Такие $\mathcal{F}$-измеримые функции будем называть расширенными случайными величинами.

Будем предполагать, что справедливы соотношения:

${\displaystyle \frac{a}{\pm \infty} = 0, \; a \in \R}$;
${a \cdot \infty = \infty, \; a \gt 0}$;
${a \cdot \infty = -\infty, \; a \lt 0}$;
${0 \cdot \infty = 0}$.

Математическое ожидание расширенной случайной величины $\xi$ представляет собой интеграл Лебега: \[ E \xi = \int\limits_{\Omega} \xi(\omega) dP, \] если этот интеграл существует.

Рассмотрим несколько типов случайной величины:

Рассмотрим простую неотрицательную случайную величину: \[ 0 \leqslant \xi(\omega) = \sum\limits_{i=1}^{m} a_i I\set{ \omega \in A_i }, \] где $a_i \gt 0$ и \[ A_i \in \mathcal{F}, \qquad \sum\limits_{i=1}^{m} A_i = \Omega, \qquad A_i \cap A_j = \varnothing, \quad i \neq j. \] Тогда полагаем \[ E \xi = \int\limits_{\Omega} \xi(\omega) dP = \sum\limits_{i=1}^{m} a_i P(A_i). \]
Рассмотрим неотрицательную расширенную случайную величину $\xi(\omega) \geqslant 0$. В этом случае существует последовательность простых случайных величин $\xi_n(\omega) \geqslant 0$ таких, что в каждой точке множества $\Omega$ случайные величины $\xi_n(\omega)$ монотонно сходятся к случайной величине $\xi(\omega)$, то есть \[ \lim\limits_{n \to \infty} \xi_n(\omega) = \xi(\omega), \qquad \xi_n(\omega) \leqslant \xi_{n+1}(\omega). \] Тогда \[ E \xi = \int\limits_{\Omega} \xi(\omega) dP = \lim\limits_{n \to \infty} \int\limits_{\Omega} \xi_n(\omega) dP. \]
Рассмотрим любую $\mathcal{F}$-измеримую функцию $\xi(\omega)$ (расширенную случайную величину). Её можно представить единственным образом в виде разности двух неотрицательных случайных величин \[ \xi(\omega) = \xi^+(\omega) - \xi^-(\omega), \] где \[ \begin{aligned} \xi^+(\omega) &= \phantom{-} \xi(\omega) I\set{ \omega: \xi(\omega) \geqslant 0 }, \\ \xi^-(\omega) &= -\xi(\omega) I\set{ \omega: \xi(\omega) \lt 0 }. \end{aligned} \] В каждой точке $\omega$ выполняется $\xi^+ \xi^- = 0$. Положим \[ E \xi = \int\limits_{\Omega} \xi(\omega) dP = \int\limits_{\Omega} \xi^+(\omega) dP - \int\limits_{\Omega} \xi^-(\omega) dP. \]

Из определения следует, что интеграл Лебега может не существовать только в случае, когда \[ \int\limits_{\Omega} \xi^+(\omega) dP = \int\limits_{\Omega} \xi^-(\omega) dP = \infty, \] то есть когда возникает неопределённость вида $\infty - \infty$.

Интеграл Лебега может принимать значения $\pm \infty$. В этом случае считается, что интеграл определён (существует), но не конечен.

Свойства математического ожидания

Свойство линейности.
1. Пусть существует \[ \int\limits_{\Omega} \xi(\omega) dP, \] тогда для любого $c \in \R$ существует \[ \int\limits_{\Omega} c \xi(\omega) dP = c \int\limits_{\Omega} \xi(\omega) dP. \]
2. Пусть существуют интегралы \[ \int\limits_{\Omega} \xi(\omega) dP, \quad \int\limits_{\Omega} \eta(\omega) dP, \quad \int\limits_{\Omega} \xi(\omega) dP + \int\limits_{\Omega} \eta(\omega) dP, \] тогда существует \[ \int\limits_{\Omega} \left[ \xi(\omega) + \eta(\omega) \right] dP = \int\limits_{\Omega} \xi(\omega) dP + \int\limits_{\Omega} \eta(\omega) dP. \]
Свойство положительности.
1. Пусть $\xi(\omega) \geqslant 0$, тогда \[ \int\limits_{\Omega} \xi(\omega) dP \geqslant 0. \]
2. Пусть $\xi(\omega) \leqslant \eta(\omega)$ и существует \[ \int\limits_{\Omega}^{} \xi(\omega) dP \gt -\infty, \] тогда существует \[ \int\limits_{\Omega}^{} \eta(\omega) dP \geqslant \int\limits_{\Omega}^{} \xi(\omega) dP. \]
3. Пусть $\xi(\omega) \leqslant \eta(\omega)$ и существует \[ \int\limits_{\Omega}^{} \eta(\omega) dP \lt \infty, \] тогда существует \[ \int\limits_{\Omega}^{} \xi(\omega) dP \leqslant \int\limits_{\Omega}^{} \eta(\omega) dP. \]

Докажем, что введённое ранее определение математического ожидания корректно.

Рассмотрим простую неотрицательную случайную величину $\xi(\omega)$. Могут использоваться разные формы записи: \[ \xi(\omega) = \sum\limits_{i=1}^{m} a_i I\set{ \omega \in A_i } = \sum\limits_{j=1}^{n} b_j I\set{ \omega \in B_j }, \] где \[ B_j \in \mathcal{F}, \qquad B_j \cap B_k = \varnothing, \qquad \bigcup\limits_{j=1}^{n} B_j = \Omega. \]

Справедливо равенство \[ \sum\limits_{i=1}^{m} a_i I\set{ \omega \in A_i } = \sum\limits_{j=1}^{n} b_j I\set{ \omega \in B_j }. \]

Всякое $A_i$ представимо в виде \[ A_i = \bigcup\limits_{j=1}^{n} \paren{ A_i \cap B_j }, \] аналогично \[ B_j = \bigcup\limits_{i=1}^{m} \paren{ A_i \cap B_j }, \] тогда \[ \begin{aligned} \sum\limits_{i=1}^{m} a_i P(A_i) &= \sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} a_i P(A_i \cap B_j) = \\ &= \sum\limits_{j=1}^{n} \sum\limits_{i=1}^{m} b_j P(A_i \cap B_j) = \\ \sum\limits_{j=1}^{n} b_j P(B_j). \end{aligned} \] Если $A_i \cap B_j = \varnothing$, то $P(A_i \cap B_j) = 0$. Если же $A_i \cap B_j \neq \varnothing$, то обязательно $a_i = b_j$.

Выполняется свойство линейности.

Если $\xi(\omega) = \sum\limits_{i=1}^{m} a_i I\set{ \omega \in A_i }$, то имеет место равенство \[ c \xi(\omega) = \sum\limits_{i=1}^{m} c a_i I\set{ \omega \in A_i }. \] Следовательно, получаем \[ \begin{aligned} \int\limits_{\Omega}^{} c\xi(\omega) dP &= \sum\limits_{i=1}^{m} c a_i P(A_i) = \\ &= c \sum\limits_{i=1}^{m} a_i P(A_i) = \\ &= c \int\limits_{\Omega}^{} \xi(\omega) dP. \end{aligned} \]
Введём случайную величину \[ \eta(\omega) = \sum\limits_{j=1}^{n} d_j I\set{ \omega \in D_j }. \] Можем записать представления: \[ A_i = \bigcup\limits_{j=1}^{n} (A_i \cap D_j), \qquad D_j = \bigcup\limits_{i=1}^{m} (A_i \cap D_j), \] тогда \[ \begin{aligned} \xi(\omega) &= \sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} a_i I\set{ \omega \in A_i \cap D_j }, \\ \eta(\omega) &= \sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} d_j I\set{ \omega \in A_i \cap D_j }. \end{aligned} \] Рассмотрим сумму \[ \xi(\omega) + \eta(\omega) = \sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} (a_i + d_j) I\set{ \omega \in A_i \cap D_j } \] и найдём её мат. ожидание. Сумма простых функций также является простой функцией, поэтому справедливо представление: \[ \begin{aligned} \int\limits_{\Omega}^{} (\xi(\omega) + \eta(\omega)) dP &= \sum\limits_{i=1}^{m} \sum\limits_{j=1}^{n} (a_i + d_j) P(A_i \cap D_j) = \\ &= \sum\limits_{i=1}^{m} a_i P(A_i) + \sum\limits_{j=1}^{n} d_j P(D_j) = \\ &= \int\limits_{\Omega}^{} \xi(\omega) dP + \int\limits_{\Omega}^{} \eta(\omega) dP. \end{aligned} \]

Выполняется свойство положительности.

Так как $\xi(\omega)$ — простая случайная величина, то из того, что \[ \xi(\omega) = \sum\limits_{i=1}^{m} a_i I\set{ \omega \in A_i } \geqslant 0, \] следует, что $a_i \geqslant 0$. Следовательно, \[ \int\limits_{\Omega}^{} \xi(\omega) dP = \sum\limits_{i=1}^{m} a_i P(A_i) \geqslant 0, \] так как все слагаемые неотрицательные.
Так как \[ \xi(\omega) \leqslant \eta(\omega), \] то \[ \eta(\omega) - \xi(\omega) \geqslant 0. \] Рассмотрим выражение \[ (\eta(\omega) - \xi(\omega)) + \xi(\omega) = \eta(\omega), \] где \[ \eta(\omega) - \xi(\omega) \geqslant 0, \qquad \xi(\omega) \geqslant 0, \qquad \eta(\omega) \geqslant 0. \] Линейность доказана, поэтому \[ \int\limits_{\Omega}^{} \eta(\omega) dP = \int\limits_{\Omega}^{} (\eta(\omega) - \xi(\omega)) dP + \int\limits_{\Omega}^{} \xi(\omega) dP. \] Из предыдущего пункта следует, что \[ \int\limits_{\Omega}^{} (\eta(\omega) - \xi(\omega)) dP \geqslant 0. \] Поэтому \[ \int\limits_{\Omega}^{} \xi(\omega) dP \leqslant \int\limits_{\Omega}^{} \xi(\omega) dP + \int\limits_{\Omega}^{} (\eta(\omega) - \xi(\omega)) dP = \int\limits_{\Omega}^{} \eta(\omega) dP. \]

Справедливы свойства:

Пусть $\xi(\omega)$ — произвольная $\mathcal{F}$-измеримая функция, принимающая значения на расширенной числовой прямой. Тогда существует последовательность простых функций $\xi_n(\omega)$ такая, что \[ \lim\limits_{n \to \infty} \xi_n(\omega) = \xi(\omega), \qquad \abs{\xi_n(\omega)} \leqslant \abs{\xi(\omega)}. \]
Пусть $\xi(\omega) \geqslant 0$ — $\mathcal{F}$-измеримая функция со значениями в расширенной числовой прямой. Тогда существует последовательность простых функций, что имеет место сходимость: \[ 0 \leqslant \xi_n(\omega) \leqslant \xi_{n+1}(\omega) \limto{n \to \infty} \xi(\omega). \]

Запишем последовательность $\xi_n(\omega)$ явным образом. Для этого разделим каждый интервал на $2^n$ подинтервалов: \[ \xi_n(\omega) = \sum\limits_{k=0}^{n2^n - 1} \frac{k}{2^n} \cdot I\left\{ \frac{k}{2^n} \leqslant \xi(\omega) \lt \frac{k+1}{2^n} \right\} + n I\set{ \xi(\omega) \geqslant n }. \] Выбирая $n \gt \xi(\omega)$, получаем, что \[ 0 \leqslant \xi(\omega) - \xi_n(\omega) \leqslant \frac{1}{2^n}. \] Если $\xi(\omega_0) = \infty$, то по построению \[ \xi_n(\omega_0) = n \to \infty. \] Отсюда следует справедливость неравенства \[ 0 \leqslant \xi_n(\omega) \leqslant \xi_{n+1}(\omega) \leqslant \xi(\omega) \] для любых $\omega$ и $n$.
Представим $\xi(\omega)$ единственным образом в виде разности двух положительных функций: \[ \xi(\omega) = \xi^+(\omega) - \xi^-(\omega), \] где \[ \begin{aligned} \xi^+(\omega) &= \phantom{-} \xi(\omega) \cdot I\set{ \xi(\omega) \geqslant 0 }, \\ \xi^-(\omega) &= - \xi(\omega) \cdot I\set{ \xi(\omega) \lt 0 }. \end{aligned} \] Таким образом, $\abs{\xi(\omega)} = \xi^+(\omega) + \xi^-(\omega)$. Пользуясь вторым утверждением теоремы для каждой из частей функции $\xi(\omega)$, получаем, что \[ \begin{aligned} 0 &\leqslant \xi_n^+(\omega) \limto{n \to \infty} \xi^+(\omega), \\ 0 &\leqslant \xi_n^-(\omega) \limto{n \to \infty} \xi^-(\omega). \end{aligned} \] Значит, имеет место сходимость \[ \xi_n(\omega) = \xi_n^+(\omega) - \xi_n^-(\omega) \limto{n \to \infty} \xi(\omega). \] Оценим теперь модуль чисел. Так как \[ \abs{\xi_n(\omega)} \leqslant \xi_n^+(\omega) + \xi_n^-(\omega) \limto{n \to \infty} \xi^+(\omega) + \xi^-(\omega), \] и имеют место неравенства: \[ \xi_n^+(\omega) \lt \xi^+(\omega), \qquad \xi_n^-(\omega) \lt \xi^-(\omega), \] тогда справедливо неравенство: \[ \abs{\xi_n(\omega)} \leqslant \xi_n^+(\omega) + \xi_n^-(\omega) \leqslant \xi^+(\omega) + \xi^-(\omega) = \abs{\xi(\omega)}. \]

Данная теорема доказывает существование последовательности, которая рассматривается во второй части определения математического ожидания. Однако может существовать много последовательностей, обладающих такими свойствами. Надо доказать, что предел математических ожиданий в всех последовательностей одинаков.

Пусть последовательность неотрицательных простых функций $\xi_n(\omega)$ такова, что \[ \xi_n(\omega) \leqslant \xi_{n+1}(\omega), \qquad 0 \leqslant \xi_n(\omega) \limto{n \to \infty} \xi(\omega), \qquad 0 \leqslant \eta(\omega) \leqslant \xi(\omega), \] где $\eta(\omega)$ — простая функция. Тогда справедливо следующее неравенство: \[ \lim\limits_{n \to \infty} \int\limits_{\Omega}^{} \xi_n(\omega) dP \geqslant \int\limits_{\Omega}^{} \eta(\omega) dP. \]

Рассмотрим некоторое $\varepsilon \gt 0$ и введём событие \[ A_n^\varepsilon = \set{ \omega: \xi_n(\omega) \geqslant \eta(\omega) - \varepsilon }. \] Последовательность $A_n^\varepsilon \subset A_{n+1}^\varepsilon$ — возрастающая последовательность событий, причём \[ \bigcup\limits_{n=1}^{\infty} A_n^\varepsilon = \Omega. \] Следовательно, \[ \overline{A_n^\varepsilon} \supset \overline{A_{n+1}^\varepsilon}, \qquad \bigcap\limits_{n=1}^{\infty} \overline{A_n^\varepsilon} = \varnothing. \] Очевидно, что выполнено неравенство \[ \begin{aligned} \xi_n(\omega) &\geqslant \xi_n(\omega) I\set{ \omega \in A_n^\varepsilon } \geqslant \\ &\geqslant (\eta(\omega) - \varepsilon) I\set{ \omega \in A_n^\varepsilon } = \\ &= \eta(\omega) - \eta(\omega) I\set{ \omega \in \overline{A_n^\varepsilon} } - \varepsilon I\set{ \omega \in A_n^\varepsilon } \geqslant \\ &\geqslant \eta(\omega) - C I\set{ \omega \in \overline{A_n^\varepsilon} } - \varepsilon, \end{aligned} \] где $C = \max_{\omega \in \Omega} \eta(\omega)$.

Слева и справа стоят простые функции, для которых свойство положительности уже установлено. Таким образом, получаем неравенство: \[ \int\limits_{\Omega}^{} \xi_n(\omega) dP \geqslant \int\limits_{\Omega}^{} \eta(\omega) dP - C P\paren{ \overline{A_n^\varepsilon} } - \varepsilon. \] В силу того, что \[ \overline{A_n^\varepsilon} \supset \overline{A_{n+1}^\varepsilon}, \qquad \bigcap\limits_{n=1}^{\infty} \overline{A_n^\varepsilon} = \varnothing, \] получаем сходимость \[ C P\paren{ \overline{A_n^\varepsilon} } \limto{n \to \infty} 0. \] Перейдём к пределу: \[ \lim\limits_{n \to \infty} \int\limits_{\Omega}^{} \xi_n(\omega) dP \geqslant \int\limits_{\Omega}^{} \eta(\omega) dP - \varepsilon. \] Неравенство справедливо для любого $\varepsilon$, значит, справедливо и утверждение леммы.

Рассмотрим следующие последовательности простых функций: \[ \begin{aligned} \xi_n(\omega) &\leqslant \xi_{n+1}(\omega), & 0 &\leqslant \xi_n(\omega) \limto{n \to \infty} \xi(\omega), \\ \eta_m(\omega) &\leqslant \eta_{m+1}(\omega), & 0 &\leqslant \eta_m(\omega) \limto{m \to \infty} \xi(\omega). \end{aligned} \] Возьмём конкретное $m$ и применим предыдущую лемму: \[ \lim\limits_{n \to \infty} \int\limits_{\Omega}^{} \xi_n(\omega) dP \geqslant \int\limits_{\Omega}^{} \eta_m(\omega) dP. \] Также справедливо неравенство \[ \lim\limits_{n \to \infty} \int\limits_{\Omega}^{} \xi_n(\omega) dP \geqslant \lim\limits_{m \to \infty} \int\limits_{\Omega}^{} \eta_m(\omega) dP. \] Данные рассуждения применимы для функций $\eta_n(\omega)$ и $\xi_m(\omega)$, рассматриваемых в обратном порядке. Таким образом, \[ \lim\limits_{n \to \infty} \int\limits_{\Omega}^{} \xi_n(\omega) dP = \lim\limits_{m \to \infty} \int\limits_{\Omega}^{} \eta_m(\omega) dP. \] Отсюда следует корректность второй части определения математического ожидания.

Проверим выполнение свойств линейности и положительности для второй части определения мат. ожидания.

Выполняется свойство линейности.

Рассмотрим $c \xi(\omega)$, где $c \geqslant 0$, и введём последовательность простых функций \[ \xi_n(\omega) \leqslant \xi_{n+1}(\omega), \qquad 0 \leqslant \xi_n(\omega) \limto{n \to \infty} \xi(\omega). \] Тогда \[ c \xi_n(\omega) \leqslant c \xi_{n+1}(\omega), \qquad 0 \leqslant c \xi_n(\omega) \limto{n \to \infty} c \xi(\omega) \] и \[ \begin{aligned} \int\limits_{\Omega}^{} c \xi(\omega) dP &= \lim\limits_{n \to \infty} \int\limits_{\Omega}^{} c \xi_n(\omega) dP = \\ &= c \lim\limits_{n \to \infty} \int\limits_{\Omega}^{} \xi_n(\omega) dP = \\ &= c \int\limits_{\Omega}^{} \xi(\omega) dP. \end{aligned} \]
Рассмотрим последовательности простых функций \[ \begin{aligned} \xi_n(\omega) &\leqslant \xi_{n+1}(\omega), & 0 &\leqslant \xi_n(\omega) \limto{n \to \infty} \xi(\omega), \\ \eta_n(\omega) &\leqslant \eta_{n+1}(\omega), & 0 &\leqslant \eta_n(\omega) \limto{n \to \infty} \eta(\omega). \end{aligned} \] Для них справедливы неравенства: \[ \begin{gathered} \xi_n(\omega) + \eta_n(\omega) \leqslant \xi_{n+1}(\omega) + \eta_{n+1}(\omega), \\ 0 \leqslant \xi_n(\omega) + \eta_n(\omega) \limto{n \to \infty} \xi(\omega) + \eta(\omega). \end{gathered} \] Тогда имеют место равенства: \[ \begin{aligned} \int\limits_{\Omega}^{} (\xi(\omega) + \eta(\omega)) dP &= \lim\limits_{n \to \infty} \int\limits_{\Omega}^{} (\xi_n(\omega) + \eta_n(\omega)) dP = \\ &= \lim\limits_{n \to \infty} \int\limits_{\Omega}^{} \xi_n(\omega) dP + \lim\limits_{n \to \infty} \int\limits_{\Omega}^{} \eta_n(\omega) dP = \\ &= \int\limits_{\Omega}^{} \xi(\omega) dP + \int\limits_{\Omega}^{} \eta(\omega) dP. \end{aligned} \]

Выполняется свойство положительности.

Выполнение этого пункта очевидно.
Если $\xi(\omega) \leqslant \eta(\omega)$, то \[ \eta(\omega) = (\eta(\omega) - \xi(\omega)) + \xi(\omega). \] В данном равенстве \[ \eta(\omega) - \xi(\omega) \geqslant 0, \qquad \xi(\omega) \geqslant 0. \] Воспользуемся свойством аддитивности: \[ \int\limits_{\Omega}^{} \eta(\omega) dP = \int\limits_{\Omega}^{} (\eta(\omega) - \xi(\omega)) dP + \int\limits_{\Omega}^{} \xi(\omega) dP. \] Здесь \[ \int\limits_{\Omega}^{} (\eta(\omega) - \xi(\omega)) dP \geqslant 0, \] откуда следует, что \[ \int\limits_{\Omega}^{} \xi(\omega) dP \leqslant \int\limits_{\Omega}^{} \eta(\omega) dP. \]

Рассмотрим третью часть определения математического ожидания. Корректность третьей части не вызывает сомнений. Необходимым и достаточным условием существования интеграла Лебега является \[ \min\paren{ \int\limits_{\Omega}^{} \xi^+(\omega) dP, \int\limits_{\Omega}^{} \xi^-(\omega) dP } \in \R. \] Проверка справедливости свойств линейности и положительности для третьей части определения выполняется аналогично приведённым выше доказательствам.

Свойства математического ожидания как интеграла Лебега (кроме свойств линейности и положительности)

Свойство конечности.
Неравенство \[ \abs{\int\limits_{\Omega}^{} \xi(\omega) dP} \lt \infty \] имеет место тогда и только тогда, когда \[ \int\limits_{\Omega}^{} \abs{\xi(\omega)} dP \lt \infty. \]

Согласно третьей части определения математического ожидания \[ \int\limits_{\Omega}^{} \xi(\omega) dP = \int\limits_{\Omega}^{} \xi^+(\omega) dP - \int\limits_{\Omega}^{} \xi^-(\omega) dP. \] В силу аддитивности имеет место равенство \[ \int\limits_{\Omega}^{} \abs{\xi(\omega)} dP = \int\limits_{\Omega}^{} \xi^+(\omega) dP + \int\limits_{\Omega}^{} \xi^-(\omega) dP. \] Интегралы в правой части конечны тогда и только тогда, когда \[ \begin{aligned} \int\limits_{\Omega}^{} \xi^+(\omega) dP &\lt \infty, \\ \int\limits_{\Omega}^{} \xi^-(\omega) dP &\lt \infty. \end{aligned} \]
Справедливо неравенство: \[ \abs{\int\limits_{\Omega}^{} \xi(\omega) dP} \leqslant \int\limits_{\Omega}^{} \abs{\xi(\omega)} dP. \]
Очевидно неравенство \[ -\abs{\xi(\omega)} \leqslant \xi(\omega) \leqslant \abs{\xi(\omega)}. \] Если \[ \int\limits_{\Omega}^{} \xi(\omega) dP = \infty \quad \text{или} \quad \int\limits_{\Omega}^{} \xi(\omega) dP = -\infty, \] то \[ \int\limits_{\Omega}^{} \abs{\xi(\omega)} dP = \infty, \] и получаем равенство \[ \abs{\int\limits_{\Omega}^{} \xi(\omega) dP} = \int\limits_{\Omega}^{} \abs{\xi(\omega)} dP. \] Если же \[ \abs{\int\limits_{\Omega}^{} \xi(\omega) dP} \lt \infty, \] то из свойства положительности следуют неравенства \[ \begin{aligned} \int\limits_{\Omega}^{} \xi(\omega) dP &\leqslant \int\limits_{\Omega}^{} \abs{\xi(\omega)} dP, \\ -\int\limits_{\Omega}^{} \abs{\xi(\omega)} dP &\leqslant \int\limits_{\Omega}^{} \xi(\omega) dP. \end{aligned} \] Из второго неравенства следует, что \[ \int\limits_{\Omega}^{} \abs{\xi(\omega)} dP \geqslant - \int\limits_{\Omega}^{} \xi(\omega) dP, \] поэтому \[ \abs{\int\limits_{\Omega}^{} \xi(\omega) dP} \leqslant \int\limits_{\Omega}^{} \abs{\xi(\omega)} dP. \]
Свойство мультипликативности.
1. Пусть случайные величины $\xi(\omega) \geqslant 0$ и $\eta(\omega) \geqslant 0$ независимы, тогда имеет место равенство \[ E(\xi \eta) = E \xi E \eta. \]
2. Пусть случайные величины $\xi(\omega)$ и $\eta(\omega)$ независимы. Пусть у них существуют и конечны математические ожидания $E \xi \in \R$ и $E \eta \in \R$, тогда \[ E(\xi \eta) = E \xi E \eta. \]
Пусть $\xi(\omega) \geqslant 0$ и $\eta(\omega) \geqslant 0$ — взаимно независимые простые функции, тогда их можно представить в виде \[ \begin{aligned} \xi(\omega) &= \sum\limits_{i=1}^{n} a_i I\set{ \omega \in A_i }, \\ \eta(\omega) &= \sum\limits_{j=1}^{m} b_j I\set{ \omega \in B_j }, \end{aligned} \] причём \[ \begin{aligned} A_k \cap A_l &= 0, & k &\neq l, & \bigcup\limits_{k=1}^{n} A_k &= \Omega, \\ B_r \cap B_s &= 0, & r &\neq s, & \bigcup\limits_{r=1}^{m} B_r &= \Omega. \end{aligned} \] Без ограничения общности можно считать, что $a_k \neq a_l$ и $b_r \neq b_s$. Очевидно, что \[ \xi(\omega) \eta(\omega) = \sum\limits_{i=1}^{n} \sum\limits_{j=1}^{m} b_j a_i I\set{ \omega \in A_i \cap B_j } \] — простая случайная величина. Тогда \[ E(\xi \eta) = \sum\limits_{i=1}^{n} \sum\limits_{j=1}^{m} a_i b_j P\paren{ A_i \cap B_j }, \] но так как $a_k \neq a_l$ и $b_r \neq b_sQ$, то \[ A_i = \xi^{-1}(a_i), \qquad B_j = \eta^{-1}(b_j). \] Тогда \[ P\paren{ \xi^{-1}(a_i) \cap \eta^{-1}(b_j) } = P(A_i) P(B_j). \] Таким образом, получаем равенство \[ \begin{aligned} E(\xi \eta) &= \sum\limits_{i=1}^{n} \sum\limits_{j=1}^{m} a_i P(A_i) b_j P(B_j) = \\ &= \sum\limits_{i=1}^{n} a_i P(A_i) \sum\limits_{j=1}^{m} b_j P(B_j) = \\ &= E\xi E\eta. \end{aligned} \]
1. Рассмотрим последовательности простых функций \[ \begin{aligned} \xi_n(\omega) &\leqslant \xi_{n+1}(\omega), & 0 \leqslant \xi_n(\omega) &\limto{n \to \infty} \xi(\omega), \\ \eta_n(\omega) &\leqslant \eta_{n+1}(\omega), & 0 \leqslant \eta_n(\omega) &\limto{n \to \infty} \eta(\omega). \end{aligned} \] Следовательно, \[ \xi_n(\omega) \eta_n(\omega) \leqslant \xi_{n+1}(\omega) \eta_{n+1}(\omega), \] где $\xi_n(\omega) \eta_n(\omega)$ — простая измеримая функция. Тогда по определению интеграла Лебега \[ E(\xi \eta) = \lim\limits_{n \to \infty} E(\xi_n \eta_n). \] Очевидно, что \[ \sigma_{\xi_n} \subset \sigma_\xi, \qquad \sigma_{\eta_n} \subset \sigma_\eta. \] Так как сигма-алгебры $\sigma_\xi$ и $\sigma_\eta$ независимы, то независимыми будут и сигма-алгебры $\sigma_{\xi_n}$ и $\sigma_{\eta_n}$. Тогда, используя полученное выше равенство для простых случайных величин, получаем, что \[ \begin{aligned} E(\xi \eta) &= \lim\limits_{n \to \infty} (E \xi_n E \eta_n) = \\ &= \lim\limits_{n \to \infty} E \xi_n \lim\limits_{n \to \infty} E \eta_n = \\ &= E \xi E \eta. \end{aligned} \]
2. Очевидно, что тогда и только тогда, когда \[ \begin{aligned} E \xi \in \R &\iff E \xi^+, E \xi^- \in \R, \\ E \eta \in \R &\iff E \eta^+, E \eta^- \in \R. \end{aligned} \] Рассмотрим $E(\xi \eta)$. Так как \[ \begin{aligned} \xi &= \xi^+ - \xi^-, \\ \eta &= \eta^+ - \eta^-, \end{aligned} \] то справедливо равенство \[ E(\xi \eta) = E(\xi^+ \eta^+ + \xi^- \eta^- - \xi^- \eta^+ - \xi^+ \eta^-). \] Также справедливы соотношения \[ \begin{aligned} \sigma_{\xi^+} &\subset \sigma_\xi, & \sigma_{\xi^-} &\subset \sigma_\xi, \\ \sigma_{\eta^+} &\subset \sigma_\eta, & \sigma_{\eta^-} &\subset \sigma_\eta. \end{aligned} \] Таким образом, все сомножители в рассматриваемом равенстве взаимно независимы. Известно, что справедлив первый пункт текущего свойства, а для выполнения свойства аддитивности нужно, чтобы интегралы были конечны: \[ \begin{aligned} E(\xi \eta) &= E(\xi^+ \eta^+ + \xi^- \eta^- - \xi^- \eta^+ - \xi^+ \eta^-) = \\ &= E \xi^+ E \eta^+ + E \xi^- \eta ^- - E \xi^- E \eta^+ - E \xi^+ E \eta^- = \\ &= \paren{ E \xi^+ - E \xi^- } \paren{ E \eta^+ - E \eta^- } = \\ &= E \xi E \eta. \end{aligned} \]
Пусть существует \[ \int\limits_{\Omega}^{} \xi(\omega) dP, \] тогда для любого $A \in \mathcal{F}$ существует \[ \int\limits_{\Omega}^{} \xi(\omega) I\set{ \omega \in A } dP. \]
Справедливость этого свойства следует из справедливости неравенств \[ \begin{aligned} 0 \leqslant \xi^+(\omega) I \set{ \omega \in A } &\leqslant \xi^+(\omega), \\ 0 \leqslant \xi^-(\omega) I \set{ \omega \in A } &\leqslant \xi^-(\omega). \end{aligned} \]

По определению будем считать, что \[ \int\limits_{A}^{} \xi(\omega) dP \bydef= \int\limits_{\Omega}^{} \xi(\omega) I\set{ \omega \in A } dP. \]

Ранее говорилось, что $0 \cdot (\pm \infty) = 0$. Следовательно, даже если $\abs{\xi(\omega_0)} = \infty$ и $\omega_0 \not \in A$, то значение подынтегральной функции окажется равным нулю во всех точках $\omega \not\in A$.

Пусть $\xi(\omega) \overset{\text{п.н.}}{=} 0$, тогда существует \[ \int\limits_{\Omega}^{} \xi(\omega) dP = 0. \]
Проверим это свойство последовательно для каждой части определения математического ожидания.
1. Пусть $\xi(\omega) \geqslant 0$ — простая функция: \[ \xi(\omega) = \sum\limits_{i=1}^{n} a_i I\set{ \omega \in A_i }, \] где \[ A_i \in \mathcal{F}, \qquad A_i \cap A_j = \varnothing, \qquad \bigcup\limits_{i=1}^{n} A_i = \Omega, \] тогда \[ \int\limits_{\Omega}^{} \xi(\omega) dP = \sum\limits_{i=1}^{n} a_i P(A_i). \] Если $a_i \neq 0$, то $P(A_i) = 0$, если же $P(A_i) \neq 0$, то $a_i = 0$, поэтому \[ \int\limits_{\Omega}^{} \xi(\omega) dP = 0. \]
2. Так как $\xi(\omega) \geqslant 0$, то существует последовательность простых функций $\xi_n(\omega)$ такая, что \[ \xi_n(\omega) \leqslant \xi_{n+1}(\omega), \qquad 0 \leqslant \xi_n(\omega) \limto{n \to \infty} \xi(\omega). \] Тогда для любого $n$ выполнено: \[ 0 \leqslant \xi_n(\omega) \leqslant \xi(\omega), \qquad \xi_n(\omega) \overset{\text{п.н.}}{=} 0. \] Таким образом, из первого пункта следует, что \[ \int\limits_{\Omega}^{} \xi_n(\omega) dP = 0. \] По определению математического ожидания \[ \int\limits_{\Omega}^{} \xi(\omega) dP = \lim\limits_{n \to \infty} \int\limits_{\Omega}^{} \xi_n(\omega) dP = 0. \]
3. Пусть $\xi(\omega) = \xi^+(\omega) - \xi^-(\omega)$. Тогда \[ \begin{aligned} 0 \leqslant \xi^+(\omega) \leqslant \xi^+(\omega) + \xi^-(\omega) = \abs{\xi(\omega)} \overset{\text{п.н.}}{=} 0, \\ 0 \leqslant \xi^-(\omega) \leqslant \xi^+(\omega) + \xi^-(\omega) = \abs{\xi(\omega)} \overset{\text{п.н.}}{=} 0. \end{aligned} \] Отсюда следует, что \[ \xi^+(\omega) \overset{\text{п.н.}}{=} 0, \qquad \xi^-(\omega) \overset{\text{п.н.}}{=} 0. \] Таким образом, справедливо равенство \[ \int\limits_{\Omega}^{} \xi(\omega) dP = \int\limits_{\Omega}^{} \xi^+(\omega) dP - \int\limits_{\Omega}^{} \xi^-(\omega) = 0. \]
Пусть существует конечный интеграл \[ \int\limits_{\Omega}^{} \xi(\omega) dP \in \R. \] Тогда \[ P\set{ \omega: \abs{\xi(\omega)} = \infty } = 0. \]
Рассмотрим неравенство \[ \abs{\xi(\omega)} \geqslant \abs{\xi(\omega)} I\set{ \abs{\xi(\omega)} = \infty }. \] Интегрируя это неравенство, получаем \[ \begin{aligned} \int\limits_{\Omega}^{} \abs{\xi(\omega)} dP &\geqslant \int\limits_{\Omega}^{} \abs{\xi(\omega)} I\set{ \abs{\xi(\omega)} = \infty } dP = \\ &= \lim\limits_{n \to \infty} n P\set{ \abs{\xi(\omega)} = \infty }. \end{aligned} \] Если бы вероятность $P\set{ \omega: \abs{\xi(\omega)} = \infty }$ была отлична от нуля, то предел был бы равен бесконечности, чего быть не может по условию. Таким образом, \[ P\set{ \omega: \abs{\xi(\omega)} = \infty } = 0. \]
Пусть $\xi(\omega) \geqslant 0$ и \[ \int\limits_{\Omega}^{} \xi(\omega) dP = 0. \] Тогда \[ \xi(\omega) \overset{\text{п.н.}}{=} 0. \]
Рассмотрим множества \[ B = \set{ \omega: \xi(\omega) \gt 0 }, \qquad B_n = \left\{ \omega: \xi(\omega) \geqslant \frac{1}{n} \right\}. \] Очевидно, что \[ B_n \subset B_{n+1}, \qquad \bigcup\limits_{n=1}^{\infty} B_n. \] Следовательно, по свойству непрерывности вероятностной меры \[ P(B) = \lim\limits_{n \to \infty} P(B_n). \] Рассмотрим неравенство \[ \xi(\omega) \geqslant \xi(\omega) I\set{ \omega \in B_n } \geqslant \frac{1}{n} I\set{ \omega \in B_n }. \] Согласно свойству положительности \[ 0 = \int\limits_{\Omega}^{} \xi(\omega) dP \geqslant \frac{1}{n} P(B_n). \] Тогда $P(B_n) = 0$, что значит, что $P(B) = 0$.
Пусть $\xi(\omega) \overset{\text{п.н.}}{=} \eta(\omega)$, при этом существует \[ \int\limits_{\Omega}^{} \xi(\omega) dP, \] тогда существует \[ \int\limits_{\Omega}^{} \eta(\omega) dP = \int\limits_{\Omega}^{} \xi(\omega) dP. \]
Рассмотрим множество \[ N = \set{ \omega: \xi(\omega) \neq \eta(\omega) }, \] по условию $P(N) = 0$. Тогда имеют место равенства \[ \begin{aligned} \int\limits_{\Omega}^{} \xi(\omega) dP &= \int\limits_{\Omega}^{} \xi(\omega) I\set{ \omega \in N } dP + \int\limits_{\Omega}^{} \xi(\omega) I\set{ \omega \in \overline{N} } dP = \\ &= \int\limits_{\Omega}^{} \eta(\omega) I\set{ \omega \in \overline{N} } dP + \int\limits_{\Omega}^{} \eta(\omega) I\set{ \omega \in N } dP = \\ &= \int\limits_{\Omega}^{} \eta(\omega) dP, \end{aligned} \] так как \[ \int\limits_{\Omega}^{} \xi(\omega) I\set{ \omega \in N } dP = 0, \qquad \int\limits_{\Omega}^{} \eta(\omega) I\set{ \omega \in N } dP = 0. \]

Предельный переход под знаком интеграла Лебега

(о монотонном предельном переходе под знаком интеграла Лебега).

Пусть $\xi_1, \dots, \xi_n, \dots$ — последовательность неотрицательных случайных величин, заданных на вероятностном пространстве $(\Omega, \mathcal{F}, P)$. Пусть имеет место сходимость \[ 0 \leqslant \xi_n(\omega) \limto{n \to \infty} \xi(\omega) \] и для любого $\omega \in \Omega$ \[ \xi_n(\omega) \leqslant \xi_{n+1}(\omega), \] тогда имеет место сходимость математических ожиданий \[ E \xi_n \limto{n \to \infty} E \xi. \]

Так как $\xi_n(\omega) \leqslant \xi(\omega)$ для любого $\omega$, то в силу свойства положительности математического ожидания справедливы неравенства: \[ E \xi_n \leqslant E_\xi, \qquad E\xi_n \leqslant E \xi_{n+1}. \] Тогда выполняется неравенство \[ \lim\limits_{n \to \infty} E \xi_n \leqslant E \xi. \]

Докажем обратное неравенство. Рассмотрим последовательность неотрицательных случайных величин $\xi_1(\omega), \dots, \xi_k(\omega), \dots$ и следующие последовательности простых функций: \[ \begin{aligned} \xi_{1n}(\omega) &\leqslant \xi_{1, n+1}(\omega), & 0 \leqslant \xi_{1n}(\omega) &\limto{n \to \infty} \xi_1(\omega), \\ \xi_{2n}(\omega) &\leqslant \xi_{2, n+1}(\omega), & 0 \leqslant \xi_{2n}(\omega) &\limto{n \to \infty} \xi_2(\omega), \\ & \dots & \dots & \\ \xi_{kn}(\omega) &\leqslant \xi_{k, n+1}(\omega), & 0 \leqslant \xi_{kn}(\omega) &\limto{n \to \infty} \xi_k(\omega). \end{aligned} \] Тогда \[ \zeta_n(\omega) = \max_{k = 1, \dots, n} \set{ \xi_{kn}(\omega) } \] — простая неотрицательная функция, причём \[ 0 \leqslant \zeta_n(\omega) \leqslant \zeta_{n+1}(\omega). \] Справедливо неравенство: \[ \xi_{kn}(\omega) \leqslant \zeta_n(\omega) \leqslant \xi_n(\omega), \qquad k \leqslant n. \] При $n \to \infty$ имеет место неравенство \[ \xi_k(\omega) \leqslant \zeta(\omega) \leqslant \xi(\omega), \] где \[ \zeta(\omega) := \lim\limits_{n \to \infty} \zeta_n(\omega). \] При $k \to \infty$ справедливо неравенство \[ \xi(\omega) \leqslant \zeta(\omega) \leqslant \xi(\omega), \] откуда следует, что $\zeta(\omega) = \xi(\omega)$ для любого $\omega$.

По определению математического ожидания \[ E \zeta = E \xi = \lim\limits_{n \to \infty} E \zeta_n. \] Из неравенств следует, что \[ E \zeta_n \leqslant E \xi_n. \] Тогда получаем неравенство \[ E \zeta = E \xi = \lim\limits_{n \to \infty} E \zeta_n \leqslant \lim\limits_{n \to \infty} E \xi_n. \] До этого получали противоположное неравенство, поэтому \[ E \xi = \lim\limits_{n \to \infty} E \xi_n. \]

Пусть \[ P\set{ \omega: \xi_n(\omega) \leqslant \xi_{n+1}(\omega), \; 0 \leqslant \xi_n(\omega) \limto{n \to \infty} \xi(\omega) } = 1, \] тогда \[ \lim\limits_{n \to \infty} E \xi_n = E \xi. \]

Пусть $N$ — множество тех точек, в которых не выполнено условие теоремы, $P(N) = 0$. Введём случайные величины: \[ \begin{gathered} \tilde \xi_n(\omega) = \begin{cases} \xi_n(\omega), & \omega \not \in N, \\ 0, & \omega \in N, \end{cases} \\ \tilde \xi(\omega) = \begin{cases} \xi(\omega), & \omega \not \in N, \\ 0, & \omega \in N. \end{cases} \end{gathered} \] Для них для любого $\omega$ выполнено условие теоремы, поэтому \[ E \tilde \xi = \lim\limits_{n \to \infty} E \tilde \xi _n. \] Так как мера множества $N$ равна нулю, то \[ E \xi = E \tilde \xi = \lim\limits_{n \to \infty} E \tilde \xi_n = \lim\limits_{n \to \infty} E \xi_n. \]

Пусть для любого $\omega \in \Omega$ имеет место сходимость \[ \eta(\omega) \leqslant \xi_n(\omega) \limto{n \to \infty} \xi(\omega), \] а также для любого $\omega \in \Omega$ выполняется \[ \xi_n(\omega) \leqslant \xi_{n+1}(\omega). \] Пусть $E \eta \gt -\infty$, тогда \[ \lim\limits_{n \to \infty} E \xi_n = E \xi. \]

Рассмотрим \[ \tilde \xi_n = \xi_n - \eta \geqslant 0, \qquad \tilde \xi = \xi - \eta \geqslant 0. \] Для таких $\tilde \xi_n, \tilde \xi$ выполнены условия теоремы, следовательно, \[ E \tilde \xi_n \limto{n \to \infty} E \tilde \xi. \] Тогда \[ E \tilde \xi_n + E \eta \limto{n \to \infty} E \tilde \xi + E \eta. \] В силу свойства аддитивности получаем равенства \[ \begin{aligned} E \tilde \xi_n + E \eta &= E \xi_n, \\ E \tilde \xi + E \eta &= E \xi, \end{aligned} \] что завершает доказательство.

Пусть для любого $\omega \in \Omega$ имеет место сходимость \[ \eta(\omega) \geqslant \xi_n(\omega) \limto{n \to \infty} \xi(\omega), \] а также для любого $\omega \in \Omega$ выполняется \[ \xi_n(\omega) \geqslant \xi_{n+1}(\omega). \] Пусть $E \eta \lt \infty$, тогда \[ \lim\limits_{n \to \infty} E \xi_n = E \xi. \]

Рассмотрим \[ \tilde \eta(\omega) = -\eta(\omega), \qquad \tilde \xi(\omega) = -\xi(\omega), \qquad \tilde \xi_n(\omega) = -\xi_n(\omega). \] Получилось свести задачу к предыдущему следствию.

Пусть при всех $n$ выполняется $\xi_n(\omega) \geqslant 0$, тогда \[ \int\limits_{\Omega}^{} \sum\limits_{n=1}^{\infty} \xi_n(\omega) dP = \sum\limits_{n=1}^{\infty} \int\limits_{\Omega}^{} \xi_n(\omega) dP. \]

Рассмотрим частичную сумму ряда \[ 0 \leqslant S_n(\omega) = \sum\limits_{k=1}^{n} \xi_k(\omega) \limto{n \to \infty} \sum\limits_{k=1}^{\infty} \xi_k(\omega). \] Таким образом, условия теоремы выполняются, поэтому \[ \begin{aligned} \int\limits_{\Omega}^{} \sum\limits_{k=1}^{\infty} \xi_k(\omega) dP &= \lim\limits_{n \to \infty} \int\limits_{\Omega}^{} \sum\limits_{k=1}^{n} \xi_k(\omega) dP = \\ &= \lim\limits_{n \to \infty} \sum\limits_{k=1}^{n} \int\limits_{\Omega}^{} \xi_k(\omega) dP = \\ &= \sum\limits_{k=1}^{\infty} \int\limits_{\Omega}^{} \xi_k(\omega) dP. \end{aligned} \]

Лемма Фату. Теорема Лебега о мажорируемой сходимости

(Фату).

Пусть заданы случайные величины $\eta, \xi_1, \dots, \xi_n, \dots$ на вероятностном пространстве $(\Omega, \mathcal{F}, P)$, при этом \[ \eta(\omega) \leqslant \xi_n(\omega), \qquad E \eta \gt - \infty, \] тогда \[ \inflim\limits_{n \to \infty} E \xi_n \geqslant E \inflim\limits_{n \to \infty} \xi_n \]
Пусть \[ \xi_n(\omega) \leqslant \eta(\omega), \qquad E \eta \lt \infty, \] тогда \[ \suplim\limits_{n \to \infty} E \xi_n \leqslant E \suplim\limits_{n \to \infty} \xi_n. \]
Пусть заданы случайные величины $\eta, \xi_1, \dots, \xi_n, \dots$ на вероятностном пространстве $(\Omega, \mathcal{F}, P)$ такие, что \[ \abs{\xi_n(\omega)} \leqslant \eta(\omega), \qquad E \eta \lt \infty, \] тогда \[ E \inflim\limits_{n \to \infty} \xi_n \leqslant \inflim\limits_{n \to \infty} E \xi_n \leqslant \suplim\limits_{n \to \infty} E \xi_n \leqslant E \suplim\limits_{n \to \infty} \xi_n. \]

В равенстве \[ \inflim\limits_{n \to \infty} \xi_n(\omega) = \lim\limits_{n \to \infty} \inf_{m \geqslant n} \xi_m(\omega) \] обозначим \[ \zeta_n(\omega) := \inf_{m \geqslant n} \xi_m(\omega). \] Тогда по построению \[ \eta(\omega) \leqslant \zeta_n(\omega) \leqslant \zeta_{n+1}(\omega) \] и \[ \zeta_n(\omega) \limto{n \to \infty} \inflim\limits_{n \to \infty} \xi_n(\omega). \] Согласно следствию 2 теоремы о монотонном предельном переходе под знаком интеграла Лебега справедливо \[ E \inflim\limits_{n \to \infty} \xi_n = \lim\limits_{n \to \infty} E \zeta_n = \inflim\limits_{n \to \infty} E \zeta_n \leqslant \inflim\limits_{n \to \infty} E \xi_n. \] Так как $\zeta_n(\omega) \leqslant \xi_n(\omega)$, то \[ E \zeta_n(\omega) \leqslant E \xi_n(\omega). \]
Достаточно умножить все случайные величины на -1 — сведём к случаю 1.
Это утверждение следует из 1 и 2 пунктов.

(о мажорируемой сходимости).

Пусть $\eta(\omega), \xi(\omega), \xi_1(\omega), \dots, \xi_n(\omega), \dots$ — случайные величины, заданные на вероятностном пространстве $(\Omega, \mathcal{F}, P)$. Выполнены условия: \[ E \eta \lt \infty, \qquad \abs{\xi_n(\omega)} \leqslant \eta(\omega), \qquad \lim\limits_{n \to \infty} \xi_n(\omega) \overset{\text{п.н.}}{=} \xi(\omega), \] тогда

Существует конечное математическое ожидание $E\xi$.
Имеет место сходимость \[ E \xi_n \limto{n \to \infty} E \xi. \]
Имеет место сходимость \[ E \abs{\xi(\omega) - \xi_n(\omega)} \limto{n \to \infty} 0. \]

Так как $\abs{\xi_n(\omega)} \leqslant \eta(\omega)$, можно сделать предельный переход: \[ \abs{\xi(\omega)} \overset{\text{п.н.}}{\leqslant} \eta(\omega). \] Согласно свойству положительности интеграла Лебега справедливо неравенство: \[ E \abs{\xi} \leqslant E \eta \lt \infty. \] Согласно свойству конечности интеграла Лебега $E \xi \in \R$.
Условия теоремы Фату выполнены, тогда \[ E \inflim\limits_{n \to \infty} \xi_n \leqslant \inflim\limits_{n \to \infty} E \xi_n \leqslant \suplim\limits_{n \to \infty} E \xi_n \leqslant E \suplim\limits_{n \to \infty} \xi_n. \] Так как \[ \begin{aligned} \inflim\limits_{n \to \infty} \xi_n \overset{\text{п.н.}}{=} \lim\limits_{n \to \infty} \xi_n(\omega) \overset{\text{п.н.}}{=} \xi(\omega), \\ \suplim\limits_{n \to \infty} \xi_n \overset{\text{п.н.}}{=} \lim\limits_{n \to \infty} \xi_n(\omega) \overset{\text{п.н.}}{=} \xi(\omega), \end{aligned} \] то получаем искомое равенство.
Доказывается аналогично.

Теорема о замене переменной под знаком интеграла Лебега. Следствия

(о замене переменной).

Пусть на вероятностном пространстве $(\Omega, \mathcal{F}, P)$ задан случайный вектор $\xi(\omega)$ и измеримая относительно борелевских сигма-алгебр функция \[ g: \R^n \to \R. \] Тогда если существует один из двух интегралов \[ \int\limits_{\Omega}^{} g(\xi(\omega)) dP, \qquad \int\limits_{\R^n}^{} g(x) dP_\xi, \] где $P_\xi$ — распределение случайного вектора $\xi$, то существует и второй, причём они равны: \[ \tag{4.1} \int\limits_{\Omega}^{} g(\xi(\omega)) dP = \int\limits_{\R^n}^{} g(x) dP_\xi. \]

Проверим, что равенство соблюдается для всех 3 пунктов определения математического ожидания. Заметим, что борелевская функция $g(x)$ на пространстве $(\R^n, \bor{n}, P_\xi)$ является случайной величиной.

Пусть $g(x) \geqslant 0$ — простая числовая функция такая, что \[ g(x) = \sum\limits_{i=1}^{m} a_i I\set{ x \in A_i }, \] где \[ A_k \cap A_l = \varnothing, \qquad \bigcup\limits_{k=1}^{m} A_k = \R^n, \qquad A_k \in \bor{n}. \] Рассмотрим следующую функцию этого класса: \[ g(x) = 1 \cdot I \set{ x \in A } + 0 \cdot I \set{ x \in \overline{A} }. \] Подставим это выражение в левую часть равенства \[ \int\limits_{\Omega}^{} g(\xi(\omega)) dP = \int\limits_{\R^n}^{} g(x) dP_\xi \] и рассмотрим интеграл \[ \int\limits_{\Omega}^{} I\set{ \xi(\omega) \in A } dP = P \set{ \xi \in A } = P \set{ \xi^{-1}(A) }. \] Тогда \[ \int\limits_{\R^n}^{} I\set{ x \in A } dP_\xi = P_\xi(A). \] Значит, можно утверждать справедливость формулы \[ \int\limits_{\Omega}^{} I\set{ \xi(\omega) \in A_i } dP = \int\limits_{\R^n}^{} I\set{ x \in A_i } dP_\xi. \] Домножим обе части равенства на $a_i$ и просуммируем, воспользовавшись свойством аддитивности: \[ \int\limits_{\Omega}^{} g(\xi(\omega)) dP = \int\limits_{\R^n}^{} g(x) dP_\xi. \]
Пусть $g(x) \geqslant 0$ — расширенная числовая функция. Существует последовательность простых функций $g_k(x)$ такая, что \[ g_k(x) \leqslant g_{k+1}(x), \qquad 0 \leqslant g_k(x) \limto{k \to \infty} g(x). \] По определению мат. ожидания получаем \[ \int\limits_{\Omega}^{} g(\xi(\omega)) dP = \lim\limits_{k \to \infty} \int\limits_{\Omega}^{} g_k(\xi(\omega)) dP. \] Также можно написать: \[ \int\limits_{\R^n}^{} g(x) dP_\xi = \lim\limits_{k \to \infty} \int\limits_{\R^n}^{} g_k(x) dP_\xi. \] Следовательно, \[ \int\limits_{\Omega}^{} g(\xi(\omega)) dP = \int\limits_{\R^n}^{} g(x) dP_\xi. \]
Любую расширенную числовую функцию $g(x)$ можно представить в виде \[ g(x) = g^+(x) - g^-(x). \] По отдельности для $g^+(x)$ и $g^-(x)$ равенство доказано: \[ \begin{aligned} \int\limits_{\Omega}^{} g^+(\xi(\omega)) dP &= \int\limits_{\R^n}^{} g^+(x) dP_\xi, \\ \int\limits_{\Omega}^{} g^-(\xi(\omega)) dP &= \int\limits_{\R^n}^{} g^-(x) dP_\xi. \end{aligned} \] Но тогда можно утверждать, что справедливо равенство \[ \int\limits_{\Omega}^{} g(\xi(\omega)) dP = \int\limits_{\R^n}^{} g(x) dP_\xi, \] так как если существует левая часть, то существует и правая часть равенства, и наоборот.

Пусть выполнены условия теоремы, $n = 1, g(x) = x$, тогда \[ \tag{4.2} E \xi = \int\limits_{\Omega}^{} \xi(\omega) dP = \int\limits_{\R}^{} x dP_\xi. \]

В равенствах (4.1) и (4.2) интегралы в правых частях зависят от случайных величин только через их распределения, поэтому они могут быть записаны специальным образом: \[ \begin{aligned} \int\limits_{\R^n}^{} g(x) dP_\xi &\equiv \int\limits_{-\infty}^{+\infty} \cdots \int\limits_{-\infty}^{+\infty} g(x) dF_\xi(x), \\ \int\limits_{\R}^{} x dP_\xi &\equiv \int\limits_{-\infty}^{+\infty} x dF_\xi(x). \end{aligned} \] Эти интегралы называются интегралами Лебега-Стилтьеса.

Пусть $n = 1$, тогда \[ \int\limits_{\Omega}^{} g(\xi(\omega)) dP = \int\limits_{\R}^{} g(x) dP_\xi = \int\limits_{-\infty}^{\infty} g(x) dF_\xi(x). \] Здесь важно, что суперпозиция функций также является случайной величиной $\eta(\omega) = g(\xi_1(\omega))$. Из предыдущего следствия получаем \[ E(g(\xi)) = \int\limits_{\Omega}^{} g(\xi(\omega)) dP = \int\limits_{-\infty}^{\infty} g(x) dF_\xi(x) = \int\limits_{-\infty}^{\infty} y dF_\eta(y). \]

Пусть выполнены все условия теоремы и $B \in \bor{n}$, тогда если существует один из интегралов, то существует и второй, и они равны: \[ \int\limits_{\xi^{-1}(B)}^{} g(\xi(\omega)) dP = \int\limits_{B}^{} g(x) dP_\xi. \]

Достаточно рассмотреть функцию \[ \tilde g(x) = I\set{ x \in B } g(x). \]

Пусть выполнены условия предыдущей теоремы, а у случайного вектора $\xi$ существует плотность распределения $f_\xi(x)$. Тогда если существует один из интегралов, то существует и второй, и они равны: \[ \int\limits_{\R^n}^{} g(\xi) dP_\xi = \int\limits_{-\infty}^{\infty} \cdots \int\limits_{-\infty}^{\infty} g(x) f_\xi(x) dx_1 \cdots dx_n. \]

Доказательство аналогично доказательству предыдущей теоремы, поэтому сделаем только первый шаг в доказательстве и укажем дальнейшие шаги.

Рассмотрим функцию \[ g(x) = I\set{ x \in A }, \qquad A \in \bor{n}, \] тогда \[ \int\limits_{\Omega}^{} I\set{ \xi(\omega) \in A } dP = P\set{ \xi^{-1}(A) }. \] Справедливы равенства \[ \begin{aligned} \int\limits_{-\infty}^{\infty} \cdots \int\limits_{-\infty}^{\infty} I\set{ x \in A } f_\xi(x) dx &= \int\limits_{\R^n}^{} I\set{ x \in A } f_\xi(x) dx = \\ &= \int\limits_{A}^{} f_\xi(x) dx = \\ &= P_\xi(A) = \\ &= P\set{ \xi^{-1}(A) }. \end{aligned} \]

Далее рассуждение повторяется, имеется только одно отличие. В части 2 доказательства теоремы, применив теорему о монотонной сходимости под знаком интеграла Лебега, получим \[ \begin{aligned} \int\limits_{\Omega}^{} g(\xi(\omega)) dP &= \lim\limits_{k \to \infty} \int\limits_{\Omega}^{} g_k(\xi(\omega)) dP, \\ \int\limits_{\R^n}^{} g(x) f_\xi(x) dx &= \lim\limits_{k \to \infty} \int\limits_{\Omega}^{} g_k(x) f_\xi(x) dx, \end{aligned} \] откуда следует доказываемое утверждение.

(о связи интеграла Лебега и интеграла Римана).

Пусть $g(x)$ задана на отрезке $[a,b]$ и существует интеграл Римана, который обозначим через \[ (R) \int\limits_{a}^{b} g(x) dx, \] тогда существует и интеграл Лебега, который обозначим через \[ (L) \int\limits_{a}^{b} g(x) dx, \] и они равны: \[ (R) \int\limits_{a}^{b} g(x) dx = (L) \int\limits_{a}^{b} g(x) dx. \]
Пусть $g(x) \geqslant 0$ на $[a, +\infty)$ и на любом отрезке $[a,b]$ существует интеграл Римана \[ (R) \int\limits_{a}^{b} g(x) dx, \] тогда существуют и равны следующие интегралы: \[ (R) \int\limits_{a}^{+\infty} g(x) dx = (L) \int\limits_{a}^{+\infty} g(x) dx. \] Несобственный интеграл Римана совпадает с интегралом Лебега. Отметим, что оба интеграла могут быть равны $+\infty$.

Формулы для вычисления математических ожиданий

Пусть $\xi(\omega) \geqslant 0$ — простая случайная величина: \[ \xi(\omega) = \sum\limits_{i=1}^{m} a_i I\set{ \omega \in A_i }. \] Математическое ожидание простой случайной величины можно вычислить по формуле \[ E \xi = \sum\limits_{i=1}^{m} a_i P(A_i). \] Всегда можно добиться того, чтобы все значения $a_i$ были различными, тогда $A_i = \xi^{-1}(a_i)$, откуда получаем формулу для вычисления математического ожидания неотрицательной простой случайной величины: \[ E \xi = \sum\limits_{i=1}^{m} a_i P\set{ \xi = a_i }. \]
Пусть $\xi(\omega)$ — простая случайная величина: \[ \xi(\omega) = \sum\limits_{i=1}^{m} b_i I\set{ \omega \in B_i }. \] Также $\xi(\omega)$ можно представить в виде \[ \xi(\omega) = \xi^+(\omega) - \xi^-(\omega), \] где \[ \begin{aligned} \xi^+(\omega) &= \sum\limits_{i=1}^{m} b_i^+ I\set{ \omega \in B_i }, \\ \xi^-(\omega) &= \sum\limits_{i=1}^{m} b_i^- I\set{ \omega \in B_i }. \end{aligned} \] Математическое ожидание простой случайной величины можно вычислить как \[ \begin{aligned} E \xi &= E \xi^+ - E \xi^- = \\ &= \sum\limits_{i=1}^{m} b_i^+ P(B_i) - \sum\limits_{i=1}^{m} b_i^- P(B_i) = \\ &= \sum\limits_{i=1}^{m} b_i P(B_i), \end{aligned} \] где $b_i = b_i^+ - b_i^-$. Всегда можно добиться того, чтобы все значения $b_i$ были бы различными, тогда $B_i = \xi^{-1}(b_i)$, откуда получаем формулу для вычисления математического ожидания простой случайной величины: \[ E \xi = \sum\limits_{i=1}^{m} b_i P\set{ \xi = b_i }. \]
Пусть $\xi(\omega)$ — дискретная случайная величина: \[ \xi(\omega) = \sum\limits_{i=1}^{\infty} b_i I \set{ \omega \in B_i }, \] где \[ B_i \cap B_j = \varnothing, \qquad \bigcup\limits_{i=1}^{\infty} B_i = \Omega. \] Всегда можно добиться того, чтобы $b_i \neq b_j$, тогда $B_i = \xi^{-1}(b_i)$. Выделим положительную и отрицательную части: \[ \xi(\omega) = \xi^+(\omega) - \xi^-(\omega), \] где \[ \begin{aligned} \xi^+(\omega) &= \sum\limits_{i=1}^{\infty} b_i^+ I\set{ \omega \in B_i }, \\ \xi^-(\omega) &= \sum\limits_{i=1}^{\infty} b_i^- I\set{ \omega \in B_i }. \end{aligned} \] Тогда \[ \begin{aligned} \xi_n^+(\omega) &\leqslant \xi_{n+1}^+(\omega), & 0 \leqslant \xi_n^+(\omega) = \sum\limits_{i=1}^{n} b_i^+ I\set{ \omega \in B_i } & \limto{k \to \infty} \xi^+(\omega), \\ \xi_n^-(\omega) &\leqslant \xi_{n+1}^-(\omega), & 0 \leqslant \xi_n^-(\omega) = \sum\limits_{i=1}^{n} b_i^- I\set{ \omega \in B_i } & \limto{k \to \infty} \xi^-(\omega). \end{aligned} \] Следовательно, \[ \begin{aligned} E\xi^+ &= \lim\limits_{n \to \infty} E \xi_n^+ = \lim\limits_{n \to \infty} \sum\limits_{i=1}^{n} b_i^+ P(B_i) = \sum\limits_{i=1}^{\infty} b_i^+ P(B_i), \\ E\xi^- &= \lim\limits_{n \to \infty} E \xi_n^- = \lim\limits_{n \to \infty} \sum\limits_{i=1}^{n} b_i^- P(B_i) = \sum\limits_{i=1}^{\infty} b_i^- P(B_i). \end{aligned} \] Тогда математическое ожидание случайной величины можно вычислить так: \[ E \xi = E \xi^+ - E \xi^- = \sum\limits_{i=1}^{\infty} b_i^+ P(B_i) - \sum\limits_{i=1}^{\infty} b_i^- P(B_i). \]
Справедливы утверждения:
- Если $E \xi^+ = \infty$, а $E \xi^- \in R$, то $E \xi = \infty$.
- Если $E \xi^+ \in \R$, а $E \xi^- = \infty$, то $E \xi = -\infty$.
- Если $E \xi^+ \R$, а $E \xi^- \in R$, то \[ E \xi = \sum\limits_{i=1}^{\infty} b_i P(B_i), \] причём ряд сходится в абсолютном смысле.
- Если $E \xi^+ = \infty$, а $E \xi^- = \infty$, то $E \xi$ не существует.
Рассмотрим случайную величину $\xi$, у которой существует плотность распределения $f_\xi(x)$. Математическое ожидание такой случайной величины можно вычислить по формуле: \[ E \xi = \int\limits_{-\infty}^{\infty} x f_\xi(x) dx = \int\limits_{0}^{\infty} x f_\xi(x) dx - \int\limits_{-\infty}^{0} \abs{x} f_\xi(x) dx, \] если интеграл Лебега существует. В общем случае верна формула \[ E \xi = \int\limits_{-\infty}^{\infty} x dF_\xi(x). \] Если существует плотность распределения, то \[ E g(\xi) = \int\limits_{-\infty}^{\infty} g(x) dF_\xi(x) = \int\limits_{-\infty}^{\infty} g(x) f_\xi(x) dx. \]

Моменты случайных величин. Дисперсия

Рассмотрим вероятностное пространство $(\Omega, \mathcal{F}, P)$.

Начальным моментом порядка $k$ случайной величины $\xi$ называется интеграл Лебега-Стилтьеса \[ a_k = E(\xi^k) = \int\limits_{-\infty}^{\infty} x^k dF_\xi(x), \] если математическое ожидание $E(\xi^k)$ существует и конечно.

Центральным моментом порядка $k$ случайной величины $\xi$ называется интеграл Лебега-Стилтьеса \[ a_k^0 = E\paren{ \xi - E \xi }^k = \int\limits_{-\infty}^{\infty} \paren{ \xi - E \xi }^k dF_\xi(x), \] если интеграл существует и конечен.

Центральный момент второго порядка $a_2^0$ называют дисперсией случайной величины $\xi$ и обозначают $D \xi$.
Среднеквадратичным отклонением случайной величины $\xi$ называется число $\sigma_\xi = \sqrt{D \xi}$.

Свойства дисперсии

Предполагаем, что $E(\xi^2) \lt \infty$.

Дисперсия случайной величины $\xi$ удовлетворяет условию \[ D \xi \geqslant 0. \] При этом $D \xi = 0$ тогда и только тогда, когда $\xi \overset{\text{п.н.}}{=} \const$, то есть является вырожденной случайной величиной.
Очевидно, что \[ D \xi = \sigma_\xi^2 \geqslant 0. \] По свойству интеграла Лебега \[ D\xi = E(\xi - E \xi)^2 = 0 \] тогда и только тогда, когда \[ \xi(\omega) \overset{\text{п.н.}}{=} E\xi \in \R. \]
Пусть случайная величина $\eta$ связана со случайной величиной $\xi$ следующим равенством: \[ \eta(\omega) \overset{\text{п.н.}}{=} a \xi + b, \] тогда \[ D \eta = a^2 D\xi. \]
Согласно определению дисперсии \[ D \eta = D(a \xi + b) = E\paren{a \xi + b - E\paren{a \xi + b}}^2. \] Так как \[ E(a \xi + b) = a E \xi + b, \] то \[ D \eta = E(a \xi - a E \xi)^2 = E(a (\xi - E \xi))^2 = a^2 D\xi. \]
Пусть случайные величины $\xi$ и $\eta$ независимы, тогда \[ D(\xi \pm \eta) = D \xi + D \eta. \]
По определению дисперсии \[ \begin{aligned} D(\xi \pm \eta) &= E\paren{ (\xi - E \xi) \pm (\eta - E \eta) }^2 = \\ &= D \xi + D \eta \pm 2 E (\xi - E \xi) (\eta - E \eta) = \\ &= D \xi + D \eta, \end{aligned} \] так как в силу независимости случайных величин слагаемое \[ E(\xi - E \xi)(\eta - E \eta) = E (\xi - E \xi) \cdot E (\eta - E \eta) = 0. \]
Имеет место формула для вычисления дисперсии: \[ D \xi = E(\xi^2) - (E \xi)^2. \]
По определению дисперсии \[ D \xi = E (\xi - E \xi)^2 = E \xi^2 - 2 E \xi E \xi + (E \xi)^2 = E \xi^2 - (E \xi)^2. \]
Справедливо неравенство \[ D \xi \leqslant E (\xi - a)^2, \] где $a$ — константа, при этом \[ D \xi = E (\xi - a)^2 \iff a = E \xi. \]
Рассмотрим $E (\xi - a)^2$. К выражению в скобках прибавим и вычтем $E\xi$: \[ \begin{aligned} E (\xi - a)^2 &= E((\xi - E\xi) + (E \xi - a))^2 = \\ &= E (\xi - E \xi)^2 + 2 (E \xi - a) E(\xi - E \xi) + (E \xi - a)^2 = \\ &= D \xi + (E \xi - a)^2, \end{aligned} \] где \[ E (\xi - E \xi)^2 \bydef= D\xi, \qquad E(\xi - E \xi) = 0. \]

Неравенство Чебышёва. Другие неравенства

(неравенство Чебышёва).

Пусть $\xi \geqslant 0$. Тогда для любого $\varepsilon \gt 0$ справедливо неравенство \[ P\set{ \xi \geqslant \varepsilon } \leqslant \frac{E \xi}{\varepsilon}. \]

Справедливо неравенство: \[ \xi(\omega) \geqslant \xi(\omega) I\set{ \xi(\omega) \geqslant \varepsilon } \geqslant \varepsilon I\set{ \xi(\omega) \geqslant \varepsilon }. \] Проинтегрируем неравенство и применим свойство положительности интеграла Лебега: \[ E \xi \geqslant \varepsilon P\set{ \xi(\omega) \geqslant \varepsilon }. \]

Справедливо неравенство \[ P\set{ \abs{\xi - E \xi} \geqslant \varepsilon } \leqslant \frac{D \xi}{\varepsilon^2}. \]

Преобразуем выражение: \[ P\set{ \abs{\xi - E \xi} \geqslant \varepsilon } = P\set{ \paren{\xi - E \xi}^2 \geqslant \varepsilon^2 }. \] Пользуясь неравенством Чебышёва, получаем \[ P\set{ \paren{\xi - E \xi}^2 \geqslant \varepsilon^2 } \leqslant \frac{E (\xi - E \xi)^2}{\varepsilon^2} = \frac{D \xi}{\varepsilon^2}. \]

Ковариация, корреляция

Условные математические ожидания простых случайных величин

Условные математические ожидания произвольных случайных величин

Многомерное нормальное распределение

Виды сходимостей последовательностей случайных величин (все определения)

Иерархия видов сходимостей. Теорема и пример

Определение сходимости почти наверное и фундаментальности с вероятностью единица. Критерий сходимости почти наверное (без док-ва)

Лемма Бореля-Кантелли (док-во первого пункта)

Определение сходимости по распределению, сходимости функции распределения в основном. Эквивалентность этих сходимостей (без док-ва). Теорема о сходимости в основном. Теорема о сходимости по распределению к константе

Комплексные случайные величины и их свойства

Характеристические функции и их свойства

Примеры характеристических функций

Характеристические функции нормального распределения (одномерное и многомерное)

Метод характеристических функций в доказательстве предельных теорем (док-во первого пункта)

Закон больших чисел для сумм независимых одинаково распределённых случайных величин. Следствие для схемы Бернулли

Центральная предельная теорема для сумм независимых одинаково распределённых случайных величин. Два следствия

Неравенство Колмогорова, лемма Теплица. Лемма о сходимости ряда случайных величин

Лемма Кронекера. Усиленный закон больших чисел для сумм независимых произвольно распределённых случайных величин

Выборочное пространство

Эмпирическая функция распределения. Предельная теорема для эмпирической функции распределения

Теорема Гливенко-Кантелли

Гистограмма. Описательная статистика

Статистика хи-квадрат. Предельное распределение статистики хи-квадрат

Критерий согласия Пирсона хи-квадрат

Критерий согласия Колмогорова

Свойства точечных оценок

Методы построения точечных оценок. Метод моментов, примеры

Методы построения точечных оценок. Метод максимального правдоподобия, примеры