ТВиМС — 06 — Основные понятия

Элементарное событие, событие. Невозможное, достоверное события. Пространство элементарных событий

Пусть проводится некоторый эксперимент, в результате которого может произойти одно из элементарных событий.

Под элементарными событиями понимают события (исходы), которые нельзя разделить на составные части, также являющиеся событиями. Объединение элементарных событий образует пространство элементарных событий $\Omega$.

Любое событие $A$ является совокупностью элементарных событий, то есть $A \subset \Omega$.

Говорят, что событие $A$ произошло, если произошло некоторое элементарное событие $\omega \in A$.

Событие, заключающееся в том, что произошло хотя бы одно из событий $A$ или $B$, обозначают через $A \cup B$.
Событие, которое происходит, когда происходят одновременно и событие $A$, и событие $B$, обозначают как $A \cap B$.

Если $A \cap B = \varnothing$, то события $A$ и $B$ называют несовместными.

Пустое множество $\varnothing$ принято называть невозможным событием, а множество $\Omega$ — достоверным событием.

Дополнение события $A$ принято обозначать как \[ \overline{A} = \Omega \setminus A = \set{ \omega: \omega \not\in A }. \]

Разбиение множества $\Omega$

Рассмотрим множества $A_1, \dots, A_m$ такие, что выполнены условия:

Пересечение любых двух различных множеств является пустым: \[ A_i \cap A_j = \varnothing, \quad i \neq j. \]
Объединение всех множеств совпадает с пространством элементарных событий: \[ \bigcup_{i=1}^m A_i = \Omega. \]

Система множеств $\set{A_i}_{i=1}^m$, удовлетворяющая условиям 1 и 2, называется разбиением множества $\Omega$ или полной группой событий.

Алгебра множеств

Совокупность $\mathcal{A} \subset 2^\Omega$ называется алгеброй, если выполнены следующие условия:

$\Omega \in \mathcal{A}$.
Если $A \in \mathcal{A}$ и $B \in \mathcal{A}$, то $A \cup B \in \mathcal{A}$.
$\forall A \in \mathcal{A} \quad \overline{A} \in \mathcal{A}$.

Множества, входящие в алгебру, будем называть событиями.

$\sigma$-алгебра

Алгебра $\mathcal{F}$ подмножеств множества $\Omega$ называется $\sigma$-алгеброй, если она замкнута относительно объединения счётной совокупности множеств: \[ \set{ A_n }_{n=1}^\infty, \quad A_n \in \mathcal{F}, n \in \mathbb{N} \implies \bigcup_{n=1}^\infty A_n \in \mathcal{F}. \]

Алгебра, порождённая множеством $B$

Алгеброй, порождённой множеством $B \subset \Omega$, называется система подмножеств \[ \alpha(B) = \set{ B, \overline{B}, \varnothing, \Omega }. \]

Конечно-аддитивная вероятностная мера

Пусть $\mathcal{A}$ — алгебра подмножеств множества $\Omega$. Числовая функция $\mu(\cdot)$, заданная на алгебре $\mathcal{A}$, называется конечно-аддитивной мерой, если выполнены следующие условия:

для любого множества $A \in \mathcal{A}$ выполнено $\mu(A) \geqslant 0$;
для любых множеств $A_1, A_2 \in \mathcal{A}$ таких, что $A_1 \cap A_2 = \varnothing$, имеет место равенство \[ \mu(A_1 \cup A_2) = \mu(A_1) + \mu(A_2); \]
$\mu(\varnothing) = 0$.

Конечно-аддитивная мера $\mu(\cdot)$ называется конечной, если $\mu(\Omega)$ конечно.

Если $\mu(\Omega) = 1$, то конечно-аддитивная мера $\mu(\cdot)$ называется конечно-аддитивной вероятностной мерой и обозначается через $P$.

Счётно-аддитивная вероятностная мера

Пусть $\mathcal{A}$ — алгебра подмножеств множества $\Omega$. Конечно-аддитивная мера $\mu(\cdot)$, заданная на алгебре $\mathcal{A}$, называется счётно-аддитивной ($\sigma$-аддитивной) мерой, если выполнено следующее условие:

если имеется счётная совокупность событий $\set{A_i}_{i=1}^\infty$, где $A_i \in \mathcal{A}$, такая, что \[ \bigcup_{i=1}^\infty A_i \in \mathcal{A}, \qquad A_i \cap A_j = \varnothing, \quad i \neq j, \] то имеет место равенство \[ \mu \paren{ \bigcup_{i=1}^\infty A_i } = \sum_{i=1}^\infty \mu(A_i). \]

Счётно-аддитивная мера $\mu$ называется $\sigma$-конечной, если существует счётное разбиение множества \[ \Omega = \bigcup_{i=1}^\infty D_i, \] причём \[ D_i \in \mathcal{A}, \qquad D_i \cap D_j = \varnothing, \quad i \neq j, \] такое, что $\mu(D_i) \lt \infty$.

Счётно-аддитивная мера $\mu$ называется конечной, если $\mu(\Omega) \lt \infty$. Если $\mu(\Omega) = 1$, то счётно-аддитивная мера $\mu$ называется счётно-аддитивной вероятностной мерой (или вероятностью)

Статистический подход к определению вероятности

Рассмотрим некоторое событие $A \in \mathcal{A}$. Проведём статистический эксперимент $N$ раз. В этом эксперименте событие $A$ произошло $N(A)$ раз. Тогда отношение $N(A) / N$ — относительная частота появления события $A$. При $N \to \infty$ относительная частота стабилизируется, но о сходимости говорить нельзя. Можно говорить о «статистической устойчивости» относительных частот. Вероятность появления события $A$, которую обозначим через $p$, приближённо равна $N(A)/N$.

Теория вероятности может применяться только к тем экспериментам, в которых наблюдается «статистическая устойчивость» относительных частот.

Аксиоматическое определение вероятности

Счётно-аддитивная вероятностная мера $P$ (вероятность), определённая на алгебре $\mathcal{A}$ подмножеств множества $\Omega$, обладает следующими свойствами:

Вероятность любого события неотрицательна: \[ \forall A \in \mathcal{A} \quad P(A) \geqslant 0. \]
$P(\Omega) = 1$.
Для любых двух множеств $A_1, A_2 \in \mathcal{A}$ \[ A_1 \cap A_2 = \varnothing \implies P(A_1 \cup A_2) = P(A_1) + P(A_2). \]
Если $\set{A_i}_{i=1}^\infty$ — последовательность событий такая, что \[ A_i \in \mathcal{A}, \qquad A_i \cap A_j = \varnothing, \quad i \neq j, \qquad \bigcup_{i=1}^\infty A_i \in \mathcal{A}, \] то справедливо равенство \[ P \paren{ \bigcup_{i=1}^\infty A_i } = \sum_{i=1}^\infty P(A_i). \]

Классическое определение вероятности

Пусть множество $\Omega$ конечное.

Формулу \[ P(A) = \frac{\abs{A}}{\abs{\Omega}} \] называют классическим определением вероятности.

Свойства вероятности (7 штук)

Вероятность невозможного события равна нулю: $P(\varnothing) = 0$.
Для любого события $A \in \mathcal{A}$ выполнено $P(A) = 1 - P(\overline{A})$.
Для событий $A,B \in \mathcal{A}$ таких, что $A \subset B$, справедливо неравенство: $P(A) \leqslant P(B)$.
Формула сложения вероятностей: для любых событий $A,B \in \mathcal{A}$ справедливо равенство \[ P(A \cup B) = P(A) + P(B) - P(A \cap B). \]
Для любых событий $A_1, \dots, A_m \in \mathcal{A}$ выполняется неравенство \[ P \paren{ \bigcup_{i=1}^m A_i } \leqslant \sum_{i=1}^m P(A_i). \]
Для любых событий $A_1, \dots, A_m \in \mathcal{A}$ справедливо равенство \[ \begin{aligned} P \paren{ \bigcup_{i=1}^m A_i } &= \sum_{i=1}^m P(A_i) - \sum_{1 \leqslant i_1 \lt i_2 \leqslant m} P(A_{i_1} \cap A_{i_2}) + \\ &\phantom{=}+ \sum_{1 \leqslant i_1 \lt i_2 \lt i_3 \leqslant m} P(A_{i_1} \cap A_{i_2} \cap A_{i_3}) + \cdots \\ &\phantom{=}+ (-1)^{m-1} P(A_1 \cap \cdots \cap A_m). \end{aligned} \]
Пусть $\set{A_i}_{i=1}^\infty$ — последовательность событий такая, что \[ A_i \in \mathcal{A}, \qquad \bigcup_{i=1}^\infty A_i \in \mathcal{A}, \] тогда имеет место следующее неравенство \[ P \paren{ \bigcup_{i=1}^\infty A_i } \leqslant \sum_{i=1}^\infty P(A_i). \]

Свойства 1-6 справедливы для любой конечно-аддитивной вероятностной меры. Свойство 7 предполагает счётную аддитивность вероятностной меры.

Теорема о непрерывности вероятностной меры (формулировка)

(о непрерывности вероятностной меры).

Пусть $\mathcal{A}$ — алгебра подмножеств множества $\Omega$, $P$ — конечно-аддитивная вероятностная мера, заданная на алгебре $\mathcal{A}$. Следующие утверждения эквивалентны:

Вероятностная мера $P$ — счётно-аддитивная.
Конечно-аддитивная вероятностная мера $P$ непрерывна «сверху», то есть для любой последовательности множеств $\set{ A_n }_{n=1}^\infty$ такой, что \[ A_n \in \mathcal{A}, \qquad \bigcup_{i=1}^\infty A_i \in \mathcal{A}, \qquad A_n \subset A_{n+1}, \] выполняется \[ P(A_n) \limto{n \to \infty} P \paren{ \bigcup_{m=1}^\infty A_m }. \]
Конечно-аддитивная вероятностная мера $P$ непрерывна «снизу», то есть для любой последовательности множеств $\set{ A_n }_{n=1}^\infty$ такой, что \[ A_n \in \mathcal{A}, \qquad \bigcap_{i=1}^\infty A_i \in \mathcal{A}, \qquad A_n \supset A_{n+1}, \] выполняется \[ P(A_n) \limto{n \to \infty} P \paren{ \bigcap_{m=1}^\infty A_m }. \]
Конечно-аддитивная вероятностная мера $P$ «непрерывна в нуле», то есть для любой последовательности множеств $\set{ A_n }_{n=1}^\infty$ такой, что \[ A_n \in \mathcal{A}, \qquad \bigcap_{i=1}^\infty A_i = \varnothing, \qquad A_n \supset A_{n+1}, \] выполняется \[ P(A_n) \limto{n \to \infty} 0. \]

Урновые схемы

(правило умножения в комбинаторике).

Пусть имеется $r$ групп различных объектов. В первую группу входит $n_1$ объектов, во вторую — $n_2$ объектов и так далее. Будем составлять различные комбинации этих объектов следующим образом: последовательно из групп будем выбирать по одному объекту и располагать их в порядке появления. Тогда всего возможно $n_1 n_2 \cdots n_r$ различных комбинаций.

Упорядоченный выбор с возвращением
Пусть имеется урна с $n$ шарами. Каждый шар имеет свой номер от $1$ до $n$. Произведём из них последовательный случайный выбор $r$ шаров, при этом возвращая каждый вынутый шар обратно. Тогда элементарным событием будет вектор $\omega = (a_1, \dots, a_r)$, где $a_1 = 1, \dots, n$, к тому же шары могут совпадать. Мощность пространства элементарных событий $\Omega$ в данном случае равна $n^r$. В качестве вероятностной меры возьмём отношение $1/\abs{\Omega}$, или $P(\omega) = 1/n^r$.
Упорядоченный выбор без возвращения
В этом случае вынутые на каждом шаге шары не возвращаются в урну. Пространство элементарных событий может быть определено следующим образом: \[ \Omega = \set{ (a_1, \dots, a_r): a_i = 1,\dots,n, \; a_i \neq a_j, i \neq j }. \] Мощность этого множества равна \[ A_n^r = n (n-1) \cdots (n - r + 1), \] где $A_n^r$ — число размещений из $n$ по $r$. Вероятность: $P(\omega) = 1 / A_n^r$.
Неупорядоченный выбор без возвращения
Пространство элементарных событий может быть определено следующим образом: \[ \Omega = \set{ [a_1, \dots, a_r]: a_i = 1,\dots,n, \; a_i \neq a_j, i \neq j }. \] Квадратные скобки означают, что порядок появления шаров неизвестен. Мощность этого множества называют числом сочетаний из $n$ по $r$ и обозначают через $C_n^r$. Имеет место равенство \[ A_n^r = C_n^r \cdot r!, \] поэтому \[ \abs{\Omega} = C_n^r = \frac{n!}{r!(n-r)!}. \] Вероятность: $P(\omega) = 1/C_n^r$.
Неупорядоченный выбор с возвращением
Пространство элементарных событий: \[ \Omega = \set{ [a_1, \dots, a_r]: a_i = 1,\dots,n }. \] Порядок появления шаров неизвестен. Так как $\abs{\Omega} \lt \infty$, а все элементарные события равновероятны, то $P(\omega) = 1 / \abs{\Omega}$.

Пусть $r_1 \geqslant 0$ — число появлений в выборке шара $a_1$, $r_2 \geqslant 0$ — шара $a_2$, и так далее, при этом \[ \sum_{i=1}^n r_i = r, \qquad r \in \set{0, \dots, r}. \] Найдём количество решений этого уравнения. Прибавим к обеим частям уравнения по $n$: \[ (r_1 + 1) + (r_2 + 1) + \dots + (r_n + 1) = r + n. \] Число решений этого уравнения совпадает с числом разбиений отрезка $[0,r+n]$ на $n$ частей. Необходимо выбрать $n-1$ точку дробления, такие точки можно выбрать $C_{r+n-1}^{n-1}$ способами, но \[ C_k^l = C_k^{k-l}, \implies C_{r+n-1}^{n-1} = C_{r+n-1}^r = \abs{\Omega}, \] поэтому $P(\omega) = 1 / C_{r+n-1}^{n-1}$.

Геометрическое определение вероятности

В качестве множества элементарных событий рассмотрим некоторую измеримую по Лебегу область $\Omega \subset \mathbb{R}^k$. Обозначим через $\mu(\Omega)$ меру Лебега в $\mathbb{R}^k$ множества $\Omega$. Тогда можно определить вероятностную меру для любого измеримого по Лебегу множества $A \subset \Omega$: \[ P(A) = \frac{\mu(A)}{\mu(\Omega)}. \] Это равенство принято называть определением геометрической вероятности.

В качестве $\sigma$-алгебры нельзя рассматривать множество всех подмножеств множества $\Omega$, так как не все подмножества $\Omega$ измеримы по Лебегу.

Условная вероятность

Рассмотрим вероятностное пространство $(\Omega, \mathcal{F}, P)$. Выберем некоторое событие $B \in \mathcal{F}$ такое, что $P(B) \gt 0$.

Если вероятность события $B$ отлично от нуля, то условная вероятность события $A$ при условии, что произошло событие $B$, определяется формулой \[ P(A | B) = \frac{P(A \cap B)}{P(B)}. \]

Формула умножения вероятностей

Из определения условной вероятности следует формула умножения вероятностей: \[ P(A \cap B) = P(B) P(A | B). \]

Независимость событий (попарная, в совокупности)

События $A$ и $B$ независимы, если справедливо следующее равенство: \[ P(A \cap B) = P(A) P(B). \]

Если предположить, что $A$ и $B$ несовместны ($A \cap B = \varnothing$), но $P(A) \gt 0, P(B) \gt 0$, тогда $A$ и $B$ — зависимые события.

События $A_1, \dots, A_n$ называются независимыми в совокупности, если для любых $m$ событий $A_{i_1}, \dots, A_{i_m}$ выполнено \[ P(A_{i_1} \cap A_{i_2} \cap \dots \cap A_{i_m}) = \prod_{k=1}^m P(A_{i_k}). \]

Если события независимы в совокупности, то они независимы попарно. Обратное не верно: из попарной независимости не следует независимость в совокупности.

Алгебры, независимые в совокупности

Рассмотрим $(\Omega, \mathcal{F}, P)$, пусть алгебры $\mathcal{A}_1, \dots, \mathcal{A}_n$ являются подалгебрами $\sigma$-алгебры $\mathcal{F}$.

Говорят, что алгебры $\mathcal{A}_1, \dots, \mathcal{A}_n$ независимы в совокупности, если для любых событий $A_1 \in \mathcal{A}_1, \dots, A_n \in \mathcal{A}_n$ имеет место равенство \[ P(A_1 \cap \dots \cap A_n) = \prod_{i=1}^n P(A_i). \]

Это определение относится и к $\sigma$-алгебрам, так как они являются частным случаем алгебры.

Формула полной вероятности

Рассмотрим $(\Omega, \mathcal{F}, P)$. Пусть задано разбиение множества $\Omega$: $\set{B_i}_{i=1}^m$.

Формула \[ P(A) = \sum_{i=1}^m P(B_i) P(A | B_i) \] называется формулой полной вероятности.

Формулы Байеса

Рассмотрим $(\Omega, \mathcal{F}, P)$. Пусть задано разбиение множества $\Omega$: $\set{B_i}_{i=1}^m$.

Рассмотрим некоторое событие $A \in \mathcal{F}$. Пусть $P(A) \gt 0$. Тогда \[ P(B_j | A) = \frac{P(B_j \cap A)}{P(A)} = \frac{P(B_j) P(A|B_j)}{\sum_{i=1}^m P(B_i) P(A|B_i)}. \]

Формулы \[ P(B_j | A) = \frac{P(B_j) P(A|B_j)}{\sum_{i=1}^m P(B_i) P(A|B_i)} \] называются формулами Байеса.

Априорные и апостериорные вероятности

Рассмотрим $(\Omega, \mathcal{F}, P)$. Пусть задано разбиение множества $\Omega$: $\set{B_i}_{i=1}^m$.

Вероятности $P(B_i)$ называются априорными вероятностями.

Вероятности $P(B_i | A)$ называются апостериорными вероятностями.

Определение случайной величины в случае конечного множества элементарных событий

Если множество элементарных событий конечно, то случайной величиной называется любая числовая функция \[ \xi: \Omega \to \mathbb{R}. \]

Схема Бернулли

Пусть проводится $n$ независимых испытаний, причём в каждом испытании возможно ровно два исхода — успех (1) и неудача (0). Обозначим через $p$ вероятность успеха, через $q = 1 - p$ — вероятность неудачи.

Пространство элементарных событий: \[ \Omega = \set{ (a_1, \dots, a_n): a_i \in \set{ 0, 1 } }. \] Тогда $\abs{\Omega} = 2^n$. В качестве $\sigma$-алгебры событий возьмём $\mathcal{F} = 2^\Omega$. Вероятность элементарного события: \[ P(\omega) = p^{\sum_{i=1}^n a_i} q^{n - \sum_{i=1}^n a_i}. \]

Пусть $\mu(\omega) = \sum_{i=1}^n a_i$ — количество успехов в серии из $n$ независимых испытаний. Найдём вероятность события $\mu = m$: \[ \begin{aligned} P \set{ \mu = m } &= \sum_{\omega: \mu(\omega) = m} P(\omega) = \\ &= \sum_{\omega: \sum_{i=1}^n a_i = m} p^{\sum_{i=1}^n a_i} q^{n - \sum_{i=1}^n a_i} = \\ &= p^m q^{n-m} \sum_{\omega: \sum_{i=1}^n a_i = m} 1 = \\ &= C_n^m p^m q^{n-m}. \end{aligned} \]

\[ \sum_{m=0}^n P \set{ \mu = m } = \sum_{m=0}^n C_n^m p^m q^{n-m} = (p + q)^n = 1. \]

Дискретное распределение случайной величины

Дискретное распределение случайной величины — набор (конечный или бесконечный) вероятностей несовместных событий, которые в сумме дают 1.

Биномиальное распределение

Распределение случайной величины $\mu$, равной количеству успехов в серии из $n$ независимых испытаний, называется биномиальным распределением.

\[ P \set{ \mu = m } = C_n^m p^m q^{n-m}, \quad m = 0, \dots, n. \]

Полиномиальное распределение

Рассмотрим следующую схему. Пусть производится $n$ независимых испытаний, каждое из которых может закончится одним из $r$ исходов из множества $\set{1, \dots, r}$. Исходу $i$ соответствует вероятность $p_i$, при этом \[ \sum_{i=1}^r p_i = 1. \] Пусть набор $(a_1, \dots, a_r)$ — упорядоченный набор чисел из $\set{1, \dots, r}$. Введём вероятностное пространство: \[ \begin{gathered} \Omega = \set{ (a_1, \dots, a_n): a_i = 1,\dots,r }, \\ \mathcal{F} = 2^\Omega, \qquad P(\omega) = p_1^{m_1} \cdots p_r^{m_r}, \end{gathered} \] где $m_i$ — количество исходов $i$ в $\omega$, причём $m_1 + \dots + m_r = n$.

Найдём вероятность следующего события: в $n$ независимых испытаниях $m_1$ раз выпал исход 1, $m_2$ раз выпал исход $2$ и так далее. Обозначим вероятность этого события как $P_n(m_1, \dots, m_r)$. Ясно, что \[ P_n(m_1, \dots, m_r) = D_{m_1, \dots, m_r} p_1^{m_1} \cdots p_r^{m_r}, \] где \[ D_{m_1, \dots, m_r} = C_n^{m_1} C_{n - m_1}^{m_2} \cdots C_{n-m_1-\dots-m_{r_1}}^{m_r} = \frac{n!}{m_1! m_2! \cdots m_r!}. \]

Распределение, определяемое формулой \[ P_n(m_1, \dots, m_r) = \frac{n!}{m_1! m_2! \cdots m_r!} p_1^{m_1} \cdots p_r^{m_r}, \] называется полиномиальным распределением.

Теорема Пуассона. Распределение Пуассона

Рассмотрим схему Бернулли с $n$ независимыми испытаниями. Вероятность успеха — $p$, неуспеха — $q = 1 - p$. Введём случайную величину $\mu$, равную количеству успехов в $n$ испытаниях.

(Пуассона).

Пусть в схеме Бернулли число испытаний $n \to \infty$ и при этом \[ np \limto{n \to \infty} \lambda \gt 0. \] Тогда для любого $m = 0, 1, 2, \dots$ выполнено \[ P \set{ \mu = m } = C_n^m p^m q^{n-m} \limto{n \to \infty} \frac{\lambda^m}{m!} e^{-\lambda}. \]

Заметим, что \[ \sum_{m=0}^\infty \frac{\lambda^m}{m!} e^{-\lambda} = e^{-\lambda} e^\lambda = 1. \] Таким образом, выражение \[ \frac{\lambda^m}{m!} e^{-\lambda} \] определяет некоторое распределение, которое называют распределением Пуассона. Оно зависит от $\lambda \gt 0$.

Локальная теорема Муавра-Лапласа

Рассмотрим схему Бернулли с $n$ независимыми испытаниями. Вероятность успеха — $p$, неуспеха — $q = 1 - p$. Введём случайную величину $\mu$, равную количеству успехов в $n$ испытаниях.

(локальная предельная теорема Муавра-Лапласа).

Пусть \[ \sigma = \sqrt{npq} \limto{n \to \infty} \infty, \] тогда для любой константы $c \gt 0$ равномерно по \[ x = \frac{m - np}{\sigma}, \quad \abs{x} \leqslant c, \] выполняется \[ P \set{ \mu = m } = C_n^m p^m q^{n-m} = \frac{1}{\sqrt{2\pi} \sigma} e^{-\frac{x^2}{2}} \paren{ 1 + o(1) }, \] где $o(1) \limto{n \to \infty} 0$.

Интегральная теорема Муавра-Лапласа

Рассмотрим схему Бернулли с $n$ независимыми испытаниями. Вероятность успеха — $p$, неуспеха — $q = 1 - p$. Введём случайную величину $\mu$, равную количеству успехов в $n$ испытаниях.

(интегральная предельная теорема Муавра-Лапласа).

Пусть \[ \sigma = \sqrt{npq} \limto{n \to \infty} \infty, \] тогда при $n \to \infty$ равномерно по парам $(a, b)$ имеет место сходимость \[ P \left\{ a \leqslant \frac{\mu - np}{\sqrt{npq}} \leqslant b \right\} \limto{n \to \infty} \frac{1}{\sqrt{2 \pi}} \int\limits_a^b e^{-\frac{x^2}{2}} dx. \]

Плотность распределения

Функция $\varphi(x)$, обладающая свойствами

$\varphi(x) \geqslant 0$ для всех $x \in \mathbb{R}$,
${\displaystyle \int\limits_{-\infty}^\infty \varphi(x) dx = 1, }$

называется плотностью распределения.

Плотность стандартного нормального распределения

Функция \[ \varphi(x) = \frac{1}{\sqrt{2\pi}} e^{-\frac{x^2}{2}} \] называется плотностью стандартного нормального распределения.

ЗБЧ для схемы Бернулли

Рассмотрим схему Бернулли с $n$ независимыми испытаниями. Вероятность успеха — $p$, неуспеха — $q = 1 - p$. Введём случайную величину $\mu$, равную количеству успехов в $n$ испытаниях.

(закон больших чисел для схемы Бернулли).

Пусть число испытаний в схеме Бернулли $n \to \infty$. Тогда для любого $\varepsilon \gt 0$ имеет место следующая сходимость: \[ P \left\{ \abs{\frac{\mu}{n} - p} \gt \varepsilon \right\} \limto{n \to \infty} 0. \]

Алгебра, порождённая совокупностью

Рассмотрим совокупность подмножеств $\mathcal{M} = \set{ M_\alpha }$.

Будем говорить, что алгебра $\mathcal{A}$ порождена совокупностью $\mathcal{M}$ (и записывать $\mathcal{A} = \alpha(\mathcal{M})$), если

$\mathcal{M} \subset \mathcal{A}$,
если $D$ — некоторая алгебра такая, что $\mathcal{M} \subset D$, тогда $\mathcal{A} \subset D$.

Цепь Маркова

Частица переходит из одного состояния в другое. Если предположить, что время дискретно, а наблюдения за частицей происходят в промежутке времени $[0,T]$, тогда траектория движения частицы соответствует элементарному событию $\omega = (a_1, \dots, a_T)$.

Выделим следующие события: \[ \begin{aligned} A_0^{(1)} &= \set{ \omega: a_0 = 1 }, \\ A_0^{(2)} &= \set{ \omega: a_0 = 2 }, \\ &\phantom{=} \dots \\ A_0^{(r)} &= \set{ \omega: a_0 = r }. \end{aligned} \] Множества $\set{ A_0^{(i)} }$ образуют конечное разбиение множества $\Omega$.

Определим алгебру $\mathcal{A}_0 = \alpha(A_0^{(1)}, \dots, A_0^{(r)})$. В эту алгебру входят все события, характеризующие начальное положение частицы.

Аналогичным обоазом можно построить последовательность алгебр $\mathcal{A}_0, \mathcal{A}_1, \dots, \mathcal{A}_T$. Очевидно, что $\mathcal{A}_t \subset 2^\Omega$.

Предположим, что существует вероятностная мера $P(\cdot)$, заданная на $2^\Omega$, такая, что $P(\omega) \gt 0$ для всех $\omega \in \Omega$. Введём также алгебры \[ \begin{aligned} \mathcal{A}_0^{t-1} &= \alpha(\mathcal{A}_0, \dots, \mathcal{A}_{t-1}), \\ \mathcal{A}_{t+1}^T &= \alpha(\mathcal{A}_{t+1}, \dots, \mathcal{A}_T). \end{aligned} \]

Говорят, что последовательность испытаний $\mathcal{A}_0, \dots, \mathcal{A}_T$ образует цепь Маркова, если для любого целочисленного момента времени $t \in [1, T-1]$, любого события $A \in \mathcal{A}_0^{t-1}$, любого события $B \in \mathcal{A}_{t+1}^T$ и для любого исхода $k$ выполняется условие \[ P(A \cap B | \set{ a_t = k }) = P(A | \set{ a_t = k }) P(B | \set{ a_t = k }). \]

Последовательность испытаний образует цепь Маркова тогда и только тогда, когда для любого момента времени $t = 1, \dots, T - 1$, любого исхода $k \in \set{ 1, \dots, r }$, любого события $A \in \mathcal{A}_0^{t-1}$ и любого события $B \in \mathcal{A}_{t+1}^T$ выполняется условие \[ P(B | A \cap \set{ a_t = k }) = P(B | \set{ a_t = k }). \]

Однородная цепь Маркова

Рассмотрим некоторую тракеторию $\omega = (i_0, \dots, i_T)$ движения частицы по состояниям. Найдём вероятность осуществления траектории $\omega$, используя формулу умножения вероятностей: \[ \begin{aligned} P(\omega) &= P(\set{ i_0, \dots, i_T }) = \\ &= P\paren{ A_0^{(i_0)} \cap \dots \cap A_T^{(i_T)} } = \\ &= P\paren{ A_0^{(i_0)} } P\paren{ A_1^{(i_1)} | A_0^{(i_0)} } P\paren{ A_2^{(i_2)} | A_1^{(i_1)} } \cdots P\paren{ A_T^{(i_T)} | A_{T-1}^{(i_{T-1})} }. \end{aligned} \] Вероятность любого элементарного события полностью определяется начальными вероятностями $P(A_0^i)$, где $i = 1,\dots,r$, и условными вероятностями $P(A_{t+1}^j | A_t^i)$.

Вероятности $P(A_{t+1}^j | A_t^i)$ называются переходными вероятностями за один шаг.

Зафиксируем момент времени $t$ и сформируем матрицу переходных вероятностей \[ P_t = \left\{ P\paren{ A_{t+1}^{(j)} | A_t^{(i)} } \right\}, \] где $i$ — номер строки, $j$ — номер столбца. Зафиксируем строку $i$ и сложим элементы этой строки: \[ P(A_{t+1}^{(1)} | A_t^{(i)}) + P(A_{t+1}^{(2)} | A_t^{(i)}) + \dots + P(A_{t+1}^{(r)} | A_t^{(i)}) = 1. \]

Цепь Маркова называется однородной, если переходные вероятности за один шаг не зависят от номера испытания (момента времени $t$), то есть \[ P(A_{t+1}^{(j)} | A_t^{(i)}) = p_{ij}. \]

Уравнение Чепмена-Колмогорова

Рассмотрим однородную марковскую цепь. Обозначим через \[ p_{ij}(k) = P(A_{t+k}^{(j)} | A_t^{(i)}) \] вероятность перехода частицы из состояния $i$ в состояние $j$ за $k$ шагов. Очевидно, что \[ P(A_{t+1}^{(j)} | A_t^{(i)}) = p_{ij} = p_{ij}(1). \]

(уравнение Чепмена-Колмогорова).

Для однородной цепи Маркова для любого момента времени $t \geqslant 1$ и любого $s \geqslant 1$ переходную вероятность из состояния $i$ в состояние $j$ за $t + s$ шагов можно найти по формуле \[ p_{ij}(t + s) = \sum_{k=1}^r p_{ik}(t) p_{kj}(s). \]

В матричном виде это уравнение можно записать так: \[ P(t + s) = P(t) P(s), \] где $P(t)$ — матрица переходных вероятностей за $t$ шагов, $P(1) = P$. Если взять $s = 1$, то \[ P(t+1) = P(t) P(1), \] откуда можно найти, что для всех $t \geqslant 1$ верно \[ P(t) = P^t. \] Для определённости можно положить, что $P^0 = I$, где $I$ — единичная матрица порядка $r$.

Стохастическая матрица

Квадратная матрица с неотрицательными элементами, у которой сумма элементов в любой строке равна единице, называется стохастической.

Стохастической матрицей является матрица переходных вероятностей цепи Маркова в зафиксированный момент времени $t$.

Теорема о предельных вероятностях для цепей Маркова

Пусть задана однородная цепь Маркова и существует момент времени $t_0$ такой, что $p_{ij}(t_0) \gt 0$ для любых $i,j = 1,\dots,r$. Тогда существуют \[ \lim_{t \to \infty} p_{ij}(t) = p_j, \quad j = 1,\dots,r, \] причём пределы не зависят от начального состояния.

Предельные вероятности $p_1, \dots, p_r$ являются единственным решением системы \[ \sum_{j=1}^r x_j = 1, \qquad x_j = \sum_{k=1}^r x_k p_{kj}, \quad j = \overline{1,r}. \]

Полуалгебра

Систему подмножеств $\mathcal{S}$ множества $\Omega$ будем называть полуалгеброй, если выполнены условия:

$\Omega \in \mathcal{S}$,
$A \in \mathcal{S}, B \in \mathcal{S} \implies A \cap B \in \mathcal{S}$.
Если $A \in \mathcal{S}$, то множество $\overline{A}$ можно представить в виде \[ \overline{A} = \sum_{k=1}^m B_k, \] где $B_k \in \mathcal{S}$, причём $B_i \cap B_j = \varnothing, \quad i \neq j$.

Конечно-аддитивная вероятностная мера на полуалгебре

Неотрицательная числовая функция \[ \mu: \mathcal{S} \to [0,\infty] \] называется конечно-аддитивной мерой на полуалгебре $\mathcal{S}$, если выполняются условия:

$\mu(\varnothing) = 0$,
Для всех дизъюнктных множеств $B_1, \dots, B_k \in \mathcal{S}$ таких, что \[ \sum_{i=1}^k B_i \in \mathcal{S}, \] выполнено \[ \mu \paren{ \sum_{i=1}^k B_i } = \sum_{i=1}^k \mu(B_i). \]

Если $\mu(\Omega) = 1$, то конечно-аддитивная мера $\mu$ называется конечно-аддитивной вероятностной мерой и обозначается $P$.

Теорема о продолжении конечно-аддитивной меры с полуалгебры на алгебру

Пусть $\mathcal{S}$ — полуалгебра подмножеств множества $\Omega$. Семейство $\mathcal{A}$, состоящее из всевозможных конечных объединений непересекающихся элементов полуалгебры $\mathcal{S}$, представляет собой алгебру, порождённую полуалгеброй $\mathcal{S}$, то есть $\mathcal{A} = \alpha(\mathcal{S})$.

Пусть $\mathcal{S}$ — полуалгебра подмножеств множества $\Omega$. Пусть на $\mathcal{S}$ задана конечно-аддитивная мера $\mu$, тогда существует и единственна конечно-аддитивная мера $\nu$, определённая на $\alpha(\mathcal{S})$, такая, что \[ \forall E \in \mathcal{S}: \quad \nu(E) = \mu(E). \]

Борелевская $\sigma$-алгебра

Пусть $\Omega = \mathbb{R}$. Рассмотрим семейство множеств \[ \mathcal{I}_1 = \set{ (-\infty, +\infty), (-\infty, a], (a, b], (b, +\infty) }, \] где $a,b \in \mathbb{R}$. Нетрудно проверить, что $\mathcal{I}_1$ — полуалгебра.

Алгебру $\sigma(\alpha(\mathcal{I}_1)) = \sigma(\mathcal{I}_1) = \mathcal{B}(\mathbb{R})$ называют борелевской $\sigma$-алгеброй на числовой прямой.

Справедливо равенство: \[ (a,b) = \bigcup_{n=1}^\infty \left( a, b - \frac{1}{n} \right] \in \mathcal{B}(\mathbb{R}). \]

Функция распределения и её свойства

Пусть вероятностная мера $P$ задана на борелевской $\sigma$-алгебре $\mathcal{B}(\mathbb{R})$. Рассмотрим событие \[ B = (-\infty, x], \qquad x \in \mathbb{R}. \] Определим функцию распределения $F(x)$ следующим образом: \[ F(x) = P(B) = P(-\infty,x]. \] Она обладает следующими свойствами:

Пусть $x_1 \lt x_2$, тогда $F(x_1) \leqslant F(x_2)$, то есть функция $F(x)$ монотонно неубывающая.
В любой точке $y \in \mathbb{R}$ выполняется равенство: \[ F(y + 0) = F(y), \] функция непрерывна справа: \[ \lim_{x \to y + 0} F(x) = F(y), \] и существует предел слева $\lim\limits_{x \to y - 0} F(x)$, который может не совпасть с $F(y)$.
Справедливы следующие равенства: \[ \begin{aligned} \lim_{x \to \infty} F(x) &= F(\infty) = 1, \\ \lim_{x \to -\infty} F(x) &= F(-\infty) = 0. \end{aligned} \]

Пусть $F(x)$ — некоторая произвольно выбранная функция распределения, тогда существует и единственна вероятностная мера $P$, заданная на $(\mathbb{R}, \mathcal{B}(\mathbb{R}))$, такая, что для любых $a,b, a \lt b$ имеет место равенство \[ P(a, b] = F(b) - F(a). \]

Каждой вероятностной мере $P$ на $(\mathbb{R}, \mathcal{B}(\mathbb{R}))$ соответствует единственная функция распределения $F$ и наоборот.

Дискретная вероятностная мера

Будем говорить, что мера $P$, заданная на числовой оси, дискретна, если существует не более чем счётная совокупность точек $\set{ a_i }$ таких, что $P\set{ a_i } \gt 0$, причём \[ \sum_i P\set{ a_i } = 1. \] Точки $\set{ a_i }$ называются носителями меры.

Так как \[ P\set{ a_i } = F(a_i) - F(a_i - 0) \gt 0, \] то \[ \sum_i \left[ F(a_i) - F(a_i - 0) \right] = 1, \] тогда функция $F(x)$ может быть только кусочно-постоянной.

Абсолютно непрерывная вероятностная мера

Будем говорить, что вероятностная мера, заданная на $(\mathbb{R},\mathcal{B}(\mathbb{R}))$, абсолютно непрерывна относительно меры Лебега, если существует функция $f(x) \geqslant 0$ такая, что для любого борелевского множества $B \in \mathcal{B}(\mathbb{R})$ выполнено \[ P(B) = \int\limits_B f(x) dx. \] Функцию $f(x)$ называют плотностью вероятностной меры $P$ относительно меры Лебега.

Если $B = (-\infty, x]$, то $P(B) = F(x)$, откуда \[ F(x) = \int\limits_{-\infty}^x f(t) dt. \]

Сингулярная вероятностная мера

Пусть $F(x)$ — некоторая произвольная функция распределения на $\mathbb{R}$. Будем говорить, что $z$ — точка роста функции $F$, если \[ \forall \varepsilon \gt 0 \qquad F(z + \varepsilon) - F(z - \varepsilon) \gt 0. \]

Будем говорить, что непрерывная функция распределения $F(x)$ сингулярна, если множество точек роста имеет меру Лебега, равную нулю.

Вероятностная мера, взаимно однозначно соответствующая сингулярной функции распределения, называется сингулярной.

Теорема Лебега

(Лебега).

Любая функция распределения $F(x)$ на числовой прямой представима в следующем виде: \[ F(x) = p_1 F_1(x) + p_2 F_2(x) + p_3 F_3(x), \] где

$p_1, p_2, p_3 \geqslant 0, \qquad p_1 + p_2 + p_3 = 1$,
$F_1(x)$ — кусочно-постоянная функция распределения,
$F_2(x)$ — абсолютно-непрерывная функция распределения,
$F_3(x)$ — сингулярная функция распределения.

Случайная величина

Случайной величиной, заданной на вероятностном пространстве $(\Omega,\mathcal{F},P)$, или $\mathcal{F}$-измеримой числовой функцией называется функция \[ \xi: \Omega \to \mathbb{R} \] такая, что \[ \forall B \in \mathcal{B}(\mathbb{R}) \qquad \xi^{-1}(B) = \set{ \omega: \xi(\omega) \in B } \in \mathcal{F}, \] то есть полный прообраз любого борелевского множества содержится в $\sigma$-алгебре $\mathcal{F}$.

Вероятностное распределение случайной величины

Функция $P_\xi$, определённая равенством \[ P_\xi(B) = P(\xi^{-1}(B)) = P\set{ \xi \in B } \] на $\sigma$-алгебре борелевских множеств, называется вероятностным распределением случайной величины $\xi$.

$P_\xi(\cdot)$ представляет собой вероятностную меру на борелевской прямой $(\mathbb{R},\mathcal{B}(\mathbb{R}))$.

Функция распределения случайной величины

Функцией распределения случайной величины $\xi$ будем называть функцию \[ F_\xi(x) = P\set{ \xi \leqslant x }. \]

Как перейти от вероятностного распределения к функции распределения случайной величины?

По определению \[ P_\xi(B) = P\set{ \xi \in B }, \qquad F_\xi(x) = P\set{ \xi \leqslant x }, \] поэтому, рассмотрев $B = (-\infty, x]$, получим, что \[ P_\xi(B) = P\set{ \xi \in (-\infty, x] } = P\set{ \xi \leqslant x } \bydef= F_\xi(x). \]

Плотность распределения случайной величины

Будем говорить, что распределение $P_\xi(\cdot)$ случайной величины $\xi$ абсолютно непрерывно относительно меры Лебега, если существует функция $f_\xi(x)$, заданная на всей числовой прямой, такая, что $f_\xi(x) \geqslant 0$ для всех $x \in \mathbb{R}$, а также \[ \forall B \in \mathcal{B}(\mathbb{R}) \qquad P_\xi(B) = \int\limits_B f_\xi(x) dx. \]

Функцию $f_\xi(x)$ называют плотностью распределения случайной величины $\xi$ относительно меры Лебега.

Распределение Бернулли

Случайная величина принимает значения 0 или 1: \[ \xi = 0 \cdot I(\overline{A}) + 1 \cdot I(A) = I(A), \] где вероятность \[ P_\xi(1) = p, \qquad P_\xi(0) = 1 - p = q. \]

Стандартное нормальное распределение

Обозначение: $N(0,1)$. Плотность распределения: \[ f_\xi(x) = \frac{1}{\sqrt{2\pi}} e^{-\frac{x^2}{2}}, \qquad x \in \mathbb{R}. \]

Нормальное распределение

Обозначение: $N(a,\sigma^2)$. Плотность распределения: \[ f_\xi(x) = \frac{1}{\sqrt{2\pi} \sigma} e^{-\frac{(x - a)^2}{2 \sigma^2}}, \qquad x \in \mathbb{R}. \]

Экспоненциальное распределение

Плотность распределения: \[ f_\xi(x) = \begin{cases} \lambda e^{-\lambda x}, & x \gt 0, \\ 0, & x \leqslant 0. \end{cases} \]

Независимые случайные величины

Пусть на вероятностном пространстве $(\Omega, \mathcal{F}, P)$ задан случайный вектор $\xi(\omega) = (\xi_1(\omega), \dots, \xi_k(\omega))$.

Случайные величины $\xi_1, \dots, \xi_k$ взаимно независимы, если для любых борелевских множеств $B_1, \dots, B_k \in \mathcal{B}(\mathbb{R})$ выполняется \[ P \set{ \xi_1 \in B_1, \dots, \xi_k \in B_k } = P\set{ \xi_1 \in B_1 } \cdots P\set{ \xi_k \in B_k }. \]

Математическое ожидание случайной величины и её основные свойства

Рассмотрим вероятностное пространство $(\Omega, \mathcal{F}, P)$ и числовую функцию $\xi(\omega)$. Пусть она действует в расширенную числовую прямую $\overline{\mathbb{R}} = \mathbb{R} \cup \set{ -\infty } \cup \set{ +\infty }$.

Математическое ожидание расширенной случайной величины $\xi$ представляет собой интеграл Лебега \[ E\xi = \int\limits_\Omega \xi(\omega) dP, \] если этот интеграл существует.

Рассмотрим несколько типов случайной величины:

Рассмотрим простую неотрицательную случайную величину: \[ 0 \leqslant \xi(\omega) = \sum\limits_{i=1}^{m} a_i I\set{ \omega \in A_i }, \] где $a_i \gt 0$ и \[ A_i \in \mathcal{F}, \qquad \sum\limits_{i=1}^{m} A_i = \Omega, \qquad A_i \cap A_j = \varnothing, \quad i \neq j. \] Тогда полагаем \[ E \xi = \int\limits_{\Omega} \xi(\omega) dP = \sum\limits_{i=1}^{m} a_i P(A_i). \]
Рассмотрим неотрицательную расширенную случайную величину $\xi(\omega) \geqslant 0$. В этом случае существует последовательность простых случайных величин $\xi_n(\omega) \geqslant 0$ таких, что в каждой точке множества $\Omega$ случайные величины $\xi_n(\omega)$ монотонно сходятся к случайной величине $\xi(\omega)$, то есть \[ \lim\limits_{n \to \infty} \xi_n(\omega) = \xi(\omega), \qquad \xi_n(\omega) \leqslant \xi_{n+1}(\omega). \] Тогда \[ E \xi = \int\limits_{\Omega} \xi(\omega) dP = \lim\limits_{n \to \infty} \int\limits_{\Omega} \xi_n(\omega) dP. \]
Рассмотрим любую $\mathcal{F}$-измеримую функцию $\xi(\omega)$ (расширенную случайную величину). Её можно представить единственным образом в виде разности двух неотрицательных случайных величин \[ \xi(\omega) = \xi^+(\omega) - \xi^-(\omega), \] где \[ \begin{aligned} \xi^+(\omega) &= \phantom{-} \xi(\omega) I\set{ \omega: \xi(\omega) \geqslant 0 }, \\ \xi^-(\omega) &= -\xi(\omega) I\set{ \omega: \xi(\omega) \lt 0 }. \end{aligned} \] В каждой точке $\omega$ выполняется $\xi^+ \xi^- = 0$. Положим \[ E \xi = \int\limits_{\Omega} \xi(\omega) dP = \int\limits_{\Omega} \xi^+(\omega) dP - \int\limits_{\Omega} \xi^-(\omega) dP. \]

Свойства:

Линейность (предполагаем, что все интегралы существуют): \[ \begin{gathered} \int\limits_\Omega c \xi(\omega) dP = c \int\limits_\Omega \xi(\omega) dP, \\ \int\limits_\Omega \left[ \xi(\omega) + \eta(\omega) \right] dP = \int\limits_\Omega \xi(\omega) dP + \int\limits_\Omega \eta(\omega) dP. \end{gathered} \]
Положительность:
1. ${ \displaystyle \xi(\omega) \geqslant 0 \implies \int\limits_\Omega \xi(\omega) dP \geqslant 0 }$.
2. Пусть $\xi(\omega) \leqslant \eta(\omega)$ и существует ${ \displaystyle \int\limits_\Omega \xi(\omega) dP \gt -\infty, }$ тогда существует ${ \displaystyle \int\limits_\Omega \eta(\omega) dP \geqslant \int\limits_\Omega \xi(\omega) dP }$.
3. Пусть $\xi(\omega) \leqslant \eta(\omega)$ и существует ${ \displaystyle \int\limits_\Omega \eta(\omega) dP \lt \infty, }$ тогда существует ${ \displaystyle \int\limits_\Omega \xi(\omega) dP \leqslant \int\limits_\Omega \eta(\omega) dP }$.
Конечность: \[ \abs{\int\limits_\Omega \xi(\omega) dP} \lt \infty \iff \int\limits_\Omega \abs{\xi(\omega)} dP \lt \infty. \]
Справедливо неравенство \[ \abs{\int\limits_\Omega \xi(\omega) dP} \leqslant \int\limits_\Omega \abs{\xi(\omega)} dP. \]
Мультипликативность
1. Если случайные величины $\xi(\omega) \geqslant 0$ и $\eta(\omega) \geqslant 0$ независимы, то \[ E(\xi \eta) = E\xi E\eta. \]
2. Пусть случайные величины $\xi(\omega)$ и $\eta(\omega)$ независимы. Пусть у них существуют и конечны $E\xi, E\eta \in \mathbb{R}$, тогда \[ E(\xi \eta) = E\xi E\eta. \]
Пусть существует ${ \displaystyle \int\limits_\Omega \xi(\omega) dP }$. Тогда для любого $A \in \mathcal{F}$ существует ${ \displaystyle \int\limits_\Omega \xi(\omega) I\set{ \omega \in A } dP }$.
Пусть $\xi(\omega) \overset{\text{п.н.}}{=} 0$, тогда ${ \displaystyle \int\limits_\Omega \xi(\omega) dP = 0. }$
Пусть существует конечный интеграл ${ \displaystyle \int\limits_\Omega \xi(\omega) dP \in \mathbb{R}. }$ Тогда $P\set{ \omega: \abs{\xi(\omega)} = \infty } = 0$.
Пусть $\xi(\omega) \geqslant 0$ и ${ \displaystyle \int\limits_\Omega \xi(\omega) dP = 0, }$ тогда $\xi(\omega) \overset{\text{п.н.}}{=} 0$.
Пусть $\xi(\omega) \overset{\text{п.н.}}{=} \eta(\omega)$, причём существует ${ \displaystyle \int\limits_\Omega \xi(\omega) dP, }$ тогда существует ${ \displaystyle \int\limits_\Omega \eta(\omega) dP = \int\limits_\Omega \xi(\omega) dP. }$

Формулы для вычисления математического ожидания

Пусть $\xi(\omega) \geqslant 0$ — простая случайная величина, то есть \[ \xi(\omega) = \sum_{i=1}^m a_i I \set{ \omega \in A_i }. \] Тогда \[ E \xi = \sum_{i=1}^m a_i P(A_i). \] Всегда можно добиться, чтобы все значения $a_i$ были различны. Тогда $A_i = \xi^{-1}(a_i)$, поэтому \[ E \xi = \sum_{i=1}^m a_i P\set{ \xi = a_i }. \]
Пусть $\xi(\omega)$ — простая случайная величина: \[ \xi(\omega) = \sum_{i=1}^m b_i I \set{ \omega \in B_i }. \] Её можно представить в виде \[ \xi(\omega) = \xi^+(\omega) - \xi^-(\omega), \] где \[ \begin{aligned} \xi^+(\omega) &= \sum_{i=1}^m b_i^+ I\set{ \omega \in B_i }, \\ \xi^-(\omega) &= \sum_{i=1}^m b_i^- I\set{ \omega \in B_i }. \end{aligned} \] Тогда \[ \begin{aligned} E\xi &= E\xi^+ - E\xi^- = \\ &= \sum_{i=1}^m b_i^+ P(B_i) - \sum_{i=1}^m b_i^- P(B_i) = \\ &= \sum_{i=1}^m b_i P(B_i). \end{aligned} \] Если $b_i$ — различны, то \[ E \xi = \sum_{i=1}^m b_i P\set{ \xi = b_i }. \]
Пусть $\xi(\omega)$ — дискретная случайная величина, $\xi \in \set{ b_i, i \in \mathbb{N} }$, то есть множество значений случайной величины счётно: \[ \xi(\omega) = \sum_{i=1}^\infty b_i I\set{ \omega \in B_i }, \] где \[ B_i \cap B_j = \varnothing, \qquad \bigcup_{i=1}^\infty B_i = \Omega. \] Всегда можно добиться того, чтобы $b_i \neq b_j$, тогда $B_i = \xi^{-1}(b_i)$. Выделим положительную и отрицательную части: \[ \xi(\omega) = \xi^+(\omega) - \xi^-(\omega), \] где \[ \begin{aligned} \xi^+(\omega) &= \sum_{i=1}^\infty b_i^+ I \set{ \omega \in B_i }, \\ \xi^-(\omega) &= \sum_{i=1}^\infty b_i^- I \set{ \omega \in B_i }. \end{aligned} \] Тогда \[ \begin{aligned} \xi_n^+(\omega) &\leqslant \xi_{n+1}^+(\omega), & 0 \leqslant \xi_n^+(\omega) &= \sum_{i=1}^n b_i^+ I \set{ \omega \in B_i } \limto{k \to \infty} \xi^+(\omega), \\ \xi_n^-(\omega) &\leqslant \xi_{n+1}^-(\omega), & 0 \leqslant \xi_n^-(\omega) &= \sum_{i=1}^n b_i^- I \set{ \omega \in B_i } \limto{k \to \infty} \xi^-(\omega). \end{aligned} \] Отсюда следует, что \[ \begin{aligned} E\xi^+ &= \lim_{n \to \infty} E\xi_n^+ = \lim_{n \to \infty} \sum_{i=1}^n b_i^+ P(B_i) = \sum_{i=1}^\infty b_i^+ P(B_i), \\ E\xi^- &= \lim_{n \to \infty} E\xi_n^- = \lim_{n \to \infty} \sum_{i=1}^n b_i^- P(B_i) = \sum_{i=1}^\infty b_i^- P(B_i). \end{aligned} \] Тогда математическое ожидание случайной величины $\xi(\omega)$ можно вычислить следующим образом: \[ E \xi = E \xi^+ - E \xi^- = \sum_{i=1}^\infty b_i^+ P(B_i) - \sum_{i=1}^\infty b_i^- P(B_i). \] Некоторые возможные варианты:
- Если $E \xi^+ = \infty, E\xi^- \in \mathbb{R}$, то $E \xi = \infty$.
- Если $E \xi^+ \in \mathbb{R}, E\xi^- = \infty$, то $E \xi = -\infty$.
- Если $E \xi^+ \in \mathbb{R}, E\xi^- \in \mathbb{R}$, то $E \xi = \sum\limits_{i=1}^\infty b_i P(B_i)$, причём ряд сходится в абсолютном смысле.
- Если $E \xi^+ = \infty, E\xi^- = \infty$, то $E \xi$ не существует.
Рассмотрим случайную величину $\xi$, у которой существует плотность распределения $f_\xi(x)$. Математическое ожидание такой случайной величины можно вычислить по формуле \[ E \xi = \int\limits_{-\infty}^\infty x f_\xi(x) dx = \int\limits_0^\infty x f_\xi(x) dx - \int\limits_{-\infty}^0 \abs{x} f_\xi(x) dx, \] если интеграл Лебега существует. В общем случае верна формула \[ E \xi = \int\limits_{-\infty}^\infty x dF_\xi(x). \] Если же плотность распределения существует, то \[ E g(x) = \int\limits_{-\infty}^\infty g(x) dF_\xi(x) = \int\limits_{-\infty}^\infty g(x) f_\xi(x) dx. \]

Начальный момент порядка $k$ случайной величины

Рассмотрим вероятностное пространство $(\Omega, \mathcal{F}, P)$.

Начальным моментом порядка $k$ случайной величины $\xi$ называется интеграл Лебега-Стилтьеса \[ a_k = E(\xi^k) = \int\limits_{-\infty}^\infty x^k dF_\xi(x), \] если $E(\xi^k)$ существует и конечно.

Центральный момент порядка $k$ случайной величины

Рассмотрим вероятностное пространство $(\Omega, \mathcal{F}, P)$.

Центральным моментом порядка $k$ случайной величины $\xi$ называется интеграл Лебега-Стилтьеса \[ a_k^0 = E\paren{ \xi - E \xi }^k = \int\limits_{-\infty}^\infty \paren{ \xi - E \xi }^k dF_\xi(x), \] если интеграл существует и конечен.

Дисперсия и её свойства

Дисперсией $D \xi$ случайной величины $\xi$ называют центральный момент второго порядка \[ a_2^0 = E \paren{ \xi - E \xi }^2. \]

Среднеквадратичным отклонением случайной величины $\xi$ называют число $\sigma_\xi = \sqrt{D \xi}$.

Свойства дисперсии (предполагаем, что $E(\xi^2) \lt \infty$)

Дисперсия случайной величины $\xi$ удовлетворяет условию \[ D\xi \geqslant 0. \] При этом $D\xi = 0$ тогда и только тогда, когда $\xi \overset{\text{п.н.}}{=} \const$, то есть является вырожденной случайной величиной.
Пусть случайная величина $\eta$ связана со случайной величиной $\xi$ следующим равенством: $\eta \overset{\text{п.н.}}{=} a\xi + b$, тогда \[ D\eta = a^2 D\xi. \]
Пусть случайные величины $\xi$ и $\eta$ независимы, тогда \[ D(\xi \pm \eta) = D\xi + D\eta. \]
Имеет место формула для вычисления дисперсии: \[ D\xi = E(\xi^2) - \paren{E \xi}^2. \]
Справедливо неравенство \[ D\xi \leqslant E(\xi - a)^2, \] где $a = \const$, при этом \[ D\xi = E(\xi - a)^2 \iff a = E \xi. \]

Неравенство Чебышёва

(неравенство Чебышёва).

Пусть $\xi \geqslant 0$. Тогда для любого $\varepsilon \gt 0$ справедливо неравенство \[ P \set{ \xi \geqslant \varepsilon } \leqslant \frac{E \xi}{\varepsilon}. \]

Справедливо неравенство \[ P\set{ \abs{\xi - E \xi} \geqslant \varepsilon } \leqslant \frac{D \xi}{\varepsilon^2}. \]

ЗБЧ для взаимно независимых случайных величин с равномерно ограниченными дисперсиями

Пусть последовательность взаимно независимых случайных величин $\xi_n(\omega)$ задана на вероятностном пространстве $(\Omega, \mathcal{F}, P)$, причём для любого $n \in \mathbb{N}$ выполняется $E \xi_n(\omega) = a \in \mathbb{R}$, а дисперсии равномерно ограничены: $D \xi_n \leqslant c$. Тогда для любого $\varepsilon \gt 0$ имеет место сходимость: \[ P \left\{ \abs{\frac{\sum_{k=1}^n \xi_k}{n} - a} \geqslant \varepsilon \right\} \limto{n \to \infty} 0. \]

Неравенство Коши-Шварца-Буняковского

(неравенство Коши-Шварца-Буняковского).

Пусть $E(\xi^2) \lt \infty, E(\eta^2) \lt \infty$, тогда существует $E(\xi \eta)$, причём \[ \abs{E(\xi \eta)} \leqslant \sqrt{E \xi^2} \sqrt{E \eta^2}. \]

Если $E \xi^2 \neq 0, E \eta^2 \neq 0$, то \[ \abs{E(\xi \eta)} = \sqrt{E \xi^2} \sqrt{E \eta^2} \iff \eta(\omega) \overset{\text{п.н.}}{=} c \xi(\omega) \] для некоторого $c \in \mathbb{R}$, то есть случайные величины $\xi$ и $\eta$ почти наверное пропорциональны.

Ковариация, корреляция и их свойства

Пусть заданы случайные величины $\xi, \eta$ на вероятностном пространстве $(\Omega, \mathcal{F}, P)$, существуют конечные математические ожидания $E\xi, E\eta \in \mathbb{R}$, а также $D\xi \gt 0$ и $D\eta \gt 0$. Будем также предполагать, что $E \xi^2 \lt \infty$ и $E \eta^2 \lt \infty$.

Ковариацией случайных величин $\xi$ и $\eta$ называют величину \[ \cov(\xi,\eta) = E \set{ (\xi - E\xi) (\eta - E \eta) }. \]

Коэффициентом корреляции случайных величин $\xi$ и $\eta$ называют величину \[ \varrho(\xi, \eta) = \frac{ \cov(\xi, \eta) }{\sqrt{D\xi} \sqrt{D \eta}}. \]

Свойства:

Справедлива формула \[ \varrho(\xi,\eta) = E(\xi \eta) - E\xi E\eta. \]
Пусть $\xi$ и $\eta$ взаимно независимы, тогда \[ \cov(\xi,\eta) = 0, \qquad \varrho(\xi,\eta) = 0. \]
Имеет место неравенство \[ \abs{\varrho(\xi,\eta)} \leqslant 1. \] Кроме того, если $\abs{\varrho(\xi,\eta)} = 1$, то существует $c = \const \in \mathbb{R}$ такая, что \[ \eta(\omega) \overset{\text{п.н.}}{=} c \xi(\omega) + b. \]
Пусть $\xi^T = (\xi_1, \dots, \xi_n)$ — случайный вектор. Введём обозначение \[ \begin{aligned} D\xi &= E\set{ (\xi - E\xi) (\xi - E\xi)^T } = \\ &= \begin{pmatrix} D\xi_1 & \cov(\xi_1, \xi_2) & \dots & \cov(\xi_1, \xi_n) \\ \cov(\xi_2, \xi_1) & D\xi_2 & \dots & \cov(\xi_2, \xi_n) \\ \vdots & \vdots & \ddots & \vdots \\ \cov(\xi_n, \xi_1) & \cov(\xi_n, \xi_2) & \dots & D \xi_n \end{pmatrix}. \end{aligned} \] Эта матрица называется ковариационной (дисперсионной) матрицей случайного вектора $\xi$. Нетрудно показать, что $D \xi \geqslant 0$ — неотрицательно определённая матрица.

Условное математическое ожидание одной случайной величины относительно другой (дискретный случай)

Пусть на вероятностном пространстве $(\Omega, \mathcal{F}, P)$ заданы две простые случайные величины: \[ \begin{gathered} \xi(\omega) = \sum_{i=1}^n a_i I \set{ \omega \in A_i }, \\ a_k \neq a_l, \quad A_k \cap A_l = \varnothing, \quad k \neq l, \\ \bigcup_{k=1}^n A_k = \Omega, \qquad A_k = \xi^{-1}(a_k) \end{gathered} \] и \[ \begin{gathered} \eta(\omega) = \sum_{i=1}^m b_i I \set{ \omega \in B_i }, \\ b_k \neq b_l, \quad B_k \cap B_l = \varnothing, \quad k \neq l, \\ \bigcup_{k=1}^m B_k = \Omega, \qquad B_k = \eta^{-1}(b_k). \end{gathered} \]

Условное математическое ожидание случайной величины $\eta$ при условии, что $\xi = a_i$, определяется равенством \[ E(\eta | \xi = a_i) = \sum_{j=1}^m b_j P \set{ \eta = b_j | \xi = a_i }. \]

Условное математическое ожидание случайной величины $\eta$ относительно случайной величины $\xi$ называется случайная величина $E(\eta | \xi)$, распределение которой определяется как \[ \begin{array}{c|c|c|c|c} E(\eta | \xi) & E(\eta | \xi = a_1) & E(\eta | \xi = a_2) & \dots & E(\eta | \xi = a_n) \\ \hline P & P\set{ \xi = a_1 } & P\set{ \xi = a_2 } & \dots & P\set{ \xi = a_n } \end{array} \] Случайная величина $E(\eta | \xi)$ — математическое ожидание простой случайной величины $\eta$ относительно простой случайной величины $\xi$.

Сходимость почти наверное