La legge forte

Cominciamo coll' enunciare una disuguaglianza che è più fine di quella di Chebyshev. (Dimostrazione in appendice).
Teorema 3.2.1 (Disuguaglianza di Kolmogorov). Siano $X_1, X_2,..,X_n$ var.al. indipendenti aventi media $\mu_k$ e varianza $\sigma_k^2$ e sia $S_k = X_1+..+X_k \;,\; m_k = \mu_1 +..+ \mu_k$. Dato $t > 0$ consideriamo le $n$ disuguaglianze

$$(*) \hspace{1cm} \vert S_k - m_k\vert \geq t \sqrt{{\rm Var}(S_n)} \hspace{1cm} (k = 1,2,..,n).$$

Sia $C_n$ l'evento ``si verifica almeno una delle disuguaglianze (*)"; allora
$p(C_n) \leq \frac{1}{t^2}$.

Si osservi che per $n = 1$ la disuguaglianza di Kolmogorov si riduce alla disuguaglianza di Chebyshev. In effetti basta prendere $t = \frac{c}{\sqrt{{\rm Var}(S_n)}}$
Se le var.al. hanno la stessa media $\mu$ e la stessa varianza $\sigma^2$, allora con la scelta di $t = \frac{c}{\sqrt{n} \sigma}$ in luogo delle $n$ disuguaglianze (*) si hanno le $n$ disuguaglianze

$$(**) \hspace{1cm} \vert\frac{S_k}{k} - \mu\vert \geq \frac{c}{k} \hspace{1cm} (k = 1,2,..,n).$$

Per illustrare il significato (e i limiti) della legge debole e per introdurrre la legge forte consideriamo per semplicità lo schema di Bernoulli $B(n,p)$. Indichiamo con $S_n$ il numero di successi nelle $n$ prove. La nozione intuitiva di probabilità vorrebbe che per la frequenza di successi $\frac{S_n}{n}$ si avesse $\frac{S_n}{n} \rightarrow p$: in effetti questo evento si verifica con probabilità 1, ma la questione andrebbe trattata con la probabilità nel continuo. Comunque questo risultato non è contenuto nella legge debole (ma in quella forte). La legge debole afferma che

$$\lim_{n \rightarrow \infty} p \{\vert\frac{S_n}{n} - p\vert > \eta \} = 0.$$

Questa formula ci dice che, per $n$ fissato sufficientemente grande, la frequenza di successi $\frac{S_n}{n}$ ha una buona probabilità di essere vicina a $p$; ma non ci dice che tale frequenza sia vincolata a rimanere vicino a $p$. Per esempio viene lasciata aperta la possibilità che per infiniti $j$ si verifichi l'evento $A_j = \{\vert\frac{S_j}{j} - p\vert \geq \eta \} .$ In effetti non è così: faremo ora vedere che con probabilità 1, $\vert\frac{S_n}{n} - p\vert$ diventa e resta piccolo.
Schema di Bernoulli: (legge forte dei grandi numeri).
Per ogni $\eta > 0$ è nulla la probabilità che si verifichino simultaneamente infiniti eventi

$$A_i = \{\vert\frac{S_i}{i} - p\vert \geq \eta \}$$

Dimostrazione. Per il lemma di Cantelli (Teorema 1.1.3) basta dimostrare che la serie $\sum p(A_i)$ converge. Indichiamo con $B_{\nu}$ l'evento: ``per almeno un $n$, con $2^{\nu - 1} < n \leq 2^{\nu}$, vale la diseguaglianza $\vert\frac{S_n}{n} - p\vert \geq \eta$ ". Basterà provare che la serie $\sum p(B_{\nu})$ converge. Il verificarsi di $B_{\nu}$ implica che $\vert S_n - np\vert \geq \eta 2^{\nu - 1}$. Applichiamo ora la disuguaglianza di Kolmogorov: (abbiamo qui $\mu = p ; \sigma^2 = p(1-p); t = \frac{\eta 2^{\nu - 1}}{\sqrt{n} \sigma}$) si avrà

$$p(B_{\nu}) \leq t^{-2} = \frac {4n\sigma^2}{\eta^2 2^{2\nu}} \leq \frac {4\sigma^2}{\eta^2 2^{\nu}}$$

e questo prova che la serie converge.
Enunciamo dunque il

Teorema 3.2.2 (Legge forte dei grandi numeri). Sia $\{X_n\}$ una successione di var.al. indipendenti aventi la stessa densità. Se esiste la media $\mu = E[X_k]$, allora vale la legge forte dei grandi numeri, cioè
per ogni $\eta > 0$ è nulla la probabilità che si verifichino simultaneamente infinite disuguaglianze del tipo

$$\vert\frac{S_i}{i} - \mu\vert \geq \eta \,.$$

Si osservi che non si richiede che le var.al. $X_n$ abbiano varianza finita.
Quando esiste la varianza delle $X_n$ vale un risultato molto più forte (il Teorema Limite Centrale).

Definizione. Si chiama distribuzione normale la funzione $\Phi$ definita da

$$\Phi(x) = \frac{1}{\sqrt{2\pi}} \int_{-\infty}^x {\rm e}^{-\frac{y^2}{2}} dy .$$

Ricordiamo che come si sa dall'analisi $\Phi(+\infty) = 1$ e naturalmente $\Phi(-\infty) = 0$; inoltre $1 - \Phi(x) = \Phi(-x).$
Possiamo ora enunciare il

Teorema 3.2.3 (Teorema Limite Centrale). Sia $\{X_n\}$ una successione di var.al. indipendenti aventi la stessa densità. Supponiamo che esistano la media $\mu = E[X_k]$, e la varianza $\sigma^2 = {\rm Var}(X_k)$. Allora, posto $S_n = X_1+..+X_n$, qualunque sia $\beta$ si ha

$$(1) \hspace{1cm} \lim_{n \rightarrow \infty} p\{ \frac{S_n - n\mu}{\sigma \sqrt{n}} < \beta \} = \Phi(\beta).$$

Tratteremo la dimostrazione di questo teorema nel capitolo sulla probabilità nel continuo.
Osserviamo intanto che per $c > 0$ si ha

$$p \{\vert\frac{S_n}{n} - \mu\vert > \frac{c}{\sqrt{n}} \} = p... ...vert S_n - n \mu\vert}{\sigma \sqrt{n}} > \frac{c}{\sigma} \} =$$

$$1 - p \{ \frac{S_n - n \mu}{\sigma \sqrt{n}} \leq \frac{c}{\s... ...\frac{S_n - n \mu}{\sigma \sqrt{n}} < - \frac{c}{\sigma} \} \,.$$

Pertanto, applicando la (1), si ottiene

$$\lim_{n \rightarrow \infty} p \{\vert\frac{S_n}{n} - \mu\vert > \frac{c}{\sqrt{n}} \} = 2 \Phi(-\frac{c}{\sigma})$$

Mostriamo ora che, se $\eta > 0$, per ogni funzione $g$ tale che $\frac{\sqrt{n}}{g(n)} \rightarrow \infty$ per $n \rightarrow \infty$, si ha

$$(2) \hspace{1cm} \lim_{n \rightarrow \infty} p \{ g(n)\vert\frac{S_n}{n} - \mu\vert > \eta \} = 0$$

che è un risultato ben più forte della legge debole. Si ha infatti

$$p \{ g(n)\vert\frac{S_n}{n} - \mu\vert > \eta \} = p \{\vert\frac{S_n}{n} - \mu\vert > \frac{\eta} {g(n)} \}$$

quest'ultima probabilità è definitivamente minore o uguale di $p \{\vert\frac{S_n}{n} - \mu\vert > \frac{c}{\sqrt{n}} \} \,.$ Si ha quindi

$$0 \leq \liminf p \{ g(n)\vert\frac{S_n}{n} - \mu\vert > \eta ... ... \limsup p \{ g(n)\vert\frac{S_n}{n} - \mu\vert > \eta \} \leq$$

$$\lim_{n \rightarrow \infty} p \{\vert\frac{S_n}{n} - \mu\vert > \frac{c}{\sqrt{n}} \} = 2 \Phi(-\frac{c}{\sigma})$$

da cui, facendo tendere $c$ a $+\infty$ e ricordando che $\Phi(-\infty) = 0$, segue la (2).