Théorème de la limite centrale

Image manquante
Probstats.png

Cet article est une ébauche concernant les probabilités et la statistique, vous pouvez partager vos connaissances en le modifiant.

En probabilité, les théorèmes de la limite centrale sont un ensemble de résultats sur la convergence faible d'une suite de variables aléatoires. Intuitivement, d'après ces résultats, toute somme de variables aléatoires indépendantes et identiquement distribuées tend vers une certaine variable aléatoire. Le résultat le plus connu et le plus important est simplement appelé « théorème de la centrale limite » (ou « théorème central limite »), d'après lequel, si la somme des variables aléatoires a une variance finie, alors elles suivront une loi normale. Comme de nombreux phénomènes ont une variance finie, ceci explique l'omniprésence de la distribution normale.

Il existe plusieurs généralisations qui ne nécessitent pas des distributions identiques mais font appel à des conditions qui assurent qu'aucune des variables n'exerce une influence significativement plus importante que les autres. Telles sont la condition de Lindeberg et la condition de Lyapunov. D'autres généralisations autorisent même une dépendance «faible». De plus, une généralisation due à Gnedenko et Kolmogorov stipule que la somme d'un certain nombre de variables aléatoires avec une queue de distribution décroissante selon 1/|x|^α+1 avec 0 < α < 2 (ayant donc une variance infinie) tend vers une distribution de Lévy symétrique et stable quand le nombre de variables augmente. Cet article se limitera au théorème de la limite centrale concernant les distributions à variance finie.

The reader may find it helpful to consider this illustration of the central limit theorem.

Sommaire

1 « Le » théorème de la limite centrale

1.1 Démonstration du théorème de la limite centrale
1.2 Convergence vers la limite
1.3 Autres formulations du théorème

1.3.1 Densités de probabilité
1.3.2 Produits de variables aléatoires

2 Condition de Lyapounov

3 Condition de Lindeberg

4 Cas des variables dépendantes

5 Intérêt de ce théorème

6 External links

« Le » théorème de la limite centrale

Soit X₁, X₂... une suite de variables aléatoires définies sur le même espace de probabilité, suivant la même loi D et indépendantes. Supposons que l'espérance μ et l'écart-type σ de D existent et soient finies.

Considérons la somme Sn = X₁ + ... + Xn. Alors l'espérance de S_n est nμ et son écart-type vaut σ n^½. De plus, pour parler de manière informelle, la distribution de S_n tend vers la distribution normale N(nμ,σ²n) quand n tend vers l'infini.

Afin de clarifier cette idée de convergence, nous allons poser

$Z_n = \frac{S_n - n \mu}{\sigma \sqrt{n}}.$

de sorte que l'espérance et l'écart-type de $Z n$ valent respectivement 0 et 1.

Alors la loi de Z_n converge vers la loi normale centrée réduite N(0,1) à mesure que n tend vers l'infini (il s'agit de la convergence en loi). Cela signifie que si Φ(z) est la fonction de répartition de N(0,1), alors pour tout réel z :

$\lim_{n \to \infty} \mbox{Pr}(Z_n \le z) = \Phi(z),$

ou, de façon équivalente :

$\lim_{n\rightarrow\infty}\mbox{Pr}\left(\frac{\overline{X}_n-\mu}{\sigma/\sqrt{n}}\leq z\right)=\Phi(z)$

où

$\overline{X}_n=S_n/n=(X_1+\cdots+X_n)/n$

Démonstration du théorème de la limite centrale

Pour un théorème d'une telle importance en statistiques et en probabilité appliquée, il existe une démonstration du théorème de la limite centrale particulièrement simple utilisant les fonctions caractéristiques. Cette démonstration ressemble à celle d'une des lois des grands nombres. Pour une variable aléatoire Y d'espérance 0 et de variance 1, la fonction caractéristique de Y est, d'après le théorème de Taylor,

$\varphi_Y(t) = 1 - {t^2 \over 2} + o(t^2), \quad t \rightarrow 0.$

Si Y_i vaut (X_i − μ)/σ, il est facile de voir que la moyenne centrée réduite des observations X₁, X₂, ..., X_n est simplement :

$Z_n = \frac{\overline{X}_n-\mu}{\sigma/\sqrt{n}} = \sum_{i=1}^n {Y_i \over \sqrt{n}}.$

D'après les propriétés élémentaires des fonctions caractéristiques, la fonction caractéristique de Z_n est

$\left[\varphi_Y\left({t \over \sqrt{n}}\right)\right]^n = \left[ 1 - {t^2 \over 2n} + o\left({t^2 \over n}\right) \right]^n \, \rightarrow \, e^{-t^2/2}, \quad n \rightarrow \infty.$

Mais cette limite est la fonction caractéristique de la loi normale centrée réduite N(0,1), d'où l'on déduit le théorème de la limite centrale grâce au théorème de continuité de Lévy, qui confirme que la convergence des fonctions caractéristiques implique la convergence en loi.

Convergence vers la limite

Si le moment d'ordre 3 E((X₁ − μ)³) existe et est fini, alors la convergence est uniforme et la vitesse de convergence est au moins d'ordre 1/n^½ (voir le théorème de Berry-Esseen).

Images d'une distribution lissées par sommation qui montrent la distribution originale et trois convolutions successives :

Image manquante
Central_limit_thm_1.png

Image manquante
Central_limit_thm_2.png

Image manquante
Central_limit_thm_3.png

Image manquante
Central_limit_thm_4.png

(Voir Illustration du théorème de la limite centrale pour plus de détails sur ces images.)

Une formulation équivalente de ce théorème limite démarre avec A_n = (X₁ + ... + X_n) / n que l'on peut interpréter comme la moyenne d'un échantillon aléatoire de taille n. L'espérance mathématique de A_n est μ et l'écart-type est σ / n^½. Si nous normalisons A_n en posant Z_n = (A_n - μ) / (σ / n^½), nous obtenons la même variable Z_n que précédemment qui tend vers une distribution normale unitaire.

Notez ce « paradoxe » apparent : en ajoutant un grand nombre de variables positives indépendantes de même distribution, on obtient approximativement une distribution normale. Mais pour chaque variable normale, la probabilité d'être négative n'est pas nulle ! Comment est-il possible d'obtenir des nombres négatifs en n'ajoutant que des nombres positifs ? La raison est simple : le théorème s'applique à des termes centrés sur la moyenne. Sans cette normalisation la distribution partirait à l'infini, conformément à l'intuition.

En fait, les choses sont un petit peu plus compliquées. Que la distribution soit centrée ou non, il y a une probabilité non nulle pour qu'une variable de Gauss devienne plus petite que n'importe quelle valeur donnée. Pour cette raison il n'y a en toute rigueur aucun phénomène qui obéisse exactement à la loi de Gauss. C'est la décroissance rapide de sa densité de probabilité qui fait que le théorème de la limite centrale fournit fréquemment une excellente approximation, sauf pour les valeurs extrêmes.

Autres formulations du théorème

Densités de probabilité

The density of the sum of two or more independent variables is the convolution of their densities (if these densities exist). Thus the central limit theorem can be interpreted as a statement about the properties of density functions under convolution: the convolution of a number of density functions tends to the normal density as the number of density functions increases without bound, under the conditions stated above.

Since the characteristic function of a convolution is the product of the characteristic functions of the densities involved, the central limit theorem has yet another restatement: the product of the characteristic functions of a number of density functions tends to the characteristic function of the normal density as the number of density functions increases without bound, under the conditions stated above.

An equivalent statement can be made about Fourier transforms, since the characteristic function is essentially a Fourier transform.

Produits de variables aléatoires

Le théorème de la limite centrale nous dit à quoi il faut s'attendre en matière de sommes de variables aléatoires indépendantes mais qu'en est-il des produits ? Eh bien, le logarithme d'un produit n'est que la somme des logarithmes des facteurs, de sorte que le logarithme d'un produit de variables aléatoires tend vers une distribution normale qui entraîne une distribution log-normale pour le produit lui-même. Bon nombre de grandeurs physiques (en particulier la masse et la longueur, c'est une question de dimension, ne peuvent être négatives) sont le produit de différents facteurs aléatoires, de sorte quelles suivent une distribution log-normale.

Condition de Lyapounov

Voir aussi Théorème de la limite centrale de Lyapunov.

Soit X_n une séquence de variables définies sur le même espace de probabilité. Supposons que X_n ait une espérance finie μ_n et un écart-type fini σ_n. Nous définirons

$s_n^2 = \sum_{i = 1}^n \sigma_i^2.$

Supposons que les troisièmes moments centrés

$r_n^3 = \mbox{E}\left({\left| X_n - \mu_n \right|}^3 \right)$

soient finis pour tout n et que

$\lim_{n \to \infty} \frac{r_n}{s_n} = 0.$

(C'est la condition de Lyapounov ).

Considérons de nouveau la somme S_n=X₁+...+X_n. L'espérance mathématique de S_n est m_n = ∑_i=1..nμ_i et son écart-type s_n. Si nous normalisons S_n en posant

$Z_n = \frac{S_n - m_n}{s_n}$

alors la distribution deZ_n converge vers la distribution normale centrée réduite N(0,1) comme ci-dessus.

Condition de Lindeberg

Avec les mêmes définitions et les mêmes notations que précédemment, nous pouvons remplacer la condition de Lyapounov par la suivante qui est plus faible (Lindeberg 1920). Pour tout ε > 0

$\lim_{n \to \infty} \sum_{i = 1}^{n} \mbox{E}\left( \frac{(X_i - \mu_i)^2}{s_n^2} : \left| X_i - \mu_i \right| > \epsilon s_n \right) = 0$

où E( U : V > c) représente l'espérance conditionnelle : l'espérance de U sous la condition V > c. Alors la distribution de Z_n converge vers la distribution normale centrée réduite N(0,1).

Cas des variables dépendantes

Il existe quelques théorèmes qui traitent le cas de sommes de variables dépendantes, par exemple le théorème de la limite centrale m-dépendante, le théorème de la limite centrale des martingales et le théorème de la limite centrale pour les processus de mélange.

track these down

Intérêt de ce théorème

On peut parfois lire dans la presse générale que la courbe en cloche représente la loi du hasard, ce qui n'a pas grande signification. Le succès sans égal de la loi de Gauss est la conséquence directe du théorème de la limite centrale et il est renforcé par la commodité relative d'utilisation de cette loi.

En elle-même, la convergence vers la loi normale de nombreuses sommes de variables aléatoires lorsque leur nombre tend vers l'infini n'intéresse que le mathématicien. Pour le praticien, il est intéressant de s'arrêter un peu avant la limite : la somme d'un grand nombre de ces variables est presque gaussienne, ce qui fournit une approximation souvent plus facilement utilisable que la loi exacte.

En s'éloignant encore plus de la théorie, on peut dire que bon nombre de phénomènes naturels sont dus à la superposition de causes nombreuses, plus ou moins indépendantes. Il en résulte que la loi normale les représente de manière raisonnablement efficace.

A l'inverse, on peut dire qu'aucun phénomène concret n'est vraiment gaussien car il ne peut dépasser certaines limites (en particulier s'il est à valeurs positives).

External links

Central Limit Theorem Java
Central Limit Theorem interactive simulation to experiment with various parameters