Régression linéaire

Les points $M i$ paraissent alignés. On peut alors tenter une régression linéaire, c'est-à-dire chercher la droite D dont l'équation est $y = a x + b$ qui passe au plus près des points $M i$ .

Passer au plus près, selon la méthode des moindres carrés, c'est rendre minimale la somme :

$\sum_{i=1}^n (y_i-ax_i-b)^2$ des distances des points expérimentaux originaux à la droite calculées comme la meilleure. Cela revient donc à déterminer les valeurs des paramètres

a

b

, qui sont respectivement le coefficient angulaire de la droite et son ordonnée à l'origine qui minimise la somme ci-dessus.

Sommaire

1 Formules à connaître

2 Résultat de la régression

3 Coefficient de corrélation linéaire

4 Démonstration des formules par étude d'un minimum

5 Démonstration des formules grâce aux espaces vectoriels de dimension n

6 Voir aussi

Formules à connaître

La moyenne des $x_i = \overline{x}=\frac{1}{n}\sum_{i=1}^n x_i$
La moyenne des $y_i = \overline{y}=\frac{1}{n}\sum_{i=1}^n y_i$
Le point moyen G a pour coordonnées $(\overline{x},\overline{y})$
La variance des $x_i = V(x) =\frac{1}{n}\sum_{i=1}^n (x_i-\overline{x})^2$
l'écart type des $x_i =\sigma_x= \sqrt{V(x)}$
La variance des $y_i = V(y) =\frac{1}{n}\sum_{i=1}^n (y_i-\overline{y})^2$
l'écart type des $y_i =\sigma_y= \sqrt{V(y)}$
La covariance des $x_i ,y_i= cov(x,y) =\frac{1}{n}\sum_{i=1}^n (x_i-\overline{x})(y_i-\overline{y})$

Résultat de la régression

La droite rendant minimale la somme précédente passe par le point G et a pour coefficient directeur $\frac{cov(x,y)}{V(x)}$ . Son équation est donc:

$y=\frac{cov(x,y)}{V(x)}(x-\overline{x})+\overline{y}$

Coefficient de corrélation linéaire

On peut aussi chercher la droite D' : x=a'y + b' qui rende minimale la somme :

$\sum_{i=1}^n (x_i-a'y_i-b')^2$

On trouve alors une droite qui passe aussi par le point moyen G et telle que a' = $\frac{cov(x,y)}{V(y)}$ . On souhaite évidemment tomber sur la même droite. Ce sera le cas si et seulement si a' = 1/a, c'est-à-dire si aa' = 1. Les droites sont confondues si et seulement si $\frac{cov(x,y)^2}{V(x)V(y)}=1$ c'est-à-dire si et seulement si $\frac{cov(x,y)}{\sigma_x\sigma_y} =\pm 1$

On appelle cette quantité $\frac{cov(x,y)}{\sigma_x\sigma_y}$ le coefficient de corrélation linéaire entre x et y. On peut démontrer que ce nombre est toujours compris entre -1 et 1.

En pratique sa valeur absolue est rarement égale à 1, mais on estime généralement que l'ajustement est valide dès que ce coefficient a une valeur absolue supérieure à $\sqrt{3}/2$

Démonstration des formules par étude d'un minimum

Pour tout réel a, on pose $f_a(b) = \sum_{i=1}^n (y_i-ax_i-b)^2$ . Il suffit de développer et ordonner ce polynôme du second degré en b. On obtient:

$f_a(b) = nb^2-2b\left(\sum_{i=1}^n (y_i-ax_i)\right)+ \sum_{i=1}^n (y_i-ax_i)^2$

Ce polynôme atteint son minimum si

$b = \frac{1}{n}\sum_{i=1}^n (y_i-ax_i) = \overline{y} - a\overline{x}$

Ce qui signifie que la droite passe par le point moyen G

Il reste à remplacer dans la somme de départ, b par cette valeur.

Pour tout réel a, $S(a) = \sum_{i=1}^n ((y_i-\overline{y}) - a(x_i-\overline{x}))^2$ . Il suffit de développer et ordonner ce polynôme du second degré en a. On obtient

$S(a) = \left(\sum_{i=1}^n (x_i-\overline{x})^2\right)a^2 - 2a\sum_{i=1}^n (x_i-\overline{x})(y_i-\overline{y}) + \sum_{i=1}^n (y_i - \overline{y})^2$

$S(a)= n\times V(x)\times a^2-2a\times n\times cov(x,y) + n\times V(y)$ .

Ce polynôme atteint son minimum si et seulement si

$a=\frac{cov(x,y)}{V(x)}$

La droite de régression est bien la droite passant par G et de coefficient directeur $a=\frac{cov(x,y)}{V(x)}$ .

Démonstration des formules grâce aux espaces vectoriels de dimension n

Dans l'espace $\mathbb{R}^n$ , muni du produit scalaire canonique, on considère le vecteur X de coordonnées $(x 1, x 2,..., x n)$ , le vecteur Y de coordonnées $(y 1, y 2,..., y n)$ , le vecteur U de coordonnées (1, 1, ..., 1).

On peut remarquer que

$X.U = n\overline{x}$
$Y.U = n\overline{y}$
$||X-\overline{x}U||^2 = n.V(x)$
$||Y-\overline{y}U||^2 = n.V(y)$
$(Y-\overline{y}U).(X-\overline{x}U)=n.cov(x,y)$

On note alors $\overline{X}$ le vecteur $\overline{x}U$ et $\overline{Y}$ le vecteur $\overline{y}U$

Le vecteur Z de coordonnées $(a x 1 + b, a x 2 + b,..., a x n + b)$ appartient à l'espace vectoriel engendré par X et U.

La somme $\sum_{i=1}^n (y_i-ax_i-b)^2$ représente le carré de la norme du vecteur $Y - Z$ .

Cette norme est minimale si et seulement si Z est le projeté orthogonal de Y dans l'espace vectoriel vect(X,U).

Z est le projeté de Y dans l'espace vectoriel vect(X,U) si et seulement si $(Z - Y). U = 0$ et $(Z-Y).(X - \overline{X})=0$ .

Or $(Z-Y).U=aX.U+bU^2-Y.U=n(a\overline{x}+b-\overline{y})$ donc (Z-Y).U=0 signifie que $b= \overline{y} - a\overline{x}$ .

En remplaçant dans $(Z-Y).(X - \overline{X})$ , on obtient

$(a(X-\overline{X})-(Y-\overline{Y})).(X - \overline{X}) = naV(x) - ncov(x,y)$ donc $(Z-Y).(X - \overline{X})=0$ signifie que $a = \frac{cov(x,y)}{V(x)}$

Enfin le coefficient de corrélation linéaire s'écrit alors $\frac{(X-\overline{X}).(Y-\overline{Y})}{||X-\overline{X}||\times||Y-\overline{Y}||}$ . Cette quantité représente le cosinus de l'angle formé par les vecteurs $X-\overline{X}$ et $Y-\overline{Y}$ .

On retrouve alors les résultats suivants:

si le coefficient de corrélation linéaire est 1 ou -1, les vecteurs $X-\overline{X}$ et $Y-\overline{Y}$ sont colinéaires de coefficient de colinéarité $a$ et $Y = aX + \overline{Y}-a\overline{X}$ . L'ajustement linéaire est parfait.
si le coefficient de corrélation linéaire est en valeur absolue supérieur à $\sqrt{3}/2$ alors l'angle formé par les deux vecteurs est compris entre $- π / 6$ et $π / 6$ ou entre $5π / 6$ et $7π / 6$ .