Information mutuelle

Définition préalable

L'information mutuelle est l'information apportée par plusieurs sources d'information simultannément (voir Quantité d'information relative à un évènement). Son existence est liée à la question suivante : Etant donné un évènement, en quoi modifie t'il la quantité d'information fournie par un autre évènement?

L'information de plusieurs sources cumulées n'est pas la somme des informations individuelles

Reprenons l'exemple des boîtes colorées (voir Mesure de la quantité d'information notamment pour le calcul de la quantité d'information utilisant les logarithmes). Pour simplifier, prenons 6 boîtes : une boîte rouge et ronde, une rouge et carrée, une bleue et ronde, une bleue et carrée, et deux vertes.

Considérons l'information « La boîte est bleue ». Sa quantité d'information est $log_{2}(\frac{6}{2})=log_{2}(3)$ , car le nombre de boîtes bleues est 2, et qu'il y a 6 boîtes.

La quantité d'information de l'information « La boîte est ronde », est aussi de $log_{2}(\frac{6}{2})=log_{2}(3)$ , car le nombre de boîtes rondes est aussi de 2.

Or La quantité d'information de l'information « La boîte est ronde et bleue », est de $log_{2}(\frac{6}{1})=log_{2}(6)$ , car il n'y a qu'un boite ronde et bleue, alors que la somme de « la boîte est bleue » et « la boîte est ronde » est $2 * l o g 2 (3) = l o g 2 (9)$ , qui est différent de $l o g 2 (6)$ (car log est bijective).

Calcul de l'information mutuelle

Pour comprendre le calcul de cette information mutuelle, il faut manipuler les ensembles correspondant aux informations en question (voir Théorie des ensembles).

Comme l'information mutuelle est issue de différentes sources, les évènements qui contiennent cette information sont formés par l'union de ces sources.

Si A et B sont indépendants, c’est-à-dire $A \bigcap B = 0$ , l'information fournie par un élèment de A n'est pas en relation avec l'information fournie par un élèment de B. Si l'on note h(X) l'information fournie par un élèment de X, on a donc:

  (1).

Lorsque $A \bigcap B != 0$ , il est intuitif de dire que $h(A \bigcup B) < h(A) + h(B)$ car une partie de l'information fournie par B est déjà fournie par A, et vice-versa. Nous pouvons constater que cette information déjà fournie par A est la même que l'information déjà fournie par B. Cette information correspond à l'information fournie par $A \bigcap B$ , qui est l'information commune aux deux sources.

Il nous faut alors se souvenir que $A = (A \backslash B) \bigcup (A \bigcap B)$ ainsi que $B = (B \backslash A) \bigcup (B \bigcap A)$ . Nous avons bien évidemment $(A \backslash B) \bigcap (A \bigcap B) = 0$ et $(B \backslash A) \bigcap (A \bigcap B) = 0$ , donc nous pouvons y appliquer (1) :

  
  et
  .

Ces deux égalités mettent en évidence l'information commune qu'est $h(B \bigcap A)$ .

 Ainsi donc, 
  .

Cependant, nous savons que $h(A \bigcap B) = h(A) + h(B \backslash A) = h(B) + h(A \backslash B)$ . Et on peut donc conclure que:

Information mutuelle

Définition préalable

L'information de plusieurs sources cumulées n'est pas la somme des informations individuelles

Calcul de l'information mutuelle

See also: Information mutuelle, Théorie de l'information, Théorie des ensembles, Information commune