Information mutuelle
208485
31838993
2008-07-24T02:24:11Z
Oliv9053
428475
Ajout section references
Dans la [[théorie des probabilités]] et la [[théorie de l'information]], l''''information mutuelle''' de deux [[variable aléatoire|variables aléatoires]] est une quantité mesurant la [[Indépendance (probabilités)|dépendance statistique]] de ces variables. Elle se mesure souvent en [[Bit (informatique)|bit]].
L'information mutuelle d'un couple <math>(X,Y)</math> de variables représente leur degré de dépendance au sens probabiliste. Ce concept de dépendance logique ne doit pas être confondu avec celui de causalité physique, bien qu'en pratique l'un implique souvent l'autre.
Informellement, on dit que deux variables sont indépendantes si la réalisation de l'une n'apporte aucune information sur la réalisation de l'autre. La [[corrélation]] est un cas particulier de dépendance dans lequel la relation entre les deux variables est strictement [[monotone]].
L'information mutuelle est nulle ssi les variables sont indépendantes, et croit lorsque la dépendance augmente.
===Définition===
Soit <math>(X,Y)</math> un couple de variables aléatoires de densité de probabilité jointe données par <math>P(x,y)</math>. Notons les distributions marginales <math>P(x)</math> et <math>P(y)</math>. Alors l'information mutuelle est dans le cas discret:
:<math> I(X,Y) = \sum_{x,y} P(x,y) \log \frac{P(x,y)}{P(x)\,P(y)}, \!</math>
et, dans le cas continu:
:<math> I(X,Y) = \int_{(-\infty,\infty) \times (-\infty,\infty)} P(x,y) \log \frac{P(x,y)}{P(x)\,P(y)} \; dx dy. \!</math>
===Propriétés===
* ''I''(''X'', ''Y'') = 0 [[Équivalence logique|ssi]] ''X'' et ''Y'' sont des variables aléatoires indépendantes.
* L'information mutuelle est positive ou nulle.
* L'information mutuelle est symétrique.
* 'Data processing theorem': si <math>g1</math> et <math>g2</math> sont deux fonctions mesurables alors <math>I(g1(X),g2(Y)) \le I(X,Y) </math>. Ceci signifie qu'aucune transformation sur les données brutes ne peut faire apparaitre de l'information.
* Lorsque la distribution jointe des variables aléatoires <math>\ X</math> et <math>\ Y</math> suit une [[loi normale multidimensionnelle]] <math>\mathcal{N}(\mu,\, \Sigma)</math>, il a été montré <ref name="KL_information_theory_book">
{{Ouvrage
| auteur = S. Kullback
| année = 1959
| langue = anglais
| titre = Information theory and statistics
| éditeur = John Wiley and Sons, NY
}}
</ref> que l'information mutuelle est directement reliée au coefficient de [[corrélation (statistiques) | corrélation]] <math>\ \rho</math> entre ces deux variables : <math>I(X,Y) = - \frac{1}{2} \log(1 - \rho^2)</math>
Plusieurs généralisations de cette quantité à un nombre plus grand de variables ont été proposées, mais aucun consensus n'a encore émergé.
===Liens avec la théorie de l'information===
====Entropie====
L'information mutuelle mesure la quantité d'information apportée en moyenne par une réalisation de ''X'' sur les probabilités de réalisation de ''Y''.
En considérant qu'une distribution de probabilité représente notre connaissance sur un phénomène aléatoire, on mesure l'absence d'information par l'[[entropie]] de cette distribution. En ces termes, l'information mutuelle s'exprime par:
:<math> I(X,Y) = H(X) - H(X|Y) = H(Y) - H(Y|X) = H(X) + H(Y) - H(X,Y). </math>
où ''H''(''X'') et ''H''(''Y'') sont des [[entropie|entropies]], ''H''(''X''|''Y'') et ''H''(''Y''|''X'') sont des [[entropie conditionnelle|entropies conditionnelles]], et ''H''(''Y'',''X'') est l'[[entropie conjointe]] entre ''X'' et ''Y''.
Ainsi on voit que <math>I(X,Y)=0</math> ssi le nombre de bits nécessaires pour coder une réalisation du couple est égal à la somme du nombre de bits pour coder une réalisation de ''X'' et du nombre de bits pour coder et une réalisation de ''Y''.
====Divergence de Kullback-Leibler====
L'information mutuelle peut aussi être exprimée par la [[divergence de Kullback-Leibler]]. On a
:<math>I(X,Y)= \mathit{KL}( P(X,Y) ,P(X)P(Y))= \sum P(X,Y) \log \frac{P(X,Y)}{P(X)P(Y)}.</math>
Ainsi <math>I(X,Y)</math> mesure une sorte de "distance" entre les distributions <math>P(X,Y)</math> et <math>P(X) * P(Y)</math>. Comme, par définition, deux variables sont indépendantes ssi ces deux distributions sont égales, et comme <math>\mathit{KL}(p,q) = 0</math> ssi <math>p=q</math>, on retrouve l'équivalence entre <math>I(X,Y)=0</math> et indépendance.
Intuitivement <math>P(X,Y)</math> porte plus d'information lorsque les variables sont dépendantes que lorsqu'elles ne le sont pas. Si les deux variables sont discrètes à ''N'' cas, il faut, au pire, <math>N^2-1</math> coefficients pour spécifier <math>P(X,Y)</math>, contre seulement <math>2 N - 1</math> si <math>P(X,Y)=P(X)P(Y)</math>.
La divergence <math>\mathit{KL}</math> donne le nombre de bits d'information apportés par la connaissance de <math>P(X,Y)</math> lorsqu'on connait déjà <math>P(X)</math>et <math>P(Y)</math>.
=== Notes et références ===
<references/>
[[Catégorie:Probabilités]]
[[Catégorie:théorie de l'information]]
[[de:Transinformation]]
[[en:Mutual information]]
[[es:Información mutua]]
[[ja:相互情報量]]
[[pl:Informacja wzajemna]]