Entropie conjointe
2223279
31453971
2008-07-10T01:49:45Z
Escarbot
115455
robot Ajoute: [[ja:結合エントロピー]]
L''''Entropie conjointe''' est une mesure d'[[Entropie de Shannon|entropie]] utilisée en [[Théorie de l'information]]. L'entropie conjointe mesure combien d'infomation est contenue dans un système de deux [[Variable aléatoire|variables aléatoires]]. Comme les autres entropies, l'entropie conjointe peut être mesuré en [[Bit|bits]] ou en nats selon la base du logarithme utilisée.
== Definition ==
Si chaque paire d'états possibles <math> (x,y) </math> des variables aléatoires <math> (X,Y) </math> ont une probabilité <math> p_{x,y} </math> alors l'entropie conjointe est définie par :
:<math>H(X,Y) = -\sum_{x,y} p_{x,y} \log_2(p_{x,y}) \!</math>
== Propriétés ==
* L'entropie conjointe est supérieure ou égale à l'entropie d'une seule variable :
:<math> H(X,Y) \geq H(X) </math>
* Nous avons toujours l'entropie conjointe positive ou nulle :
:<math> H(X,Y) \geq 0 </math>
*Deux systèmes considérés ensemble ne peuvent pas apporter plus d'information que la somme des apports d'information de chacun :
:<math> H(X,Y) \leq H(X) + H(Y) </math>
avec égalité si X et Y sont des variables aléatoires indépendantes.
== Voir aussi ==
*[[Entropie conditionnelle]]
*[[Information mutuelle]]
*[[Divergence de Kullback-Leibler]]
[[Catégorie:Théorie de l'information]]
[[de:Blockentropie]]
[[en:Joint entropy]]
[[ja:結合エントロピー]]