Entropie conjointe 2223279 31453971 2008-07-10T01:49:45Z Escarbot 115455 robot Ajoute: [[ja:結合エントロピー]] L''''Entropie conjointe''' est une mesure d'[[Entropie de Shannon|entropie]] utilisée en [[Théorie de l'information]]. L'entropie conjointe mesure combien d'infomation est contenue dans un système de deux [[Variable aléatoire|variables aléatoires]]. Comme les autres entropies, l'entropie conjointe peut être mesuré en [[Bit|bits]] ou en nats selon la base du logarithme utilisée. == Definition == Si chaque paire d'états possibles <math> (x,y) </math> des variables aléatoires <math> (X,Y) </math> ont une probabilité <math> p_{x,y} </math> alors l'entropie conjointe est définie par : :<math>H(X,Y) = -\sum_{x,y} p_{x,y} \log_2(p_{x,y}) \!</math> == Propriétés == * L'entropie conjointe est supérieure ou égale à l'entropie d'une seule variable : :<math> H(X,Y) \geq H(X) </math> * Nous avons toujours l'entropie conjointe positive ou nulle : :<math> H(X,Y) \geq 0 </math> *Deux systèmes considérés ensemble ne peuvent pas apporter plus d'information que la somme des apports d'information de chacun : :<math> H(X,Y) \leq H(X) + H(Y) </math> avec égalité si X et Y sont des variables aléatoires indépendantes. == Voir aussi == *[[Entropie conditionnelle]] *[[Information mutuelle]] *[[Divergence de Kullback-Leibler]] [[Catégorie:Théorie de l'information]] [[de:Blockentropie]] [[en:Joint entropy]] [[ja:結合エントロピー]]