Entropie conditionnelle
673391
22503750
2007-11-03T12:03:07Z
Anarkman
4161
/* Voir aussi */
L''''entropie conditionnelle''' est une mesure d'entropie utilisée en [[théorie de l'information]]. L'entropie conditionnelle mesure l'[[Entropie de Shannon|entropie]] restante provenant de la [[variable aléatoire]] <math>Y</math>, si l'on connait parfaitement la seconde variable aléatoire <math>X</math>. C'est l'entropie de <math>Y</math> conditionnée par <math>X</math>. Cette entropie est notée <math>H(Y|X)</math>. Comme les autres entropies, l'entropie conditionnelle se mesure généralement en bits.
Étant données deux variables aléatoires <math>X</math> et <math>Y</math> avec pour entropies respectives <math>H(X)</math> et <math>H(Y)</math>, et pour entropie conjointe <math>H(X,Y)</math>, l'entropie conditionnelle de <math>Y</math> étant donné <math>X</math> est définie par :
<math>H(Y|X) \equiv H(X,Y) - H(X)</math>
Intuitivement, si le système combiné contient <math>H(X,Y)</math> bits d'information, et si nous connaissons parfaitement la variable aléatoire <math>X</math>, pour coder le système on peut économiser <math>H(X)</math> bits, et on n'a plus besoin que de <math>H(Y|X)</math> bits.
<math>H(Y|X)=0</math> si et seulement si la variable aléatoire Y est complètement déterminée par la variable aléatoire X. Inversement <math>H(Y|X) = H(Y)</math> si et seulement si <math>Y</math> et <math>X</math> sont des variables aléatoires [[Indépendance (probabilités)|indépendantes]].
== Voir aussi ==
* [[Information mutuelle]]
* [[Probabilité conditionnelle]]
* [[Entropie conjointe]]
[[Catégorie : Théorie de l'information]]
[[de:Bedingte Entropie]]
[[en:Conditional entropy]]
[[pl:Entropia warunkowa]]
[[zh:条件熵]]