<page>
    <title>Entropie métrique</title>
    <id>912857</id>
    <revision>
      <id>29265228</id>
      <timestamp>2008-05-04T19:20:38Z</timestamp>
      <contributor>
        <username>Amic</username>
        <id>387810</id>
      </contributor>
      <minor />
      <comment>/* Doublement des angles */</comment>
      <text xml:space="preserve">L''''entropie métrique''', ou '''entropie de Kolmogorov''' (se dit aussi en anglais '''measure-theoretic entropy''') est un outil développé par [[Andreï Kolmogorov | Kolmogorov]] vers le milieu des [[années 1950]] issu du concept probabiliste d'entropie de la [[théorie de l'information]] de [[Claude Shannon|Shannon]]. Kolmogorov montra comment l'entropie métrique
peut être utilisée pour montrer si deux systèmes dynamiques ne sont
pas conjugués. C'est un invariant fondamental des systèmes
dynamiques mesurés. En outre, l'entropie métrique permet une
définition qualitative du [[Théorie du chaos|chaos]] : une transformation chaotique peut
être vue comme une transformation d'entropie non nulle.

Présentons tout d'abord le cadre mathématique dans lequel on se
place. &lt;math&gt;(X, \mathfrak{M}, \mu)&lt;/math&gt; est un [[espace de probabilité]], et &lt;math&gt;f
: X \to X&lt;/math&gt; est une application mesurable, qui représente la loi
d'évolution d'un système dynamique à temps discrets sur l'espace des
phases ''X''. On impose à ''f'' de préserver la mesure, c'est-à-dire que
&lt;math&gt;\forall M \in \mathfrak{M}, \mu(f^{-1}(M)) = \mu(M)&lt;/math&gt;. Partant d'un
état initial ''x'', on peut définir la suite des ses itérés par ''f'' :
&lt;math&gt;x, f(x), \dots, f^n(x), \dots&lt;/math&gt; L'ensemble &lt;math&gt;\{f^n(x) : n \geq 0\}&lt;/math&gt;
des états par lesquels passe le système s'appelle l'orbite de ''x''.

== Construction de l'entropie métrique ==

Si l'on se donne une partition finie α de ''X'' constituée
d'ensembles mesurables &lt;math&gt;\alpha = \{A_1, \dots, A_p\}&lt;/math&gt; et un état
initial ''x'', les états &lt;math&gt;f^n(x)&lt;/math&gt; (&lt;math&gt;n \geq 0&lt;/math&gt;) par lesquels le système
passe tombent chacun dans une des parties de la partition α.
La suite de ces parties fournit de l'information sur l'état initial
''x''. L'entropie correspond à la quantité moyenne d'information
apportée par une itération. La construction de l'entropie métrique
est un processus qui se déroule en trois étapes, que nous allons expliciter ci-dessous. Dans un premier
temps, on définit l'entropie &lt;math&gt;\mathcal{H}(\alpha)&lt;/math&gt; d'une partition
α (information moyenne issue de la connaissance de la partie
de α dans laquelle se situe un point de ''x''). Puis, on
définit l'entropie &lt;math&gt;h(f, \alpha)&lt;/math&gt; de la transformation ''f''
relativement à la partition α (information moyenne apportée
par une itération). Enfin, l'entropie métrique ''h(f)'' est la borne
supérieure des entropies de ''f'' relativement aux partitions de ''X''.

=== Entropie d'une partition ===

Soit α une partition finie de ''X'' en ensembles mesurables. Un point
&lt;math&gt;x \in X&lt;/math&gt; est d'autant mieux localisé qu'il se situe dans une partie
&lt;math&gt;A \in \alpha&lt;/math&gt; de faible mesure &lt;math&gt;\mu(A)&lt;/math&gt;. Ceci justifie
l'introduction de la fonction information &lt;math&gt;I(\alpha) : X \to [0 ; +
\infty ]&lt;/math&gt; définie par : 

::&lt;math&gt;\forall x \in X,  I(\alpha)(x) = -\sum_{A \in \alpha} \log \mu(A) \chi_A(x)&lt;/math&gt;

c'est-à-dire &lt;math&gt;I(\alpha)(x) = - \log \mu(A)&lt;/math&gt; si &lt;math&gt;x \in A&lt;/math&gt;.

L'entropie de la partition α est la moyenne de &lt;math&gt;I(\alpha)&lt;/math&gt; :

:: &lt;math&gt;\mathcal{H}(\alpha) = \frac{1}{\mu(X)} \int_X I(\alpha)(x) d\mu(x) = - \sum_{A \in
\alpha} \mu(A) \log \mu(A)&lt;/math&gt;

On prend &lt;math&gt;0 \log 0&lt;/math&gt; égal à 0. Si α et β sont deux
partitions mesurables de ''X'', on définit le joint de α et
β, &lt;math&gt;\alpha \vee \beta&lt;/math&gt; la plus petite partition plus fine que
α et β : &lt;math&gt;\alpha \vee \beta = \{ A \cap B : A \in
\alpha, B \in \beta, A \cap B \neq \emptyset\}&lt;/math&gt;. On dit que β
est plus fine que α, et on note &lt;math&gt;\beta \geq \alpha&lt;/math&gt; si tout
élément de ''A'' de α s'écrit comme union d'éléments de β.

L'entropie d'une partition vérifie les propriétés intuitives
suivantes :

* Si α et β sont deux partitions mesurables, alors &lt;math&gt;\mathcal{H}(\alpha \vee \beta) \leq \mathcal{H}(\alpha) + \mathcal{H}(\beta)&lt;/math&gt;.
* Notons &lt;math&gt;f^{-1}(\alpha) = \{f^{-1}(A) : A \in \alpha\}&lt;/math&gt;. On a : &lt;math&gt;\mathcal{H}(\alpha) = \mathcal{H}(f^{-1}(\alpha))&lt;/math&gt;.

La première propriété signifie que l'information apportée par la
connaissance simultanée des positions des états du système
relativement à deux partitions est inférieure à la somme des
informations apportées relativement à chacune des partitions. La
deuxième propriété provient du fait que ''f'' préserve la mesure.

=== Entropie d'une transformation relativement à une partition ===

α est une partition mesurable. On définit l'entropie
&lt;math&gt;h(f,\alpha)&lt;/math&gt; de la transformation ''f'' relativement à α par :

::&lt;math&gt;h(f, \alpha) = \lim_{n \to + \infty} \frac{1}{n} \mathcal{H} \Bigg(\bigvee_{i=0}^{n-1} f^{-i}(\alpha) \Bigg)&lt;/math&gt;

On peut voir la transformation ''f'' comme le passage d'un jour au suivant lors d'une
expérience. Au temps zéro, on ne parvient pas à distinguer tous les
états, on regroupe les états non distinguables par paquets, on forme
de cette manière une partition α. &lt;math&gt;\bigvee_{i=0}^{n-1}
f^{-i}(\alpha)&lt;/math&gt; représente ainsi tous les résultats possibles au
bout de ''n'' jours. &lt;math&gt;h(f, \alpha)&lt;/math&gt; est donc l'information moyenne
quotidienne que l'on obtient en réalisant l'expérience.

La limite définie existe bien. Si on note &lt;math&gt;a_n = \mathcal{H} \Bigg(
\bigvee_{i=0}^{n-1} f^{-i}(\alpha) \Bigg)&lt;/math&gt;, alors la suite &lt;math&gt;(a_n)_{n
\in \N^*}&lt;/math&gt; est sous-additive car :

::&lt;math&gt;a_{n+p} = \mathcal{H} \Bigg(\bigvee_{i=0}^{n+p-1} f^{-i}(\alpha) \Bigg) \leq \mathcal{H} \Bigg(\bigvee_{i=0}^{n-1} f^{-i}(\alpha) \Bigg) + \mathcal{H} \Bigg(\bigvee_{i=n}^{n+p-1} f^{-i}(\alpha) \Bigg) \leq a_n + a_p&lt;/math&gt;

On a utilisé respectivement les deux propriétés de la section précédente.
&lt;math&gt;(a_n/n)_{n \in \N^*}&lt;/math&gt; admet donc une limite.

=== Dernière étape : entropie métrique d'une transformation ===

L'entropie métrique de ''f'', notée ''h(f)'' est la borne supérieure des
entropies de ''f'' relativement aux partitions finies mesurables de
''X''
:: &lt;math&gt;h(f) = \sup_{\alpha} h(f, \alpha)&lt;/math&gt;

''h(f)'' est éventuellement infinie.

== Exemples de systèmes dynamiques et calcul d'entropie ==

Le calcul de l'entropie métrique est facilité lorsque la borne
supérieure est atteinte, ''i.e'' lorsqu'il existe une partition
α telle que l'entropie métrique et l'entropie relativement à
α soient confondues. À titre d'exemple, traitons le cas de
l'application identité de ''X''. Alors, 

::&lt;math&gt; h(id, \alpha) = \frac{1}{n}\mathcal{H}\Bigg(\bigvee_{i=0}^{n-1} id^{-i}(\alpha) \Bigg) =\frac{1}{n} \mathcal{H}(\alpha) \longrightarrow_{n \to + \infty} 0&lt;/math&gt;

L'identité a une entropie nulle, ce qui est prévisible en raison de
son caractère peu chaotique.

{{Article détaillé|Théorème de Kolmogorov-Sinai}}

Dans beaucoup de cas moins triviaux, le théorème suivant, de
Kolmogorov-Sinai, est l'un des outils les plus pratiques pour
calculer une entropie, car il évite de prendre la borne supérieure
sur toutes les partitions mesurables de ''X''.

Si α est une partition mesurable de ''X'' telle que la suite
&lt;math&gt;\Big(\bigvee_{i=0}^{n} f^{-i}(\alpha)\Big)_{n \in \N}&lt;/math&gt; engendre la
tribu &lt;math&gt;\mathfrak{M}&lt;/math&gt;, ou bien si ''f'' est inversible (''f''&lt;sup&gt;-1&lt;/sup&gt; est
mesurable et préserve la mesure) et la suite
&lt;math&gt;\Big(\bigvee_{i=-n}^{n} f^{-i}(\alpha)\Big)_{n \in \N}&lt;/math&gt; engendre la
tribu &lt;math&gt;\mathfrak{M}&lt;/math&gt; alors on dit que α est génératrice.

Le théorème de Kolmogorov-Sinai affirme que si α est
génératrice, alors &lt;math&gt;h(f) = h(f, \alpha)&lt;/math&gt;.

=== Rotations du cercle ===

&lt;math&gt;\mathbb{U} = \R / \Z&lt;/math&gt; est le cercle unité, muni de la mesure d'angle
dθ. Analysons l'effet d'une rotation 

::&lt;math&gt;f : x \mapsto a + z \mod 1&lt;/math&gt;

lorsque &lt;math&gt;a = p/q&lt;/math&gt; est rationnel. Soit α une
partition : 

::&lt;math&gt;h(f, \alpha) = \lim_{n \to + \infty} \frac{1}{qn}
\mathcal{H}\Bigg(\bigvee_{i=0}^{qn-1} f^{-i}(\alpha)\Bigg) = \lim_{n
\to + \infty} \frac{1}{qn} \Bigg(\bigvee_{i=0}^{q-1}
f^{-i}(\alpha)\Bigg) = 0&lt;/math&gt;

Dans le cas où ''a'' est irrationnel, on montre également que
l'entropie métrique de ''f'' est nulle.

=== Doublement des angles ===

Toujours sur le cercle unité, on prend cette fois l'application 

::&lt;math&gt;f : x \mapsto 2x \mod 1&lt;/math&gt;

qui double les angles. On considère la même
partition 

::&lt;math&gt;\alpha = \Big\{\Big[0, \displaystyle\frac{1}{2}\Big[,
\Big[\displaystyle\frac{1}{2}, 1\Big[\Big\}&lt;/math&gt;

On observe que : 

::&lt;math&gt;\alpha \vee f^{-1}(\alpha) = \Big\{\Big[0, \frac{1}{4}\Big[,
\Big[\frac{1}{4}, \frac{1}{2}\Big[, \Big[\frac{1}{2},
\frac{3}{4}\Big[, \Big[\frac{3}{4},1\Big[\Big\}&lt;/math&gt;

Puis par récurrence, on déduit plus généralement que : 

::&lt;math&gt; \bigvee_{i=0}^{n-1}
f^{-i}(\alpha) = \Big\{\Big[\frac{i}{2^n},\frac{i+1}{2^n}\Big[ : 0
\leq i \leq 2^n -1 \Big\}&lt;/math&gt;

Comme les ensembles du type &lt;math&gt;\Big[\displaystyle\frac{i}{2^n},\displaystyle\frac{i+1}{2^n}\Big[&lt;/math&gt;
engendrent la tribu &lt;math&gt;\mathfrak{M}&lt;/math&gt;, le théorème de Kolmogorov-Sinai
montre que &lt;math&gt;h(f) = h(f, \alpha)&lt;/math&gt; et :

::&lt;math&gt;\mathcal{H}\Bigg(\bigvee_{i=0}^{n-1} f^{-i}(\alpha)\Bigg) = -
\sum_{i=0}^{2^n - 1}
\mu\Bigg(\Big[\frac{i}{2^n},\frac{i+1}{2^n}\Big[\Bigg) \log \mu
\Bigg(\Big[\frac{i}{2^n},\frac{i+1}{2^n}\Big[\Bigg) = n \log 2&lt;/math&gt;

L'entropie métrique de ''f'' est donc log 2.

=== [[Décalage de Bernoulli]] ===

On dispose d'un alphabet fini &lt;math&gt;\Lambda = \{1, \dots, k\}&lt;/math&gt;. Soit
&lt;math&gt;(p_i)_{1 \leq i \leq k}&lt;/math&gt; des nombres strictement positifs de somme
1. On assigne à chaque lettre ''i'' la probabilité &lt;math&gt;m(\{i\})
= p_i&lt;/math&gt; d'apparition. &lt;math&gt;(\Lambda, 2^\Lambda,
m)&lt;/math&gt; est un espace de probabilité. On introduit l'espace des mots
infinis &lt;math&gt;(\Lambda^\Z, \mathfrak{M}, \mu) =
\displaystyle\prod_{-\infty}^{+\infty} (\Lambda, 2^\Lambda, m)&lt;/math&gt;. On
définit l'application décalage σ par &lt;math&gt;\sigma(x)_n = x_{n+1}&lt;/math&gt;
pour &lt;math&gt;n \in \Z&lt;/math&gt;. &lt;math&gt;(\Lambda^\Z, \mathfrak{M}, \mu, \sigma)&lt;/math&gt; est un
système dynamique inversible. On partitionne &lt;math&gt;\Lambda^\Z&lt;/math&gt; en &lt;math&gt;\alpha
= \{P_i\}_{1 \leq i \leq k}&lt;/math&gt; où &lt;math&gt;P_i&lt;/math&gt; est l'ensemble des mots
&lt;math&gt;(x_n)_{n \in \Z}&lt;/math&gt; tels que &lt;math&gt;x_0 = i&lt;/math&gt;. &lt;math&gt;\bigvee_{i=-n}^n
f^{-i}(\alpha)&lt;/math&gt; est la partition par les cylindres
&lt;math&gt;\mathcal{C}_{\lambda_{-n}, \dots, \lambda_n} = \{ (x_n) \in
\Lambda^\Z : x_i = \lambda_i, -n \leq i \leq n\}&lt;/math&gt;. L'ensemble de ces
cylindres engendrent la tribu de &lt;math&gt;\Lambda^\Z&lt;/math&gt; et le théorème de
Kolmogorov-Sinai s'applique. On calcule alors facilement :

::&lt;math&gt; \mathcal{H}\Bigg( \bigvee_{i=0}^{n-1} \sigma^{-i}(\alpha) \Bigg) = - \sum_{(\lambda_0, \dots, \lambda_{n-1}) \in
\Lambda^n} p_{\lambda_0}p_{\lambda_1}\cdots p_{\lambda_{n-1}} \log
(p_{\lambda_0}p_{\lambda_1}\cdots p_{\lambda_{n-1}}) = - n
\sum_{\lambda \in \Lambda} p_\lambda \log p_\lambda&lt;/math&gt;

Donc &lt;math&gt;h(\sigma) = h(\sigma, \alpha) = - \displaystyle\sum_{\lambda \in
\Lambda} p_\lambda \log p_\lambda&lt;/math&gt;.

== Voir aussi ==

* [[Mesure (mathématiques)| Théorie de la mesure]]
* [[Systèmes dynamiques]]
* [[Entropie topologique]]
* [[Andreï Kolmogorov]]

{{Portail mathématiques}}

[[Catégorie:probabilités]]

[[en:Measure-preserving dynamical system#Measure-theoretic_entropy]]</text>
    </revision>
  </page>