Entropie différentielle 2684485 29966757 2008-05-25T08:04:00Z Oiffrig 149207 /* Entropie différentielle pour plusieurs distributions */ L''''Entropie différentielle''' est un concept de la [[théorie de l'information]] qui étend le concept de l'[[entropie de Shannon]] aux [[distribution de probabilité|distributions de probabilités]] continue. == Definition == Pour une variable aléatoire X avec une distribution de probabilité ''f'' et définie sur un ensemble <math>\mathbb(X)</math> on définie l'entropie différentielle h(X) par: :<math>h(X) = -\int_\mathbb{X} f(x)\log f(x)\,dx.</math> ==Entropie différentielle pour plusieurs distributions== {| class="wikitable" style="background:white" |+ Table d'entropies différentielles. |- ! Distribution !! Fonction de distribution de probabilités !! Entropie |- | [[Loi uniforme continue]] || <math>f(x) = \frac{1}{b-a}</math> pour <math>a \leq x \leq b</math> || <math>\ln(b - a) \, </math> |- | [[Loi normale]] || <math>f(x) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)</math> || <math>\ln\left(\sigma\sqrt{2\,\pi\,e}\right) </math> |- | [[Loi exponentielle]] || <math>f(x) = \lambda \exp\left(-\lambda x\right)</math> || <math>1 - \ln \lambda \, </math> |- | [[Loi de Cauchy]] || <math>f(x) = \frac{\lambda}{\pi} \frac{1}{\lambda^2 + x^2}</math> || <math>\ln(4\pi\lambda) \, </math> |- | [[Loi du χ²]] || <math>f(x) = \frac{1}{2^{n/2} \sigma^n \Gamma(n/2)} x^{\frac{n}{2} - 1} \exp\left(-\frac{x}{2\sigma^2}\right)</math> || <math>\ln 2\sigma^{2}\Gamma\left(\frac{n}{2}\right) - \left(1 - \frac{n}{2}\right)\psi\left(\frac{n}{2}\right) + \frac{n}{2}</math> |- | [[Distribution Gamma]] || <math>f(x) = \frac{x^{\alpha - 1} \exp(-\frac{x}{\beta})}{\beta^\alpha \Gamma(\alpha)}</math> || <math>\ln(\beta \Gamma(a)) + (1 - \alpha)\psi(\alpha) + \alpha \, </math> |- | [[Loi logistique]] || <math>f(x) = \frac{e^{-x}}{(1 + e^{-x})^2}</math> || <math>2 \, </math> |- | [[Statistique de Maxwell-Boltzmann]] || <math>f(x) = 4 \pi^{-\frac{1}{2}} \beta^{\frac{3}{2}} x^{2} \exp(-\beta x^2)</math> || <math>\frac{1}{2} \ln \frac{\pi}{\beta} + \gamma - 1/2</math> |- | [[Distribution de Pareto]] || <math>f(x) = \frac{a k^a}{x^{a+1}}</math> || <math>\ln \frac{k}{a} + 1 + \frac{1}{a}</math> |- | [[Loi de Student]] || <math>f(x) = \frac{(1 + x^2/n)^{-\frac{n+1}{2}}}{\sqrt{n}B(\frac{1}{2},\frac{n}{2})}</math> || <math>\frac{n+1}{2}\psi\left(\frac{n+1}{2}\right) - \psi\left(\frac{n}{2}\right) + \ln \sqrt{n} B\left(\frac{1}{2},\frac{n}{2}\right)</math> |- | [[Distribution de Weibull]] || <math>f(x) = \frac{c}{\alpha} x^{c-1} \exp\left(-\frac{x^c}{\alpha}\right)</math> || <math>\frac{(c-1)\gamma}{c} + \ln \frac{\alpha^{1/c}}{c} + 1</math> |- | [[Loi normale multidimensionnelle]] || <math> f_X(x_1, \dots, x_N) =</math> <math> \frac{1} {(2\pi)^{N/2} \left|\Sigma\right|^{1/2}} \exp \left( -\frac{1}{2} ( x - \mu)^\top \Sigma^{-1} (x - \mu) \right) </math> || <math>\frac{1}{2}\ln\{(2\pi e)^{N} \det(\Sigma)\}</math> |- |} [[en:Differential entropy]] [[Catégorie:Théorie de l'information]]