Propriété markovienne 255178 31457701 2008-07-10T08:12:53Z Jct 22225 Précisions En [[probabilité]] un [[processus stochastique]] vérifie la '''propriété markovienne''' si et seulement si la [[Loi de probabilité|distribution]] conditionnelle de probabilité des états futurs, étant donné l'instant présent, ne dépend que de ce même état présent et pas des états passés (absence de "mémoire"). Un processus qui possède cette propriété est appelé '''processus de Markov'''. Mathématiquement, si ''X''(''t''), ''t'' > 0, est un processus stochastique, la propriété de Markov est définie ainsi : :<math>\mathrm{P}\big[X(t+h) = y \,|\, X(s) = x(s), s \leq t\big] = \mathrm{P}\big[X(t+h) = y \,|\, X(t) = x(t)\big], \quad \forall h > 0.</math> Généralement, on utilise une hypothèse d'homogénéïté dans le temps, c'est-à-dire :<math>\mathrm{P}\big[X(t+h) = y \,|\, X(t) = x(t)\big] = \mathrm{P}\big[X(h) = y \,|\, X(0) = x(0)\big], \quad \forall t, h > 0,</math> Dans certains cas, un processus à première vue non-markovien peut tout de même avoir des représentations markoviennes en modifiant le concept d'état ''actuel'' et ''futur''. Soient ''X'' un intervalle de [[temps]], et ''Y'' un processus tel que chaque état de ''Y'' représente un intervalle de temps de ''X'' : :<math>Y(t) = \big\{ X(s) : s \in [a(t), b(t)] \, \big\}.</math> Si ''Y'' est markovien, alors c'est une représentation markovienne de ''X'' et ''X'' est alors appelé processus de Markov du second ordre. Les processus d'ordre supérieurs sont définis de la même manière. == Types de processus de Markov == === Espace d'états discret === Lorsque les [[Variable aléatoire|variables aléatoires]] successives sont des variables discrètes munies d'une fonction de probabilité, on parle de [[chaîne de Markov]]. Bien que les chaînes de Markov s'appliquent à des phénomènes dont l'aspect temporel est généralement sans intérêt, on peut associer aux valeurs successives <math>x_i\,</math> les instants <math>t_i\,</math>. La propriété markovienne selon laquelle la probabilité d'un état du système ne dépend que de son état précédent à travers une probabilité conditionnelle appelée probabilité de transition s'exprime par : <math>P(x_n,t_n|x_{n-1},t_{n-1};x_{n-1},t_{n-1};...;x_1,t_1;x_0,t_0) = P(x_n,t_n|x_{n-1},t_{n-1}) \quad t_n>t_{n-1}>...>t_1>t_0\,</math>. Une chaîne de Markov est entièrement définie par la probabilité au premier ordre <math>P(x,t)\,</math> et la probabilité de transition. On obtient par exemple la probabilité au second ordre par : <math>P(x_1,t_1;x_2,t_2) = P(x_1,t_1) P(x_2,t_2|x_1,t_1) \quad t_2>t_1\,</math>. Elle est donc également définie par la probabilité au second ordre. Enfin, elle peut être définie par l'état initial et la probabilité de transition. === Espace d'états continu === Les chaînes de Markov qui viennent d'être évoquées trouvent des applications dans les domaines les plus divers mais les processus considérés dans les problèmes dynamiques, en particulier en vibrations, portent généralement sur des variables aléatoires continues. Dans ces conditions, la probabilité d'obtenir une valeur donnée est généralement nulle et les probabilités d'apparition doivent être remplacées par des densités de probabilité dans la formule de la propriété markovienne : <math>p(x_n,t_n|x_{n-1},t_{n-1};x_{n-1},t_{n-1};...;x_1,t_1;x_0,t_0) = p(x_n,t_n|x_{n-1},t_{n-1}) \quad t_n>t_{n-1}>...>t_1>t_0\,</math> et dans les autres formules. === Temps discret et temps continu === Les considérations qui précèdent restent valables si les intervalles de temps deviennent infiniment petits. Cette remarque est particulièrement intéressante dans le cas d'une [[équation différentielle stochastique|équation différentielle]]. Si elle est du premier ordre, la mise en [[Méthode des différences finies|différences finies]] fait apparaître un mécanisme markovien. Pour les ordres supérieurs et les systèmes différentiels, la décomposition en équations du premier ordre conduit à un système markovien à plusieurs dimensions. == Equation de Chapman-Kolmogorov-Smoluchowski == C'est une équation intégrale qui assure la cohérence du processus : : <math>p(x_3,t_3|x_1,t_1) = \int p(x_3,t_3|x_2,t_2) p(x_2,t_2|x_1,t_1) dx_2 \quad t_3>t_2>t_1 </math>. Elle se transforme en une équation aux dérivées partielles, plus facile à manipuler, qui prend le nom d'[[équation de Fokker-Planck]]. == Références == # Lin, Y. K. : "Probabilistic Theory of Structural Dynamics", Robert E. Krieger Publishing Company, New York (1967) # Philippe A. Martin, Introduction aux processus stochastiques en physique, http://seminairetransalpin.in2p3.fr/2006/talks/martin.pdf # Ch. Ancey, Simulations stochastiques - Applications aux écoulements géophysiques et la turbulence, http://www.toraval.fr/articlePDF/stochastique.pdf == Voir aussi == * [[Andrei Markov (mathématicien)|Andrei Markov]] * [[Chaîne de Markov]] [[Catégorie:Probabilités]] [[Catégorie:Processus stochastique]] {{Portail mathématiques}} [[bg:Марковско свойство]] [[ca:Propietat de Markov]] [[en:Markov property]] [[es:Propiedad de Markov]] [[fa:خاصیت مارکف]] [[hr:Markovljevo svojstvo]] [[it:Proprietà di Markov]] [[ja:マルコフ性]] [[pl:Własność Markowa]] [[sv:Markovegenskapen]] [[vi:Thuộc tính Markov]] [[zh:Markov性质]]