Compréhension intuitive de l'inégalité de Jensen

Cet article tente de comprendre intuitivement l'inégalité de Jensen concernant les variables stochastiques à l'aide d'exemples.

Si $ x $ est une variable de probabilité et $ p (x) $ est une fonction de densité de probabilité de x, la valeur attendue $ E [x] $ est

E[x] = \int xp(x)dx

Il est exprimé comme. À ce stade, pour ** fonction convexe vers le haut </ u> ** $ f (x) $,

f(E[x]) \ge E[f(x)]

S'appelle l'inégalité de Jensen. Cette preuve a déjà été expliquée à divers endroits (par exemple, ici), elle est donc omise ici. Je vais.

Afin de comprendre intuitivement cette inégalité $ f (E [x]) \ ge E [f (x)] $, représentons graphiquement un exemple utilisant des nombres aléatoires.

Tout d'abord, supposons que x est une variable stochastique qui suit une distribution normale, et créons un nombre aléatoire généré à partir de celle-ci. De plus, convertissez ce x avec une fonction convexe vers le haut de $ f (x) = -x ^ 2 + 10 $. L'histogramme en haut du graphique ci-dessous est la distribution de x qui suit la distribution normale, et l'histogramme de droite est la distribution que $ x ^ 2 $ suit. En d'autres termes, l'inégalité de Jensen est ** plus verte que le ** cercle rouge ** ci-dessous (après avoir pris la valeur attendue, c'est-à-dire en prenant la moyenne de l'histogramme ci-dessus, puis en la convertissant avec $ f (x) $). Il montre qu'il est plus grand que le cercle ** (converti avec $ f (x) $ et prend ensuite la valeur attendue, c'est-à-dire la valeur moyenne de l'histogramme de droite).

jensen_explanation.png

Ci-dessous, une animation de la distribution normale, qui est la distribution de x, avec la moyenne décalée. Dans chaque cas, vous pouvez voir que le cercle vert est en dessous du cercle rouge.

jensen.gif

Qu'y a-t-il de bien dans cette inégalité? ?? ??

L'inégalité de Jensen

f(E[x]) \ge E[f(x)]

Veut maximiser $ f (E [x]) $, mais quand on ne sait pas ce qu'est cette fonction, $ E [f (x)] $ si elle peut être calculée. Puisque E [f (x)] $ peut être traité comme la limite inférieure de $ f (E [x]) $, en maximisant le calculable $ E [f (x)] $, la cible originale $ Il est possible de maximiser f (E [x]) $.

Souvent utilisé parce que $ \ log (\ cdot) $ est une fonction convexe vers le haut

log \int p(x)f(x)dx \ge \int p(x) log f(x)dx

Comme, $ \ log (\ cdot) $ est mis dans l'intégration pour pouvoir être calculé.

C'est un peu déroutant, mais voici l'animation pour $ \ log (\ cdot) $. Si vous regardez l'histogramme sur le côté droit, il est déformé vers le bas, vous pouvez donc sentir que la valeur moyenne se déplace vers le bas. On peut voir que le cercle vert est sous le cercle rouge de ce montant. jensen_log.gif

référence

1.8 Inégalité des variables probabilistes 1 http://mcm-www.jwu.ac.jp/~konno/pdf/statg-1-8r.pdf

Code Python qui décrit le graphique utilisé dans cet article https://github.com/matsuken92/Qiita_Contents/blob/master/General/Jensens-inequality.ipynb

Recommended Posts

Compréhension intuitive de l'inégalité de Jensen
Mémorandum elasticsearch_dsl
Compréhension complète de la fonction numpy.pad
Compréhension complète du débogage Python
Comprendre le mémo de la programmation collective des connaissances
[Python] Comprendre le potentiel_field_planning de Python Robotics