Avantages et inconvénients de la méthode d'estimation la plus probable

introduction

Ceci est mon premier message posté. Je vais résumer les points qui m'intéressaient dans "Pattern Recognition and Machine Learning" (PRML) que je lis actuellement. (Chapitre 2 2.1 (p66 ~))

table des matières

  1. Qu'est-ce que la distribution Bernoulli?
  2. Quelle est la méthode d'estimation la plus probable?
  3. Inconvénients de la méthode d'estimation la plus probable

1. Qu'est-ce que la distribution Bernoulli?

Commençons par la définition. Lorsque la variable stochastique $ X $ suit la distribution de Bernoulli avec une moyenne $ u $

P(x=1|u)=u,P(x=0|u)=1-u

Rencontrer. Mettez les deux ensemble

P(x|u)=u^x (1-u)^{1-x}

Vous pouvez également écrire.

Un exemple simple est une pièce avec une probabilité d'apparition $ u $ ($ x = 1 $). Dans les rubriques suivantes, nous utiliserons les pièces comme exemple.

2. Quelle est la méthode d'estimation la plus probable?

Comment estimer la moyenne $ u $ d'un échantillon donné. Dans la méthode d'estimation la plus probable Échantillons $ N $

x_1,x_2...x_n

Étant donné la fonction de vraisemblance $ L $ définie ci-dessous

L(u) = \prod_{i=0}^n u^{x_i}(1-u)^{1-x_i}   

Soit $ u_ {ML} $ l'estimation maximale de la vraie moyenne $ u $.

Trouvons $ u $ qui maximise en fait la fonction de vraisemblance $ L $. Premièrement, pour simplifier l'équation, nous prenons le logarithme de la fonction de vraisemblance $ L $.

log(L(u)) = \sum_{i=0}^N x_i log(u) + (1-x_i)log(1-u)

Si $ u $ qui maximise $ log (L (u)) $ est $ u_ {ML} $

u_{ML} = \frac{1}{N} \sum_{i=0}^N x_i

C'est alors que $ x = 1 $ est $ m $ dans les essais $ N $.

u_{ML} = m

Cela signifie que

Essayons la méthode d'estimation la plus probable avec l'exemple des pièces. Supposons maintenant que vous souhaitiez connaître la probabilité qu'une pièce apparaisse sur la table. Pour le moment, lorsque je l'ai jeté environ 10 fois, les résultats suivants ont été obtenus.

Table ・ ・ ・ 3 fois
Derrière ... 7 fois

Suivez la méthode ci-dessus pour trouver $ u_ {ML} $ qui maximise la fonction de vraisemblance.

u_{ML} = \frac{1}{N} \sum_{i=0}^N x_i \\
 = \frac{1}{10} \sum_{i=0}^{10} x_i \\
= \frac{3}{7}

Par conséquent, il a été possible d'estimer que "la probabilité que cette pièce apparaisse sur la table est $ \ frac {3} {7} $".

3. Inconvénients de la méthode d'estimation la plus probable

Dans la section précédente, nous avons constaté que le résultat de la méthode d'estimation la plus probable dans la distribution de Bernoulli dépend du nombre de fois qu'un événement s'est produit dans l'essai. L'inconvénient de la méthode d'estimation la plus probable est que lorsqu'une pièce est lancée trois fois et que toutes les faces apparaissent, on estime que «la probabilité d'apparition de cette pièce est de 1». En d'autres termes, un petit nombre d'essais entraînera un surapprentissage.

Recommended Posts

Avantages et inconvénients de la méthode d'estimation la plus probable
Estimation la plus probable de la moyenne et de la variance avec TensorFlow
Estimation la plus probable de diverses distributions avec Pyro
Exemple de code python pour la distribution exponentielle et l'estimation la plus probable (MLE)
Implémentation d'estimation la plus probable du modèle de sujet en python
Essayons à nouveau Estimation de la plupart des probabilités et ajustement du modèle (distribution de probabilité) ① Distribution de probabilité discrète
Essayons à nouveau La plupart des estimations de probabilité et ajustement du modèle (distribution de probabilité) ② Distribution de probabilité continue
Méthode du carré minimum et méthode d'estimation la plus probable (comparaison par ajustement du modèle)
[Recommandation] Résumé des avantages et des inconvénients de la méthode de filtrage / mise en œuvre basée sur le contenu et coopérative
Avantages et inconvénients de Django que pensent les personnes ayant un an d'expérience
Concept de raisonnement bayésien (2) ... Estimation bayésienne et distribution de probabilité
Prise en compte du score de propension et de la précision de l'estimation des effets
Jusqu'à ce que la méthode d'estimation la plus probable trouve le vrai paramètre
[Python] Fonctionnalisation de la formule de Heron et calcul de la surface maximale
Calcul de l'odométrie à l'aide de CNN et estimation de la profondeur Partie 2 (CNN SLAM # 2)
Super introduction à l'apprentissage automatique Modèle probabiliste et estimation la plus probable