Super introduction à l'apprentissage automatique Modèle probabiliste et estimation la plus probable

introduction

Cette série est décrite comme mon apprentissage personnel et son mémorandum, mais je la publie avec l'espoir de pouvoir partager ce que j'ai appris avec vous. Nous organisons principalement les termes qui apparaissent lors de l'étude du machine learning et du deep learning. Cette fois, je vais résumer les grandes lignes du modèle probabiliste et l'estimation la plus probable qui apparaissent dans le modèle d'apprentissage automatique.

Modèle de probabilité

Un modèle probabiliste est un modèle qui suppose que la variable x est générée à partir d'une distribution de probabilité `` P (x | θ) '' avec le paramètre θ.

Modèle de probabilité


x ~ P(x|\theta)
Exemple) Distribution normale

Si x est une variable continue, ce sera une distribution normale.

distribution normale


N(x|\mu, \sigma^2) = \frac{1}{\sqrt{2\pi \sigma^2}} exp \begin{bmatrix} - \frac{(x-\mu)^2}{2\sigma^2} \end{bmatrix}
Exemple) Distribution de Bernoulli

Les variables discrètes, en particulier celles qui prennent 0 ou 1 comme le lancer d'amour, sont appelées des distributions de Bernoulli.

Distribution de Bernoulli


B(x|p) = p^x(1-p)^{1-x}

Probabilité (Yudo)

Étant donné ces données X = (x0, x1, ...) indépendantes les unes des autres, si le produit des valeurs des fonctions stochastiques de chaque donnée est une fonction de θ, alors c'est la vraisemblance du thêta ( Cela devient plus comme (plus) et s'appelle vraisemblance (vraisemblance).

Responsabilité


L(\theta) = \prod_{n}P(x_n|\theta)

La vraisemblance est la quantité la plus importante dans le modèle stochastique, et trouver le paramètre θ qui maximise la vraisemblance s'appelle l'optimisation du maximum de vraisemblance (MLE). Normalement, il est traité sous la forme de vraisemblance logarithmique comme indiqué ci-dessous car il est facile à calculer.

Probabilité du journal


lnL(\theta) = \sum_nlnP(x_n|\theta)
Exemple) Estimation la plus probable du paramètre de valeur attendue μ de la distribution normale

Il est obtenu en différenciant partiellement la vraisemblance logarithmique par rapport à μ et en résolvant l'équation dans laquelle la valeur devient 0 (en conséquence, l'estimation la plus probable du paramètre de valeur attendue μ est la valeur moyenne de tous les x).

Estimation la plus probable du paramètre de valeur attendue μ de la distribution normale


lnL(\theta) = - \frac{N}{2}ln2\pi\sigma^2 - \frac{1}{2\sigma^2}\sum_n(x_n-\mu)^2\\
\frac{\delta}{\delta_p}lnL(\theta) = - \frac{1}{\sigma^2}\sum_n(x_n - \mu) = 0 \\
\mu = \frac{1}{N}\sum_nx_n = \bar{x} 
Exemple) Estimation la plus probable de p de la distribution de Bernoulli

De même, pour la distribution de Bernoulli, la résolution de l'estimation la plus probable de p donne ce qui suit. Ici, si le nombre de x = 1 est M

Estimation la plus probable de la distribution de Bernoulli


\sum_nx_n = M \\
lnL(\theta) = \sum_nx_nlnp + (1 - x_n)ln (1 - p) \\
=Nlnp + (N - M)ln(1 - p) \\
\frac{\delta}{\delta_p}lnL(\theta) = - \frac{M}{p} + \frac{N -M}{1 -p} = 0 \\
p = \frac{M}{N}

Et p donne le rapport du nombre de fois x = 1.

en conclusion

Dans cette série, je vais essayer de supprimer uniquement les parties nécessaires avec une sensation aussi volumineuse. La prochaine fois, je résumerai la méthode de descente de gradient stochastique, alors jetez-y également un coup d'œil. Merci d'avoir parcouru jusqu'au bout.

Recommended Posts

Super introduction à l'apprentissage automatique Modèle probabiliste et estimation la plus probable
Super introduction à l'apprentissage automatique
[Super introduction à l'apprentissage automatique] Découvrez les didacticiels Pytorch
[Super introduction à l'apprentissage automatique] Découvrez les didacticiels Pytorch
Essayons à nouveau Estimation de la plupart des probabilités et ajustement du modèle (distribution de probabilité) ① Distribution de probabilité discrète
Essayons à nouveau La plupart des estimations de probabilité et ajustement du modèle (distribution de probabilité) ② Distribution de probabilité continue
Introduction à l'apprentissage automatique
Modèle d'apprentissage automatique prenant en compte la maintenabilité
Une introduction à l'apprentissage automatique
Apprentissage automatique et optimisation mathématique
Apprentissage automatique pour apprendre avec Nogisaka 46 et Keyakizaka 46 Partie 1 Introduction
Création, apprentissage et raisonnement de modèles d'apprentissage
Méthode du carré minimum et méthode d'estimation la plus probable (comparaison par ajustement du modèle)
Importance de l'apprentissage automatique et de l'apprentissage par mini-lots
Classification et régression dans l'apprentissage automatique
Analyse inverse du modèle d'apprentissage automatique
Organisez des plateformes d'apprentissage automatique et d'apprentissage en profondeur
Présentation de la bibliothèque d'apprentissage automatique SHOGUN
[Apprentissage automatique] Résumé et exécution de l'évaluation / des indicateurs du modèle (avec jeu de données Titanic)
[Apprentissage automatique] OOB (Out-Of-Bag) et son ratio
Introduction à l'apprentissage automatique: fonctionnement du modèle
Avantages et inconvénients de la méthode d'estimation la plus probable
Introduction au Deep Learning ~ Pliage et mise en commun ~
Une introduction à OpenCV pour l'apprentissage automatique
Notes personnelles et liens sur l'apprentissage automatique ① (Machine learning)
<Cours> Machine learning Chapitre 1: Modèle de régression linéaire
Résumé de la classification et de la mise en œuvre des algorithmes d'apprentissage automatique
Créer un environnement pour Python et l'apprentissage automatique (macOS)
<Cours> Machine learning Chapitre 2: Modèle de régression non linéaire
Une introduction à Python pour l'apprentissage automatique
"Tutoriels OpenCV-Python" et "Système d'apprentissage automatique pratique"
[Super Introduction] Apprentissage automatique utilisant Python - De la construction d'environnement à l'implémentation de perceptron simple-
Liste des principales distributions de probabilité utilisées en apprentissage automatique et statistiques et code en python
Mémo d'apprentissage Python pour l'apprentissage automatique par Chainer Chapitres 11 et 12 Introduction à Pandas Matplotlib