PROGRAMMATION PROFONDE PROBABILISTE --- Bibliothèque "Deep Learning + Bayes" --- Présentation d'Edward

WHY

Edward

Nous l'introduirons à partir des points de vue suivants avec des attentes de croissance et de croissance future.

--Co-rédigé par Google Research --BackEnd est Tensorflow

J'ai lu Deep Probabilistic Programming, je vais donc vous présenter un extrait de ce contenu.


Quelle chose?

Présentation d'une bibliothèque plus flexible que l'apprentissage profond conventionnel et permettant une programmation probabiliste avec une efficacité de calcul élevée. Le même modèle peut être utilisé avec différentes machines d'inférence. Étant donné que la représentation du modèle peut être réutilisée dans le cadre de l'inférence, une grande variété de configurations de réseau est possible. Le backend est fait de Tensorflow et il y a quelque chose comme Caffee's Model Zoo Probability Zoo


Qu'est-ce qui est étonnant par rapport aux recherches précédentes?

・ L'efficacité informatique est meilleure que l'apprentissage en profondeur ・ Création d'une partie d'inférence flexible ・ 35 fois plus rapide avec la régression logistique que Stan et PyMC3


Où est la clé de la technologie et de la méthode?

・ Se compose de la génération et de l'inférence aléatoires ・ Créé avec une technologie ouverte (le back-end est Tensorflow) -La partie qui inclut la construction du modèle dans la partie inférence est différente de la partie conventionnelle. ・ Réseau neuronal récurrent bayésien à longueur variable


Exemple concret

Bayesian Recurrent Neural Network with Variable Length

Normal: distribution normale

Apprenez la moyenne et la variance de la distribution normale du poids et de la régularisation

Screen Shot 2017-02-28 at 8.01.05.png


GAN

Un réseau pour la génération et un réseau pour l'identification sont configurés et des paramètres de données sont générés à partir de la distribution. La valeur prédite est également générée à partir de la distribution

Screen Shot 2017-02-28 at 8.03.09.png


Complexe de devineurs

EM Algorithm

Screen Shot 2017-02-28 at 8.06.14.png


Comment avez-vous vérifié qu'il était valide?

Comparaison de chaque méthode

Screen Shot 2017-02-28 at 8.07.27.png

Comparaison avec la bibliothèque conventionnelle

Vérification de la vitesse avec PyMC et Stan

Environ 20 fois celui de Stan Environ 40 fois celui de PyMC

Spec
12-core Intel i7-5930K CPU 3.5GHz NVIDIA Titan X(Maxwell) GPU

Task
generate posterior samples with Hamiltonian Monte Carlo

Data
Covertype dataset (N = 581012, D = 54; responses were binarized)

Other
100 HMC iterations, with 10 leapfrog updates per iteration and a step size of 0.5/N

35x speedup from stan 

Y a-t-il une discussion?

La dernière technologie veut incorporer des méthodes bayésiennes plus traditionnelles Je veux pouvoir l'appliquer même à des données volumineuses


Quel article dois-je lire ensuite?

Le document suivant est recommandé car vous pouvez voir comment l'utiliser sérieusement. Tran, Dustin, et al. "Edward: A library for probabilistic modeling, inference, and criticism." arXiv preprint arXiv:1610.09787 (2016).


Reference

Deep Probabilistic Programming

Recommended Posts

PROGRAMMATION PROFONDE PROBABILISTE --- Bibliothèque "Deep Learning + Bayes" --- Présentation d'Edward
Mémo d'étude Python & Machine Learning ②: Introduction de la bibliothèque
Deep learning 1 Pratique du deep learning
Bibliothèque DNN (Deep Learning): Comparaison de chainer et TensorFlow (1)
Deep Learning Gaiden ~ Programmation GPU ~
Deep running 2 Réglage de l'apprentissage profond
Apprentissage par renforcement profond 1 Introduction au renforcement de l'apprentissage
Premier mois d'apprentissage en programmation
Apprentissage par renforcement profond 2 Mise en œuvre de l'apprentissage par renforcement
Introduction au Deep Learning ~ Rétropropagation ~
Distillateur de bibliothèque d'éclaircissement de modèles d'apprentissage profond
Introduction à l'apprentissage en profondeur ~ Approximation des fonctions ~
Introduction à l'apprentissage profond ~ Préparation au codage ~
Présentation de la bibliothèque d'apprentissage automatique SHOGUN
Didacticiel "CNTK" de la bibliothèque d'apprentissage en profondeur de Microsoft
Introduction au Deep Learning ~ Dropout Edition ~
Introduction au Deep Learning ~ Propagation vers l'avant ~
Introduction à l'apprentissage profond ~ Expérience CNN ~
Apprendre l'histoire des débutants de la transcendance de la programmation
(python) Principes de base du chaînage de la bibliothèque d'apprentissage en profondeur
Othello-De la troisième ligne de "Implementation Deep Learning" (3)
Introduction au Deep Learning ~ Pliage et mise en commun ~
Signification des modèles et paramètres d'apprentissage en profondeur
Essayez l'apprentissage profond de la génomique avec Kipoi
Visualisez les effets de l'apprentissage profond / de la régularisation
Analyse émotionnelle des tweets avec apprentissage en profondeur
Enregistrement d'apprentissage de la lecture "Deep Learning from scratch"
Othello-De la troisième ligne de "Implementation Deep Learning" (2)
Version gratuite de DataRobot! ?? Introduction à «PyCaret», une bibliothèque qui automatise l'apprentissage automatique
L'apprentissage en profondeur
Introduction d'une nouvelle bibliothèque d'extraction de fonctionnalités vocales Surfboard
L'histoire de l'apprentissage profond avec TPU
Un amateur a essayé le Deep Learning avec Caffe (Introduction)
Apprentissage profond / rétropropagation d'erreur de la fonction sigmoïde
Un mémorandum d'étude et de mise en œuvre du Deep Learning
Compréhension de base de l'estimation de la profondeur stéréo (Deep Learning)
Introduction de la bibliothèque d'imagerie Python (PIL) à l'aide de HomeBrew
Apprentissage parallèle du deep learning par Keras et Kubernetes
Introduction à l'apprentissage profond ~ Fonction de localisation et de perte ~
[Français] scikit-learn 0.18 Introduction de l'apprentissage automatique par le didacticiel scikit-learn