Essayez avec Chainer Deep Q Learning - Lancement

Bonjour le cœur de métier, ce sont les gens pas un programmeur.

Lorsque le mot clé "apprentissage en profondeur" bourdonne à la télévision Regardez Contrôle de robot avec apprentissage par renforcement profond distribué | Recherche préférée Je voulais l'essayer, donc je ne l'ai pas appelé un clone, mais je l'ai fait à partir d'un simple. ⇒ Stockage: DeepQNetworkTest

le but

Python pour la première fois! Chainer, c'est aussi la première fois! Je ne sais même pas programmer, mais il n'y a pas de boutique de logiciels! Mais je veux laisser la machine automotrice faire l'apprentissage de renforcement! ⇒ Si vous le publiez pour le moment, certaines personnes pourraient vous dire

Il y a vraiment peu de cas de déplacement de la machine qui a de l'inertie ou quelque chose (je sens) ⇒Mettons-le à l'étape suivante

Ce que j'ai fait

-Créer quelque chose comme un clone de ConvNetJS Deep Q Learning Reinforcement Learning with Neural Network demo

• J'ai créé une interface graphique avec Python!
• J'ai implémenté Deep Q Learning (e-gourmand)! (C'est plus proche d'être copié, et ce n'est pas du tout profond)

Aperçu du programme

environnement

Des pommes rouges et des anneaux de poison sont alignés dans un jardin entouré d'un cadre extérieur et d'un cadre intérieur. L'intelligence artificielle veut manger beaucoup de pommes rouges et ne veut pas manger de pommes empoisonnées.

• Reste les paramètres d'origine. Réinterprétation du point de vue du contrôle des objets en mouvement La pomme rouge est la destination que vous souhaitez guider Le moyen d'éviter les pommes empoisonnées

Cadre extérieur et paroi intérieure

Un obstacle qui bloque le mouvement et la vision de l'intelligence artificielle. L'intelligence artificielle aime avoir une vision ouverte.

Pomme rouge / pomme poison

Lorsque vous frappez une pomme rouge, vous serez récompensé. Si c'est une pomme empoisonnée, elle sera punie.

Intelligence artificielle

Un point bleu avec un champ de vision de 300 pixels à 120 ° vers l'avant.

• Le champ de vision se compose de neuf yeux, bloqués par des pommes et des murs (seul le plus proche peut être vu)
• Continuez à vous déplacer à une vitesse constante —— Vous pouvez tourner à droite, tourner à droite, continuer tout droit, tourner à gauche, tourner à gauche ――Je veux aller tout droit quand la visibilité est large

Apprentissage intensifié

Réseau neuronal

J'utilise Relu avec 59 entrées, 50 couches cachées x 2 et 5 sorties (comme original)

Apprentissage

Apprentissage par mini-lots avec 30 000 expériences en stock. Je vois souvent comment apprendre. Je n'ai rien fait de mode, comme utiliser Double DQN ou LSTM.

Ce que j'ai pu faire / endroit étrange À partir du 20/04/2016

―― L'intelligence artificielle apprend petit à petit et commence à manger des pommes rouges ―― J'aime étrangement coller au mur ――Il semble que les pommes empoisonnées vont également manger activement, mais est-ce que ε-gourmand ε est absent?

Il peut être nécessaire d'ajuster l'action en guise de récompense. Il faut que les progrès de l'apprentissage ne soient pas illustrés.

Je veux que tu me dises et que tu m'aides! 22/04/2016

Comment utiliser Numpy

Chainer Memo 11 Quand la vitesse ne sort pas sur GPU --studylog / Northern clouds

Pour ceux qui utilisent habituellement numpy pour crunching, ce code n'est pas possible au niveau du soufflage du thé, mais jusqu'à il y a quelque temps j'étais souvent mélangé avec un tel code.

Il y a une chose, mais cet article lui-même parle de Cupy, Même si je le limite à numpy, je ne sais pas comment le faire, alors N'est-ce pas étrange comment écrire que ce sera plus rapide? J'aimerais savoir s'il y en a.

DQN001.py

        memsize     = self.eMem.shape[0]
        batch_index = np.random.permutation(memsize)[:self.batch_num]
        batch       = np.array(self.eMem[batch_index], dtype=np.float32).reshape(self.batch_num, -1)

        x = Variable(batch[:,0:STATE_DIM])
        targets = self.model.predict(x).data.copy()

        for i in range(self.batch_num):
            #[ state..., action, reward, seq_new]
            a = int(batch[i,STATE_DIM])
            r = batch[i, STATE_DIM+1]

            new_seq= batch[i,(STATE_DIM+2):(STATE_DIM*2+2)]

            targets[i,a]=( r + self.gamma * np.max(self.get_action_value(new_seq)))

        t = Variable(np.array(targets, dtype=np.float32).reshape((self.batch_num,-1))) 

Devrions-nous envisager une implémentation capable de convertir l'intérieur de la boucle for en une opération vectorielle?

Comment utiliser wxPython

Je ne suis pas sûr de la relation parent-enfant entre Frame et Panel et comment gérer le contexte de périphérique (dc). Je souhaite ajouter un graphique en bas de l'écran (en attente de construction) ⇒ wxPython: Dessin simultané d'animation et de graphisme --Qiita

Après cela: un apprentissage distribué et des graphiques ont été ajoutés

On dirait qu'une luciole vole.

référence

• ConvNetJS Deep Q Learning Reinforcement Learning with Neural Network demo
• Apprendre avec un pendule inversé DQN (Deep Q Network) --Qiita

Mise en garde

Cet article sera ajouté ou réécrit petit à petit