Utilisez le kit Cognitive Took (CNTK) avec le backend Keras

CNTK version 2.1

CNTK est également la version 2.1. La caractéristique des améliorations liées à la version 2.1 est que deeprl est fourni comme un cadre d'apprentissage par amélioration. Vous pouvez trouver une référence sur le lien ci-dessous. Il semble qu'une certaine logique soit implémentée en plus du Deep Q-Learning. •cntk.contrib.deeprl.agent.agent module •cntk.contrib.deeprl.agent.agent_factory module •cntk.contrib.deeprl.agent.policy_gradient module •cntk.contrib.deeprl.agent.qlearning module •cntk.contrib.deeprl.agent.random_agent module •cntk.contrib.deeprl.agent.tabular_qlearning module De plus, bien qu'il soit pris en charge depuis la version 2.0, son utilisation est en expansion car il peut être utilisé comme back-end pour Keras.

Exemple de Keras

Je voudrais présenter [Utiliser Keras et Deep Q-Network pour jouer à Flappy Bird] comme exemple de Keras. Créé à l'origine par Keras, il s'agit d'un exemple d'apprentissage amélioré, mais il a été porté sur CNTK. Le code est publié dans cntk / Examples / ReinforcementLearning / FlappingBirdWithKeras. Déplaçons l'échantillon. Étant donné que la configuration d'installation de CNTK est la même qu'à l'ère RC, [cet article](https://analyticsai.wordpress.com/2017/04/04/cntk2-0b15%e3%82%a4%e3%83%b3 Voir% e3% 82% b9% e3% 83% 88% e3% 83% bc% e3% 83% ab /).

keras peut être installé à partir de la ligne de commande qui active cntk ci-dessous (il est préférable de mettre à niveau vers la dernière version, donc si vous l'avez déjà installé, vous devez ajouter l'option -U)

pip install keras

De plus, créez un fichier de configuration ~ / .keras / keras.json. Pour Windows, il s'agit de C: \ Users \ \ .keras.json. Le contenu du fichier est le suivant.

{ "epsilon": 1e-07, "image_data_format": "channels_last", "backend": "cntk", "floatx": "float32" }

Avec ce qui précède, les keras peuvent être utilisés. Vous pouvez vérifier le fonctionnement ci-dessous.

・ En cas de fonctionnement GPU (cela prend un temps terrible sans GPU) https://github.com/fchollet/keras/blob/master/examples/mnist_cnn.py

・ Lorsque le GPU n'est pas inclus https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py Je pense que c'est bon. Ensuite, installez les dépendances Flapping Bird

pip install pygame conda install scikit-learn conda install scikit-image

Dans cet état, il peut fonctionner à la fois sous Windows et Linux. De plus, comme il fonctionne sur GPU, vous pouvez vous attendre à un fonctionnement à grande vitesse.

Fonctionne sur Ubuntu 16.04 LTS

CNTK est également 2.1 et diverses parties ont été renforcées. L'évolution du domaine de l'apprentissage amélioré est attendue à l'avenir.