J'ai fait apprendre à RNN l'onde de péché et j'ai essayé de prédire: l'ajustement des paramètres hyper

0. Grosso modo

• Suite de l'article précédent (j'ai essayé de prédire en laissant RNN apprendre les ondes de péché).
• J'ai ajusté divers hyper paramètres et expérimenté le résultat.
• Les hyper paramètres sont difficiles à régler!

1. Configuration

Il utilise essentiellement la même configuration réseau que l'article précédent (http://qiita.com/yuyakato/items/ab38064ca215e8750865). De plus, les valeurs indiquées dans "3.3. Hyper paramètres" sont les valeurs de base des hyper paramètres.

2. Code source, notebook

Le code source utilisé pour l'apprentissage / la prédiction, le bloc-notes qui a généré les données d'entraînement et le bloc-notes utilisé pour tracer les résultats sont disponibles sur GitHub. Veuillez vous y référer pour le code source et les valeurs spécifiques.

https://github.com/nayutaya/tensorflow-rnn-sin/tree/20160517/ex2

3. Réglage des hyper paramètres

3.1. Num_of_hidden_nodes: Nombre de nœuds de couche cachés

Le graphique ci-dessous montre les résultats de prédiction et la fonction de perte lorsque le nombre de nœuds de couche cachés passe de 1 à 4. Si le nombre de nœuds de couche cachés est «1», vous pouvez voir qu'il est complètement imprévisible. De plus, si le nombre de nœuds dans la couche cachée est important, il semble que de bons résultats ne seront pas toujours obtenus. En regardant le graphique des fonctions de perte, plus il y a de nœuds dans la couche cachée, moins la perte finale est importante.

3.2. Length_of_sequences: longueur de séquence RNN

Le graphique ci-dessous montre les résultats de prédiction et la fonction de perte lorsque la longueur de séquence de RNN est changée en "30", "40", "50", "60" et "70". Les données d'apprentissage cette fois sont une onde sinueuse avec 50 pas par cycle, mais on peut voir que même si elle est inférieure à un cycle, elle peut être suffisamment prédite.

3.3. Num_of_training_epochs: nombre d'itérations d'entraînement

Le graphique ci-dessous montre les résultats de prédiction et la fonction de perte lorsque le nombre de répétitions d'entraînement passe à 1 000, 2 000 et 3 000. Dans le cas de 3 000 fois, le résultat de la fonction de perte fluctue d'environ 1 600 fois. Le résultat de la prédiction n'est pas non plus bon.

3.4. Size_of_mini_batch: nombre d'échantillons par mini-lot

Le graphique ci-dessous montre les résultats de prédiction et la fonction de perte lorsque le nombre d'échantillons par mini-lot est changé en «50», «100» et «200». Il n'y a pas de différence notable, mais fondamentalement, il semble que plus le nombre d'échantillons est élevé, meilleurs sont les résultats.

3.5. Learning_rate: taux d'apprentissage

Le graphique ci-dessous montre les résultats de prédiction et la fonction de perte lorsque le taux d'apprentissage transmis à l'optimiseur est changé en «0,02», «0,1» et «0,5». Dans le cas des taux d'apprentissage «0,02» et «0,5», il ne peut pas être prédit correctement. De plus, dans le cas du taux d'apprentissage "0,5", le résultat de la fonction de perte fluctue immédiatement après l'apprentissage.

3.6. forget_bias

En fait, le graphique de la fonction de perte et le résultat de la prédiction lorsque le paramètre forget_bias de BasicLSTMCell, qui n'est pas bien compris, est changé en 0.25, 0.5, 1.0 (valeur par défaut) est affiché ci-dessous. indiquer. Dans le cas de "0,25", ce n'est pas prévisible.

3.7. Optimiseur

Le graphique ci-dessous montre les résultats de prédiction et la fonction de perte lorsque l'optimiseur utilisé pour l'optimisation est passé de Gradient Descent Optimizer à ʻAdam Optimizer. ʻAdam Optimizer a une réduction des pertes plus rapide et une valeur finale inférieure, mais il vibre violemment. Il est difficile d'arrêter d'apprendre.

3.8. Cellule RNN

Le graphique ci-dessous montre les résultats de prédiction et la fonction de perte lorsque la cellule RNN passe de «BasicLSTMCell» à «GRUCell». Il n'y avait pas beaucoup de différence.

4. Plans futurs

Je voudrais essayer ce qui se passerait si j'apprenais et prévoyais des données plus réalistes (cours des actions, devises, etc.).