Forêt aléatoire (2)

Évaluation des performances de scikit-learn + Random Forest part2

introduction

La dernière fois, nous avons évalué les performances de données homogènes, donc cette fois nous nous sommes entraînés sur des données variables.

Les données utilisées sont les mêmes que la dernière fois, mnist

La dernière fois, 2000 échantillons ont été extraits pour chaque caractère,

Cette fois, 1100, 1300, 1500, 1700, 1900, 2100, 2300, 2500, 2700, 2900 échantillons ont été extraits dans l'ordre de 0.

Les données de test sont également 10 000 données homogènes.

Variables à changer

--Nombre d'arbres

3 types.

Expérience

Nombre d'arbres

Tout d'abord, le nombre d'arbres passe à quatre types: 10, 100, 1000 et 10000.

Le résultat est montré ci-dessous trees.png

Même si vous regardez la valeur avec la meilleure précision la dernière fois était d'environ 0965?, La précision a légèrement diminué, mais la tendance est la même.

Je pense qu'il suffit d'en avoir environ 1000

Profondeur d'exploration

Ensuite, à propos de la recherche de profondeur

Ceci est appris en passant de 2 à 20 comme auparavant.

Le nombre d'arbres est de 1000, le nombre de fonctionnalités est de sqrt (fonctionnalités)

Le résultat est montré ci-dessous

depth.png

C'est la même chose que la dernière fois, la précision est presque la même et même si vous recherchez profondément, le surapprentissage ne se produit pas.

Nombre de fonctionnalités

Enfin les fonctionnalités

Changement de 10 à 55

Le nombre d'arbres est de 1000, la profondeur est fixée à max

feature.png

Puisque le temps de sqrt est de 28, est-il plus précis cette fois s'il est inférieur à cela?

Cependant, comme la différence d'ordre est de 0,001, on peut dire qu'il n'y a pas de grande différence si elle est de 20 ou plus.

Expérience comparative

Enfin le résultat de faire avec SVM pour comparaison

C = 1.0, gamma = 1/784 dans le noyau RBF

Après tout, Ramdom Forest est plus précis,

SVM est plus précis que la dernière fois ...?

C'est possible compte tenu du fait qu'il échantillonne au hasard,

Considérant que la précision de RandomForest a été réduite d'environ 0,05,

Peut-être que SVM est plus résistant à la variation des données ...?

MNIST est trop précis pour être évalué beaucoup ...

Recommended Posts

Forêt aléatoire (2)
Forêt aléatoire
Forêt aléatoire équilibrée en python
J'ai essayé d'utiliser RandomForest
[Apprentissage automatique] Comprendre la forêt aléatoire
Arbre de décision et forêt aléatoire
Utiliser Random Forest avec Python
Apprentissage automatique: forêt supervisée - aléatoire
Comparaison de la taille de la forêt aléatoire / du temps de traitement
Forêt aléatoire (classification) et réglage des hyperparamètres
Comparaison des modèles de régression - ARMA vs Random Forest Regression
[Apprentissage automatique] Essayez d'étudier une forêt aléatoire
Classification multi-étiquettes par forêt aléatoire avec scikit-learn
Classification des maladies par Random Forest en utilisant Python
Comment configurer une forêt aléatoire à l'aide d'Optuna
# Génération de chaînes aléatoires
Comment configurer une forêt aléatoire à l'aide d'Optuna