Forêt aléatoire (2)

Évaluation des performances de scikit-learn + Random Forest part2

introduction

La dernière fois, nous avons évalué les performances de données homogènes, donc cette fois nous nous sommes entraînés sur des données variables.

Les données utilisées sont les mêmes que la dernière fois, mnist

La dernière fois, 2000 échantillons ont été extraits pour chaque caractère,

Cette fois, 1100, 1300, 1500, 1700, 1900, 2100, 2300, 2500, 2700, 2900 échantillons ont été extraits dans l'ordre de 0.

Les données de test sont également 10 000 données homogènes.

Variables à changer

--Nombre d'arbres

• Profondeur d'exploration --Nombre de fonctionnalités

3 types.

Expérience

Nombre d'arbres

Tout d'abord, le nombre d'arbres passe à quatre types: 10, 100, 1000 et 10000.

Le résultat est montré ci-dessous

Même si vous regardez la valeur avec la meilleure précision la dernière fois était d'environ 0965?, La précision a légèrement diminué, mais la tendance est la même.

Je pense qu'il suffit d'en avoir environ 1000

Profondeur d'exploration

Ensuite, à propos de la recherche de profondeur

Ceci est appris en passant de 2 à 20 comme auparavant.

Le nombre d'arbres est de 1000, le nombre de fonctionnalités est de sqrt (fonctionnalités)

Le résultat est montré ci-dessous

C'est la même chose que la dernière fois, la précision est presque la même et même si vous recherchez profondément, le surapprentissage ne se produit pas.

Nombre de fonctionnalités

Enfin les fonctionnalités

Changement de 10 à 55

Le nombre d'arbres est de 1000, la profondeur est fixée à max

Puisque le temps de sqrt est de 28, est-il plus précis cette fois s'il est inférieur à cela?

Cependant, comme la différence d'ordre est de 0,001, on peut dire qu'il n'y a pas de grande différence si elle est de 20 ou plus.

Expérience comparative

Enfin le résultat de faire avec SVM pour comparaison

C = 1.0, gamma = 1/784 dans le noyau RBF

• one-versus-one: 0.932
• one-versus-all: 0.920

Après tout, Ramdom Forest est plus précis,

SVM est plus précis que la dernière fois ...?

C'est possible compte tenu du fait qu'il échantillonne au hasard,

Considérant que la précision de RandomForest a été réduite d'environ 0,05,

Peut-être que SVM est plus résistant à la variation des données ...?

MNIST est trop précis pour être évalué beaucoup ...