De plus, il y a beaucoup de choses à vérifier dans df.head, comme le nombre de lignes de données à prendre depuis le début et les détails du traitement des valeurs manquantes (dropna et fillna).

Matplotlib Si vous en avez envie, je vais résumer quelque chose, mais par exemple, le style du graphique, le réglage du titre, etc. sont également écrits dans le texte, vous devez donc le vérifier. En particulier, les types de graphiques (ax.bar, ax.scatter, ax.hist, ax.boxplot, ax.pie, etc.) sont des éléments obligatoires comme titre de test de l'analyse des données.

Apprentissage automatique

Il existe différentes méthodes d'apprentissage automatique. Arbre de décision, analyse en composantes principales, NN, etc. Bien entendu, un analyste de données doit pouvoir tout utiliser. Cependant, je pense qu'il est nécessaire de revoir l'algorithme, l'explication de la méthode, scikit-learn, etc. pour la méthode qui n'est pas souvent utilisée. Dans le livre de référence, j'ai senti que l'apprentissage avec les enseignants et l'apprentissage sans les enseignants étaient confus (n'est-ce pas le cas?), Alors vous voudrez peut-être étudier avec ou sans enseignants. Hmm.

Résumé de l'apprentissage automatique

・ ** Prétraitement des données (traitement des valeurs manquantes, normalisation des fonctionnalités, etc.) ** Pour le traitement des valeurs manquantes, le traitement des valeurs manquantes mentionné ci-dessus par Pandas est introduit. Veuillez consulter le livre de référence pour plus de détails. La normalisation des fonctionnalités nécessite des connaissances telles que les statistiques de probabilité (normalisation distribuée, normalisation maximale, etc.). En outre, lors du prétraitement, il est important de sélectionner la quantité de caractéristiques des données et d'exclure les valeurs aberrantes (en dehors de la plage de test?), Mais pour le moment, vous devez vérifier le contenu dans le livre de référence.

・ ** Apprendre avec l'enseignant ** Le livre de référence explique la machine à vecteurs de support (SVC de sklearn.svm) et le modèle de régression linéaire (LinearRegression de sklearn.linear_model), veuillez donc vérifier ici pour plus de détails.

・ ** Apprendre sans professeur ** L'ouvrage de référence explique l'arbre de décision (DecisionTreeClassifier de sklearn.tree), la forêt aléatoire (RandomForestClassifier de sklearn.ensemble), la réduction de dimension (PCA de sklearn.decomposition) et le clustering (KMcluseans of sklearn.tree, AgglomerativeClustering of sklearn.cluster). Veuillez vérifier ici pour plus de détails.

・ ** Renforcer l'apprentissage ** Seule une brève explication apparaît dans le livre de référence.

・ ** Codage variable ** ** [Codage de la variable de catégorie] ** Les humains donnent des noms aux objets afin qu'ils puissent facilement reconnaître le monde dans lequel ils vivent. Par exemple, les deux organes sensoriels attachés à l'avant de la tête humaine qui reçoivent la lumière sont appelés «yeux», et les organes olfactifs et respiratoires attachés à l'avant de la tête humaine sont appelés «nez». Même si l'objet est interprété par le type de caractère de cette manière, si vous souhaitez le classer par calcul, l'entrée et la sortie doivent être une séquence de nombres (valeur numérique). Le travail d'association de la valeur numérique avec la cible réelle est le codage de variables catégorielles.

Schéma conceptuel du codage des variables catégorielles

Plus précisément, j'expliquerai où se trouve le codage des variables catégorielles dans le programme que j'ai créé plus tôt.

Codage de variable de catégorie, un-Schéma conceptuel du codage à chaud

La page suivante est un article sur la classification de la clé à ergot et de la clé à molette à l'aide de PyTorch et Keras. https://qiita.com/moriitkys/items/316fcca8d83dfa706597 Dans ce cas, l'encodage de la variable catégorielle est l'affectation du dictionnaire exécuté dans la cellule 1, ligne 56 du programme MyOwnNN_pytorch.ipynb de GitHub (GitHub-moriitkys / MyOwnNN).

#How many classes are in "dataset" folder
categories = [i for i in os.listdir(os.getcwd().replace("/mylib", "") + "/dataset")]
categories_idx = {}#ex) HookWrench:0, SpannerWrench:1
for i, name in enumerate(categories):
    categories_idx[name] = i
nb_classes = len(categories)#ex) nb_classes=2

Dans ce cas, la clé à ergot est convertie à 0 et la clé à molette à 1. Pour l'encodage de variables catégorielles, la méthode de sklean.preprocessing est introduite dans le livre de référence.

** [Codage à chaud] ** C'est aussi le travail nécessaire pour obtenir le résultat souhaité par le calcul. Comme il est souvent plus pratique de traiter les entrées et les sorties comme des tableaux dans l'apprentissage automatique, il est également nécessaire de convertir l'ensemble de données de valeurs scalaires en tant que tableau. Par exemple, s'il existe deux catégories, clé à molette: 0 et clé à crochet: 1, convertissez la clé à molette en [1, 0] et la clé à ergot en [0, 1].

Plus précisément, j'expliquerai où se trouve le codage des variables catégorielles dans le programme que j'ai créé plus tôt. Le codage à chaud se situe autour de la 13e à la 16e ligne de la cellule 3.

y_train1=np_utils.to_categorical(y_train,nb_classes)
y_val1=np_utils.to_categorical(y_val,nb_classes)

Deux méthodes d'encodage one-hot, sklean et pandas, sont présentées dans le livre de référence.

・ ** Évaluation du modèle ** ** [Indice d'évaluation des catégories] ** Je peux le comprendre, mais je ne sais pas si je le mémorise, alors je l'ai résumé. Cette explication est également incluse dans le livre de référence, c'est donc une bonne idée de la vérifier.

TP (True Positive): Prédit comme un exemple positif et en fait un exemple positif FP (False Positive): Prédit comme un exemple positif, mais en fait un exemple négatif FN (False Negative): Prédit comme un exemple négatif, mais en fait un exemple positif TN (True Negative): Prédit comme un cas négatif et en fait un cas négatif

** Taux de conformité **: Pourcentage de cas positifs réels par rapport aux cas positifs prévus. ・ Formule de taux de conformité P = TP / (TP + FP) ・ Le taux de précision est considéré comme un indicateur de la petite taille des erreurs dans la classe de prédiction. ** Taux de rappel **: Pourcentage de cas positifs réels qui devraient être corrects. ・ Formule de taux de rappel R = TP / (TP + FN) ・ Il y a un compromis entre le rappel et la précision ** Valeur F **: Moyenne harmonisée de précision et de rappel. ・ F = 2PR / (P + R) ・ Indicateur qui améliore l'équilibre entre P et R ** Taux de réponse correcte **: pourcentage de données dont les prévisions et les résultats réels correspondent ・ Formule de taux de réponse correcte A = (TP + TN) / (TP + FP)

** [Précision de la probabilité de prédiction] ** Si vous le connaissez, il n'y a rien de mal à cela, mais le livre de référence mentionne la courbe ROC (roc_curve dans sklearn.metrics).

Sommaire

Vous devriez étudier correctement. Je ne pense pas qu'il soit possible de faire quelque chose comme mémoriser un examen simulé. La mémorisation des livres de référence peut être utile, mais elle doit être comprise.

Livre de référence

Nouveau manuel d'analyse de données utilisant Python (M. Terada, Shingo Tsuji, Takanori Suzuki, Shintaro Fukushima)

Auteur de cet article

moriitkys Takayoshi Morii Faites un robot. Je suis intéressé par l'IA / la robotique / les graphismes 3D. Récemment, j'ai réfléchi à la façon de gagner de l'argent et je prévois de fabriquer du matériel avec cet argent. Qualification / Certification: test G, test d'analyse des données de certification d'ingénieur Python, test d'implémentation AI grade A, TOEIC: 810 (2019/01/13)