Prétraitement dans l'apprentissage automatique 1 Processus d'analyse des données

Aidemy 2020/10/29

introduction

Bonjour, c'est Yope! Bien que ce soit un système littéraire croustillant, j'étais intéressé par les possibilités de l'IA, alors je suis allé à l'école spécialisée en IA "Aidemy" pour étudier. Je voudrais partager les connaissances acquises ici avec vous, et je les ai résumées dans Qiita. Je suis très heureux que de nombreuses personnes aient lu l'article de synthèse précédent. Merci! Ceci est le premier article de prétraitement pour l'apprentissage automatique. Ravi de vous rencontrer.

Quoi apprendre cette fois ・ Flux d'analyse des données

Flux d'analyse des données

-En tant que flux (processus) d'analyse des données, CRISP-DM et KDD ont été proposés. CRISP-DM -__ CRISP-DM__ a le processus suivant. ① __ Compréhension commerciale __: Clarifiez les problèmes et ce qu'il faut faire avec l'analyse des données. ② __Compréhension des données __: comprendre si les données peuvent être acquises et analysées. ③ __ Préparation des données __: Formatez les données sous une forme qui peut être utilisée dans la modélisation. ④ __ Modélisation __: appliquez un modèle aux données et analysez-le. ⑤ Evaluation: évaluez si le résultat de l'analyse est suffisant. ⑥ __Apply __: applique réellement les résultats de l'analyse aux problèmes et aux tâches.

-Cependant, ces processus ne sont pas nécessairement à sens unique, et peuvent revenir si nécessaire. ・ Le prétraitement des données apprises cette fois correspond aux (2) et (3) de ce processus.

・ Figure![Capture d'écran 2020-10-29 14.36.04.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/698700/d949cd2a-4ff7-833e- d8b1-df799dcf7741.png)

KDD -__ KDD__ a le processus suivant. ① __ Acquisition de données __: Acquérir des données en définissant des problèmes et des objectifs. ② __Data selection __: Sélectionnez les données à utiliser pour l'analyse (data mining) à partir des données acquises. ③ __Data cleansing __: Effectue un nettoyage des données tel que la suppression des valeurs manquantes et des valeurs aberrantes. ④ __Data conversion __: convertit le format de données nettoyées en un format pouvant être utilisé pour l'exploration de données. ⑤ __Data mining __: effectue des analyses et des apprentissages en effectuant une régression et une classification sur les données converties. ⑥ __ Interprétation / Évaluation __: Interpréter et évaluer le modèle à partir des résultats obtenus par l'exploration de données.

・ Figure![Capture d'écran 2020-10-29 14.36.19.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/698700/78ad3832-30bf-33c2- 4788-44865de4cc74.png)

Cette fois, c'est fini. Merci d'avoir lu jusqu'au bout.

Recommended Posts

Prétraitement dans l'apprentissage automatique 1 Processus d'analyse des données
Prétraitement dans l'apprentissage automatique 2 Acquisition de données
Prétraitement dans l'apprentissage automatique 4 Conversion de données
Python: prétraitement en machine learning: acquisition de données
Python: prétraitement dans l'apprentissage automatique: conversion de données
Apprentissage automatique dans Delemas (acquisition de données)
Python: prétraitement dans l'apprentissage automatique: présentation
Prétraitement dans l'apprentissage automatique 3 Données de valeur manquante / aberrante / de déséquilibre
[Python] Première analyse de données / apprentissage automatique (Kaggle)
Astuces de fourniture de données utilisant deque dans l'apprentissage automatique
J'ai commencé l'apprentissage automatique avec le prétraitement des données Python
Histoire de l'analyse de données par apprentissage automatique
Python: prétraitement en machine learning: gestion des données manquantes / aberrantes / déséquilibrées
Ensemble de données pour l'apprentissage automatique
Prétraitement japonais pour l'apprentissage automatique
Apprentissage automatique dans Delemas (s'entraîner)
À propos du prétraitement des données des systèmes utilisant l'apprentissage automatique
Notes d'apprentissage sur l'analyse des données Python
Utilisé en EDA pour l'apprentissage automatique
Vérification des performances du prétraitement des données pour l'apprentissage automatique (données numériques) (partie 2)
Défis d'apprentissage automatique de Coursera en Python: ex7-2 (analyse principale)
Vérification des performances du prétraitement des données pour l'apprentissage automatique (données numériques) (partie 1)
Python: analyse des séries chronologiques: prétraitement des données des séries chronologiques
Automatisez les tâches de routine dans l'apprentissage automatique
Algorithme d'apprentissage automatique (analyse de régression multiple)
Algorithme d'apprentissage automatique (analyse de régression unique)
Classification et régression dans l'apprentissage automatique
Modèle de prétraitement pour l'analyse des données (Python)
Analyse des séries chronologiques 3 Prétraitement des données des séries chronologiques
Recherche de semences aléatoires dans l'apprentissage automatique
Apprentissage automatique: analyse discriminante linéaire supervisée
Procédure d'apprentissage automatique de base: ② Préparer les données
Comment collecter des données d'apprentissage automatique
Effectuer une analyse morphologique dans l'environnement d'apprentissage automatique lancé par GCE
Apprentissage automatique
Sklearn de données déséquilibrées avec apprentissage automatique k-NN
Apprentissage automatique avec python (2) Analyse de régression simple
[python] Techniques souvent utilisées dans l'apprentissage automatique
Génération de données factices en forme de vent dans le processus de Markov
<Cours> Machine learning Chapitre 4: Analyse des principaux composants
Analyse de données à partir de python (pré-traitement des données-apprentissage automatique)
[Apprentissage automatique] Analyse de régression à l'aide de scicit learn
[Mise à jour Ver1.3.1] J'ai créé une bibliothèque de prétraitement de données DataLiner pour l'apprentissage automatique
Analyse des données Titanic 2
Analyse de données python
Formation préalable à l'examen d'analyse des données de certification d'ingénieur Python 3
Divulgation complète des méthodes utilisées dans l'apprentissage automatique
Analyse des données Titanic 1
Analyse de données en Python: une note sur line_profiler
Division des données de formation en apprentissage automatique et apprentissage / prédiction / vérification
Résumé des fonctions d'évaluation utilisées dans l'apprentissage automatique
J'ai essayé de traiter et de transformer l'image et d'élargir les données pour l'apprentissage automatique
Analyse de l'utilisation de l'espace partagé par l'apprentissage automatique
[Memo] Apprentissage automatique
Touchons une partie de l'apprentissage automatique avec Python
Analyse des données Titanic 3
Classification de l'apprentissage automatique
Prédire les travaux de courte durée de Weekly Shonen Jump par apprentissage automatique (Partie 1: Analyse des données)
Environnement enregistré pour l'analyse des données avec Python
[Pour les débutants] Introduction à la vectorisation dans l'apprentissage automatique