Vous serez ingénieur dans 100 jours ――Jour 77 ――Programmation ――À propos de l'apprentissage automatique 2

Cliquez ici jusqu'à hier

Vous deviendrez ingénieur dans 100 jours - Jour 76 - Programmation - À propos de l'apprentissage automatique

Vous deviendrez ingénieur dans 100 jours-70-Programmation-À propos du scraping

Vous deviendrez ingénieur dans 100 jours - Jour 66 - Programmation - À propos du traitement du langage naturel

Vous deviendrez ingénieur dans 100 jours - Jour 63 - Programmation - À propos de la probabilité 1

Vous deviendrez ingénieur dans 100 jours - Jour 59 - Programmation - À propos des algorithmes

Vous deviendrez ingénieur dans 100 jours --- Jour 53 --Git --À propos de Git

Vous deviendrez ingénieur dans 100 jours --Jour 42 --Cloud --À propos des services cloud

Vous deviendrez ingénieur dans 100 jours - Jour 36 --Base de données --À propos de la base de données

Vous deviendrez ingénieur dans 100 jours-24 jours-Python-Bases du langage Python 1

Vous deviendrez ingénieur dans 100 jours --Jour 18 --Javascript --Les bases de JavaScript 1

Vous deviendrez ingénieur dans 100 jours - Jour 14 --CSS --CSS Basics 1

Vous deviendrez ingénieur dans 100 jours - Jour 6 --HTML - Bases du HTML 1

Cette fois, c'est une continuation de l'histoire de l'apprentissage automatique.

À propos du flux de l'apprentissage automatique

Depuis que je l'ai fait la dernière fois, j'ai fait à peu près ce que je pouvais et ce que je pouvais faire. Aujourd'hui, je voudrais faire ce que je devrais faire spécifiquement.

Tout d'abord, parlons du flux de l'apprentissage automatique. Je vais expliquer quel type de procédure est utilisé pour l'apprentissage automatique en entreprise.

Le flux de travail lors de l'intégration de l'apprentissage automatique est le suivant.

  1. Décidez de l'objectif
  2. Acquisition de données
  3. Compréhension / sélection / traitement des données
  4. Création d'un magasin de données (ensemble de données)
  5. Création de modèles
  6. Vérification de l'exactitude
  7. Mise en œuvre du système

Regardons le contenu spécifique.

0. Décidez de l'objectif

Je pense que c'est l'endroit le plus important. À quoi sert le machine learning et ce que vous voulez faire Décidez du but.

La seule chose que vous pouvez faire avec l'apprentissage automatique est la «prédiction».

Cette prédiction Return: prédire les valeurs numériques Catégorie: prédire des catégories telles que les hommes et les femmes «Clustering»: diviser en bons sentiments

Vous ne pouvez faire que trois choses.

Tout d'abord, nous devons décider de ce qu'il faut prédire aux fins de l'apprentissage automatique.

Un bon exemple est: Je veux réduire le taux de retrait de l'utilisateur, donc je veux prédire le «taux de retrait de l'utilisateur». Je veux augmenter les ventes, donc je veux prédire si l'utilisateur achètera.

Prédire le «XX» qui y mène pour «〇〇» Je pense que ce serait la bonne façon d'introduire l'apprentissage automatique.

Fondamentalement «Ventes» et «Bénéfice» Je pense que si c'est directement connecté ici.

Je ne sais pas si ça mènera à ici, quelque chose qui est difficile à juger Cela signifie que ce n'est pas une bonne idée de le laisser être l'apprentissage automatique.

En premier lieu, dans l'apprentissage automatique, le travail qui suit demande beaucoup de travail. Cela coûte beaucoup d'argent.

Le coût de développement est estimé à 30 millions de yens, mais il n'y a pratiquement aucun profit à générer. Si tel est le cas, il est sage de décider de ne pas le faire car il est inutile de le faire.

Je souhaite vérifier sa précision si je fais du machine learning. C'est acceptable.

Si l'expérience fonctionne ou non jusqu'à la vérification en tant que POC Si l'objectif est lâche, vous pouvez utiliser le résultat de la vérification en conséquence. Je pense que c'est peut-être à des fins de vérification.

La plupart du temps, vous jetez simplement votre argent.

1. Acquisition de données

スクリーンショット 2020-06-05 18.51.27.png

Une fois l'objectif décidé, il est nécessaire de créer les données en conséquence.

Si vous avez déjà acquis les données et que vous souhaitez les utiliser, envoyez et recevez simplement les données Très peu de mots.

Cependant, il n'y a pas encore de données et il sera difficile de commencer à acquérir des données à partir de maintenant. Assurez-vous de concevoir les données pour voir quel type de données fonctionnera. Il faut commencer par créer un mécanisme qui nous permette d'acquérir des données sans excès ni insuffisance.

Tout ce que vous avez à faire est de vérifier si vos clients et eux-mêmes disposent des bonnes données et, le cas échéant, de décider comment envoyer et recevoir les données. S'il n'y a pas de données, c'est de l'examen de conception de l'acquisition de données.

En ce qui concerne l'envoi et la réception de données, vous pouvez les recevoir sur disque dur ou SSD, ou vous pouvez les recevoir via le stockage en nuage. Je pense que c'est principalement via le stockage en nuage de nos jours.

2. Compréhension / sélection / traitement des données

スクリーンショット 2020-06-05 18.51.20.png

Il s'agit du pré-processus de ce que l'on appelle le "prétraitement des données".

De quel type de données disposez-vous, de quel type de ratio de composition des données et de quelle quantité? Nous effectuons un traitement d'agrégation de base tel que, analysons et visualisons les données.

スクリーンショット 2020-06-05 18.51.00.png

Lorsqu'il s'agit de données volumineuses, il faut plusieurs jours pour saisir les données, mais si vous ne comprenez pas correctement les caractéristiques des données ici, le travail va et vient. 3. Création d'un magasin de données (ensemble de données) Maintenant, créons des données pour l'apprentissage automatique à partir d'ici. Après avoir réduit les données candidates pouvant être utilisées dans une certaine mesure, nous rendrons les données utilisables pour l'apprentissage automatique. Seules les données tabulaires pouvant être utilisées pour l'apprentissage automatique doivent être regroupées.

L'apprentissage automatique supervisé nécessite des données pour la «variable explicative» à utiliser pour l'apprentissage et «l'étiquette de réponse correcte» pour représenter la réponse correcte.

Il est nécessaire de traiter la partie qui dit ce que vous voulez prédire dans une colonne de «étiquettes de réponse correcte».

De plus, toutes les données utilisées comme «variables explicatives» doivent être converties en valeurs numériques.

Le travail ici est le processus de prétraitement des données.

Il existe peu de projets d'apprentissage automatique qui ont des données assez propres. Il y a peu de données qui ne nécessitent presque aucun prétraitement À moins qu'il ne soit conçu pour collecter des données proprement au stade de l'acquisition de données Le temps est passé à traiter les données.

Dans l'apprentissage automatique, nous combinerons les données dans un format tabulaire. S'il existe de nombreux types de données, il est nécessaire de trouver des moyens de les rassembler.

Habituellement, vous vous retrouverez avec des milliers à des dizaines de milliers de colonnes de données.

Quant au nombre de lignes, il varie considérablement selon le type d'activité et le mécanisme d'acquisition des données. Ne vous inquiétez pas trop, mais si vous avez un petit nombre de lignes Cela peut affecter la précision.

À la suite du prétraitement, il y a 2 millions de lignes qui peuvent être utilisées 20 lignes Ensuite, il y a une différence de précision.

4. Création de modèles

スクリーンショット 2020-06-05 18.49.15.png

La création d'un modèle ne demande pas beaucoup d'efforts. Même si vous fabriquez de nombreux modèles, tous les modèles ne seront pas utilisés.

Tout ce que vous avez à faire est de créer un modèle précis et utilisable.

Vous devez essayer de nombreuses techniques pour créer un modèle Si vous le faites dans une certaine mesure, il sera décidé que cette méthode est bonne, et si vous sélectionnez la méthode mécaniquement, vous n'avez qu'à essayer 10 types de méthodes à la fois et attendre le résultat, donc cela demande beaucoup d'efforts. ne pas.

Pour des services comme DataRobot si vous avez les données sous la main Il créera automatiquement divers modèles en utilisant ces données.

Créer un modèle est désormais très simple et ne prend pas beaucoup de temps Il s'agit d'une part relativement petite en termes d'effort d'apprentissage automatique.

5. Vérification de l'exactitude

スクリーンショット 2020-06-05 18.49.26.png

Ce sera fait comme un ensemble avec création de modèle, mais nous le ferons tout en vérifiant sa précision après avoir fait un modèle.

Il existe plusieurs méthodes de vérification de l'exactitude, mais en général, nous examinerons le degré d '«erreur».

Puisque «celui avec le moins d'erreur» est considéré comme un bon modèle, je pense que les modèles seront disposés dans l'ordre de la moindre erreur, et finalement l'un des modèles avec la plus grande précision sera adopté.

Jusqu'à ce qu'un bon flux d'apprentissage automatique soit réalisé

  1. Compréhension / sélection / traitement des données
  2. Création d'un magasin de données (ensemble de données)
  3. Création de modèles
  4. Vérification de l'exactitude

Sera répété, et si la précision est toujours satisfaisante

  1. Acquisition de données

Vous devrez peut-être recommencer.

Un bon modèle ne peut provenir que de bonnes données. Les données inutiles ne sont rien de plus que des ordures.

Il est assez rare qu'un trésor soit mélangé aux données des ordures.

6. Mise en œuvre du système

Lorsque les données ont été préparées et que la précision est jugée raisonnable, nous incorporerons enfin le modèle dans le système.

Généralement, s'il s'agit d'un service WEB, il est incorporé de manière à être fourni dans le cadre de la fonction sur le côté arrière.

Ce sera une forme de construction d'un système tout en considérant comment le faire fonctionner et combien cela coûtera, ainsi que les exigences du système.

Il s’agit d’un service de machine learning pour AWS sagemaker. Certains d'entre eux seront immédiatement disponibles en tant que terminaux. L'utilisation d'un tel service réduira le nombre d'unités du côté du montage.

Résumé

Après avoir appris ce que vous pouvez faire avec l'apprentissage automatique, c'est une bonne idée d'apprendre ce qu'il faut faire pour faire l'apprentissage automatique.

Le flux général est le même, donc je pense qu'il est préférable de se référer aux méthodes de diverses entreprises.

23 jours avant de devenir ingénieur

Informations sur l'auteur

HP d'Otsu py: http://www.otupy.net/

Youtube: https://www.youtube.com/channel/UCaT7xpeq8n1G_HcJKKSOXMw

Twitter: https://twitter.com/otupython

Recommended Posts

Vous serez ingénieur dans 100 jours ――Jour 81 ――Programmation ――À propos de l'apprentissage automatique 6
Vous serez ingénieur dans 100 jours ――Jour 82 ――Programmation ――À propos de l'apprentissage automatique 7
Vous serez ingénieur dans 100 jours ――Jour 79 ――Programmation ――À propos de l'apprentissage automatique 4
Vous serez ingénieur dans 100 jours ――Jour 76 ――Programmation ――À propos de l'apprentissage automatique
Vous serez ingénieur dans 100 jours ―― Jour 80 ―― Programmation ―― À propos de l'apprentissage automatique 5
Vous serez ingénieur dans 100 jours ――Jour 78 ――Programmation ――À propos de l'apprentissage automatique 3
Vous serez ingénieur dans 100 jours ――Jour 84 ――Programmation ――À propos de l'apprentissage automatique 9
Vous serez ingénieur dans 100 jours ――Jour 77 ――Programmation ――À propos de l'apprentissage automatique 2
Vous serez ingénieur dans 100 jours ――Jour 85 ――Programmation ――À propos de l'apprentissage automatique 10
Vous serez ingénieur dans 100 jours ――Jour 71 ――Programmation ――À propos du scraping 2
Vous serez ingénieur dans 100 jours ――Jour 61 ――Programmation ――A propos de l'exploration
Vous serez ingénieur dans 100 jours ――Jour 74 ――Programmation ――À propos du scraping 5
Vous serez ingénieur dans 100 jours ――Jour 73 ――Programmation ――À propos du scraping 4
Vous serez ingénieur dans 100 jours ――Jour 75 ――Programmation ――À propos du scraping 6
Vous deviendrez ingénieur dans 100 jours --Jour 68 --Programmation --A propos de TF-IDF
Vous serez ingénieur dans 100 jours ――Jour 70 ――Programmation ――À propos du grattage
Vous serez ingénieur dans 100 jours ――Jour 63 ――Programmation ――À propos de la probabilité 1
Vous serez ingénieur dans 100 jours ――Jour 65 ――Programmation ――A propos de la probabilité 3
Vous serez ingénieur dans 100 jours ――Jour 64 ――Programmation ――À propos de la probabilité 2
Vous serez ingénieur dans 100 jours --Jour 86 --Base de données -
Vous serez ingénieur dans 100 jours ―― Jour 60 ―― Programmation ―― À propos de la structure des données et de l'algorithme de tri
Vous serez ingénieur dans 100 jours - Jour 27 - Python - Exercice Python 1
Vous serez ingénieur dans 100 jours - Jour 34 - Python - Exercice Python 3
Vous serez ingénieur dans 100 jours - Jour 31 - Python - Python Exercice 2
Vous devenez ingénieur en 100 jours ――Jour 67 ――Programmation ――A propos de l'analyse morphologique
Vous devenez ingénieur en 100 jours ――Jour 66 ――Programmation ――À propos du traitement du langage naturel
Vous serez ingénieur dans 100 jours ――Jour 24 ―― Python ―― Bases du langage Python 1
Vous serez ingénieur dans 100 jours ――Jour 30 ―― Python ―― Bases du langage Python 6
Vous serez ingénieur dans 100 jours ――Jour 25 ―― Python ―― Bases du langage Python 2
Vous serez ingénieur dans 100 jours - Jour 29 - Python - Bases du langage Python 5
Vous serez ingénieur dans 100 jours - Jour 33 - Python - Bases du langage Python 8
Vous serez ingénieur dans 100 jours --Jour 26 --Python --Basiques du langage Python 3
Vous devenez ingénieur en 100 jours - Jour 35 - Python - Ce que vous pouvez faire avec Python
Vous serez ingénieur dans 100 jours --Jour 32 --Python --Basiques du langage Python 7
Vous serez ingénieur dans 100 jours --Jour 28 --Python --Les bases du langage Python 4
Devenez bientôt un ingénieur IA! Apprenez complètement Python / AI / Machine learning / Deep learning / Analyse statistique en quelques jours!
Vous devez faire attention aux commandes que vous utilisez quotidiennement dans l'environnement de production.
Créez un environnement interactif pour l'apprentissage automatique avec Python
Enregistrement d'apprentissage de la programmation 2ème jour
Jusqu'à ce qu'un ingénieur qui était autrefois frustré par l'apprentissage automatique parvienne à utiliser l'apprentissage automatique au travail
[Apprentissage automatique] Résumons la forêt aléatoire de manière simple à comprendre
Apprentissage automatique dans Delemas (s'entraîner)
Une introduction à l'apprentissage automatique
À propos de la matrice mixte d'apprentissage automatique
Programmation Python Machine Learning> Mots-clés
Utilisé en EDA pour l'apprentissage automatique
Apprenez le machine learning à tout moment et en tout lieu dans l'environnement Jupyter Notebook à la demande