Deux semaines après le démarrage de l'apprentissage automatique, ce qu'il a fallu pour démarrer l'apprentissage automatique

introduction

Récemment, quand j'ai commencé à étudier l'apprentissage automatique comme passe-temps, j'ai acquis d'énormes compétences car j'avais besoin de compétences diverses! Partagez les tâches dont vous avez besoin pour commencer!

Ce dont vous avez besoin pour l'apprentissage automatique

Compétences requises

Tout d'abord, si vous commencez par vous-même, notez les compétences nécessaires.

· Compétences professionnelles
・ Compréhension approfondie des affaires
·pensée logique
·Documentation/présentation
* Dans de nombreuses situations, une explication théorique est requise pour la collecte de données.

· Compétences informatiques
・ Large gamme de connaissances informatiques
・ Connaissance du traitement de données à grande échelle
・ Connaissance approfondie des bases de données
·la programmation
* Puisque la gamme est vraiment large, nous avons besoin de quelqu'un qui peut faire une pile complète de l'infrastructure à la logique.

・ Compétences en analyse statistique
·Math
・ Compréhension de la méthode d'analyse des données
・ Compétences en logiciels d'analyse de données
* Probabilité / statistiques, intégration différentielle, matrice, etc. sont nécessaires.
Au début, je ne comprenais pas du tout car il y avait beaucoup de symboles.

Cet article est facile à comprendre. Il est temps de réfléchir sérieusement à la définition et à l'ensemble des compétences des data scientists - Qiita

À propos de la tâche du sujet principal

commercialisation

C'est probablement la chose la plus importante dans l'apprentissage automatique!

Car, même si vous collectez des données, vous ne pouvez pas connaître les données à collecter à moins d'être familiarisé avec l'industrie. Cette fois, j'ai reçu beaucoup de conseils, mais faute de données, je les ai collectées plusieurs fois!

Collecte de données

C'est également une tâche difficile. S'il s'agit d'environ 1 000 à 10 000, vous pourrez peut-être le faire manuellement, mais je pense qu'il vaut mieux en avoir au moins 100 000. J'ai commencé à collectionner 1 300 000 disques!

Comment collecter

[Fais le toi-même] Collectez des informations gratuitement grâce au grattage WEB Il faut du temps et des compétences pour développer un compromis.

[Sourcing cloud] Cela semble bon marché et bon, mais cela peut réduire la qualité des informations.

[Acheter] Cela ne prend pas longtemps et est rapide, mais c'est relativement cher (selon les informations).

Nettoyage des informations

Les données collectées peuvent être partiellement manquantes ou contenir des informations irrégulières. Vous devez donc organiser les informations de manière à ce qu'elles soient faciles à analyser. Ici, vous avez besoin de compétences en bases de données telles que SQL et de compétences pour le traitement Big Data (traitement distribué, etc.). Comme il traite une grande quantité de données, cela prend un certain temps.

Analyse / classification

Pour commencer à faire des prédictions avec l'apprentissage automatique, vous devez d'abord avoir des compétences statistiques pour analyser les données actuelles. Vous devez caractériser les données et déduire les données dont vous avez besoin pour faire des prédictions. Une évaluation quantitative est nécessaire dans ce domaine sans s'appuyer sur des éléments qualitatifs tels que le bon sens.

Création de modèles d'apprentissage

Créez un modèle pour prédire l'avenir à partir des caractéristiques des données. Des compétences en programmation sont requises ici. Les langages de développement tels que Python sont une condition préalable, mais le réglage des paramètres, etc. est également recommandé, donc l'obstacle n'est pas si élevé, mais vous devez sélectionner l'algorithme en fonction du type et du but des données. .. [Liste des bibliothèques d'apprentissage automatique]   TensorFlow:https://www.tensorflow.org/   Chainer:http://chainer.org/   Caffe:http://caffe.berkeleyvision.org/   Theano:http://deeplearning.net/software/theano/index.html   Torch:http://torch.ch/   scikit-learn:http://scikit-learn.org/stable/   PyML:http://pyml.sourceforge.net/   Pylearn2:http://deeplearning.net/software/pylearn2/   PyBrain:http://pybrain.org/pages/home

Prédiction et expérimentation

Faites des prédictions à l'aide d'un modèle d'apprentissage créé à partir de données d'entraînement. Il est nécessaire de répéter plusieurs fois la prédiction du test d'apprentissage. En outre, il existe une possibilité de surapprentissage simplement parce que la précision est bonne.

Vous devez répéter l'expérience avec les données réelles pour voir si cela fonctionne vraiment.

finalement

Comme il n'y a pas encore beaucoup d'ingénieurs en apprentissage automatique, il peut être difficile de consulter les gens sur la sélection des algorithmes, la sélection des paramètres, les méthodes de normalisation, etc., et je me sens seul. Cependant, il y a tellement de nouvelles choses à apprendre et c'est passionnant. Je le recommande fortement à tout le monde.

Il existe un site sur lequel vous expérimentez des prédictions futures avec les compétences que vous étudiez, alors jetez-y un coup d'œil lorsque vous en aurez le temps! [facebook] https://www.facebook.com/AIkeiba/ [Twitter] https://twitter.com/Siva_keiba

Recommended Posts

Deux semaines après le démarrage de l'apprentissage automatique, ce qu'il a fallu pour démarrer l'apprentissage automatique
Préparation au démarrage de «Python Machine Learning Programming» (pour macOS)
Introduction à l'apprentissage automatique
Qu'est-ce que l'apprentissage automatique?
Une introduction à l'apprentissage automatique
Super introduction à l'apprentissage automatique
Introduction à la rédaction de notes d'apprentissage automatique
Apprentissage profond pour démarrer sans GPU
Présentation de la bibliothèque d'apprentissage automatique SHOGUN
Comment collecter des données d'apprentissage automatique
Est-il possible de manger avec la prévision du cours des actions par apprentissage automatique [Machine learning partie 1]
Amener l'apprentissage automatique à un niveau pratique en un mois # 1 (édition de départ)