[JAVA] Machine Learning avec docker (40) avec anaconda (40) "Hands-On Data Science and Python Machine Learning" Par Frank Kane

1. Pour ceux qui veulent l'utiliser immédiatement (dès que)

「Hands-On Data Science and Python Machine Learning」By Frank Kane

cat40.gif

http://shop.oreilly.com/product/9781787280748.do

docker Veuillez installer docker et démarrer docker sur Windows et Mac. Sous Windows, le docker peut ne pas démarrer tant que la virtualisation Intel n'est pas activée dans le Bios. De plus, des avertissements de sécurité peuvent apparaître.

docker run

$ docker pull kaizenjapan/anaconda-frank

$ docker run -it -p 8888:8888 kaizenjapan/anaconda-frank /bin/bash

Dans la session shell ci-dessous (base) root @ f19e2f06eabb: / # est une invite de virgule. En fait, la partie numérique peut être différente. Entrez le côté droit de # sur cette ligne. Les autres lignes sont sorties. S'il y a des erreurs ou des différences dans la sortie, veuillez nous en informer dans les commentaires. Accédez au dossier de chaque chapitre.

Si l'affichage dans le menu fixe et le shell du système d'exploitation qui a démarré le menu fixe sont similaires, vous pouvez faire une erreur quant à celui que vous recherchez. Faites attention à l'invite de commande de docker.

Partage ou copie de fichiers

Sur le système d'exploitation qui a démarré le docker et le docker, partagez le fichier ou copiez le fichier pour afficher le fichier généré dans le navigateur. L'URL de la méthode est décrite dans la colonne de référence.

Je recherche un bon moyen d'organiser les disques du système d'exploitation qui a démarré le docker. Certaines méthodes ont des paramètres partagés depuis le début.

Dans le cas de la copie, la commande côté OS qui a démarré docker a été exécutée. Remplacez par votre numéro de docker. J'ai affiché le fichier copié sur le navigateur et vérifié le contenu.


root@0ece3ffce439:/Hands-On-Data-Science-and-Python-Machine-Learning# python SparkDecisionTree.py 
Traceback (most recent call last):
  File "SparkDecisionTree.py", line 1, in <module>
    from pyspark.mllib.regression import LabeledPoint
ImportError: No module named pyspark.mllib.regression
root@0ece3ffce439:/Hands-On-Data-Science-and-Python-Machine-Learning# pip install pyspark
bash: pip: command not found
root@0ece3ffce439:/Hands-On-Data-Science-and-Python-Machine-Learning# find / -name pip -print
/root/anaconda3/bin/pip
/root/anaconda3/lib/python3.7/site-packages/pip
/root/anaconda3/pkgs/pip-10.0.1-py37_0/bin/pip
/root/anaconda3/pkgs/pip-10.0.1-py37_0/lib/python3.7/site-packages/pip
root@0ece3ffce439:/Hands-On-Data-Science-and-Python-Machine-Learning# /root/anaconda3/bin/pip install pyspark        
Collecting pyspark
  Downloading https://files.pythonhosted.org/packages/5e/cb/d8ff49ba885e2c88b8cf2967edd84235ffa9ac301bffef657dfa5605a112/pyspark-2.3.2.tar.gz (211.9MB)
    100% |████████████████████████████████| 211.9MB 201kB/s 
Collecting py4j==0.10.7 (from pyspark)
  Downloading https://files.pythonhosted.org/packages/e3/53/c737818eb9a7dc32a7cd4f1396e787bd94200c3997c72c1dbe028587bd76/py4j-0.10.7-py2.py3-none-any.whl (197kB)
    100% |████████████████████████████████| 204kB 951kB/s 
Building wheels for collected packages: pyspark
  Running setup.py bdist_wheel for pyspark ... done
  Stored in directory: /root/.cache/pip/wheels/be/7d/34/cd3cfbc75d8b6b6ae0658e5425348560b86d187fe3e53832cc
Successfully built pyspark
twisted 18.7.0 requires PyHamcrest>=1.9.0, which is not installed.
Installing collected packages: py4j, pyspark
Successfully installed py4j-0.10.7 pyspark-2.3.2
You are using pip version 10.0.1, however version 18.1 is available.
You should consider upgrading via the 'pip install --upgrade pip' command.
root@0ece3ffce439:/Hands-On-Data-Science-and-Python-Machine-Learning# pip install --upgrade pip
bash: pip: command not found
root@0ece3ffce439:/Hands-On-Data-Science-and-Python-Machine-Learning# apt-get install pip
Reading package lists... Done
Building dependency tree       
Reading state information... Done
E: Unable to locate package pip
root@0ece3ffce439:/Hands-On-Data-Science-and-Python-Machine-Learning#  /root/anaconda3/bin/pip install --upgrade pip
Collecting pip
  Downloading https://files.pythonhosted.org/packages/c2/d7/90f34cb0d83a6c5631cf71dfe64cc1054598c843a92b400e55675cc2ac37/pip-18.1-py2.py3-none-any.whl (1.3MB)
    100% |████████████████████████████████| 1.3MB 8.5MB/s 
twisted 18.7.0 requires PyHamcrest>=1.9.0, which is not installed.
Installing collected packages: pip
  Found existing installation: pip 10.0.1
    Uninstalling pip-10.0.1:
      Successfully uninstalled pip-10.0.1
Successfully installed pip-18.1
root@0ece3ffce439:/Hands-On-Data-Science-and-Python-Machine-Learning#  /root/anaconda3/bin/pip install PyHamcrest   
Collecting PyHamcrest
  Downloading https://files.pythonhosted.org/packages/9a/d5/d37fd731b7d0e91afcc84577edeccf4638b4f9b82f5ffe2f8b62e2ddc609/PyHamcrest-1.9.0-py2.py3-none-any.whl (52kB)
    100% |████████████████████████████████| 61kB 2.6MB/s 
Requirement already satisfied: six in /root/anaconda3/lib/python3.7/site-packages (from PyHamcrest) (1.11.0)
Requirement already satisfied: setuptools in /root/anaconda3/lib/python3.7/site-packages (from PyHamcrest) (40.2.0)
Installing collected packages: PyHamcrest
Successfully installed PyHamcrest-1.9.0
root@0ece3ffce439:/Hands-On-Data-Science-and-Python-Machine-Learning# python SparkDecisionTree.py
Traceback (most recent call last):
  File "SparkDecisionTree.py", line 1, in <module>
    from pyspark.mllib.regression import LabeledPoint
ImportError: No module named pyspark.mllib.regression
root@0ece3ffce439:/Hands-On-Data-Science-and-Python-Machine-Learning#  /root/anaconda3/bin/pip install LabeledPoint
Collecting LabeledPoint
  Could not find a version that satisfies the requirement LabeledPoint (from versions: )
No matching distribution found for LabeledPoint
root@0ece3ffce439:/Hands-On-Data-Science-and-Python-Machine-Learning#  /root/anaconda3/bin/pip install regression  
Collecting regression
  Could not find a version that satisfies the requirement regression (from versions: )
No matching distribution found for regression
root@0ece3ffce439:/Hands-On-Data-Science-and-Python-Machine-Learning# 

jupyternotebook

root@0ece3ffce439:/Hands-On-Data-Science-and-Python-Machine-Learning# /root/anaconda3/bin/jupyter notebook --ip=0.0.0.0 --allow-root
[I 14:00:45.307 NotebookApp] JupyterLab extension loaded from /root/anaconda3/lib/python3.7/site-packages/jupyterlab
[I 14:00:45.307 NotebookApp] JupyterLab application directory is /root/anaconda3/share/jupyter/lab
[I 14:00:45.311 NotebookApp] Serving notebooks from local directory: /Hands-On-Data-Science-and-Python-Machine-Learning
[I 14:00:45.311 NotebookApp] The Jupyter Notebook is running at:
[I 14:00:45.311 NotebookApp] http://(0ece3ffce439 or 127.0.0.1):8888/?token=03a8851511d5e0e2457d5448b0f66f71b8378d4ac9b1c141
[I 14:00:45.311 NotebookApp] Use Control-C to stop this server and shut down all kernels (twice to skip confirmation).
[W 14:00:45.313 NotebookApp] No web browser found: could not locate runnable browser.
[C 14:00:45.313 NotebookApp] 

Dans le navigateur localhost:8888 ouvert

68747470733a2f2f71696974612d696d6167652d73746f72652e73332e616d617a6f6e6177732e636f6d2f302f35313432332f34643333383165622d653832302d336437372d316635352d6665303161396231353731342e706e67.png

Dans le cas ci-dessus, jeton 03a8851511d5e0e2457d5448b0f66f71b8378d4ac9b1c141 Mettez dedans.

ju40-1.png ju40-2.png ju40-3.png ju40-5.png ju40-6.png

2. Pour ceux qui construisent eux-mêmes docker

À partir de maintenant, j'enregistrerai le type de politique et de procédure que j'ai créé le docker ci-dessus. Il s'agit d'un matériel de référence pour l'utilisation du menu fixe ci-dessus. Pas nécessaire pour exécuter le reste du livre. C'est la procédure pour construire vous-même docker / anaconda. Ce n'est pas un moyen de créer un fichier docker. Pardon. docker

Un mécanisme qui permet à Linux comme ubuntu et debian d'être utilisé en commun à partir de Linux, Windows et Mac OS. Il est bon de pouvoir l'utiliser sans modifier les paramètres de l'OS à utiliser. Avec les mêmes spécifications, il peut être utilisé par un grand nombre de personnes. Ceux qui sont officiellement pris en charge par le développeur du logiciel et ceux qui sont convenablement adaptés par l'utilisateur sont disponibles. Cette fois, nous adapterons ce que nous avons officiellement distribué afin qu'il puisse être utilisé par d'autres. python

Je suis allé à Phthon pour une pratique de Deep Learning. La raison de l'utilisation de python est que de nombreux mécanismes d'apprentissage automatique peuvent être utilisés en python, et des mécanismes d'analyse statistique tels que R peuvent également être facilement utilisés à partir de python. anaconda

Il existe des différences entre les versions 2 et 3 de python et la méthode de distribution. J'utilise python3 avec Anaconda depuis un an et demi. La raison pour laquelle j'ai utilisé Anaconda est qu'il est livré avec une bibliothèque d'analyse statistique et Jupyter Notebook depuis le début.

distribution officielle de docker

Il existe une distribution officielle d'OS comme ubuntu et debian, et une distribution officielle de langages tels que gcc et anaconda. En les utilisant et en vous inscrivant sur docker-hub, vous pouvez vérifier la qualité de la distribution officielle et partager un large éventail d'informations, y compris les droits de modification. Cela ne signifie pas que docker le distribue officiellement, mais qu'il est officiellement distribué par chaque fournisseur de logiciel. docker pull

L'utilisation de la distribution officielle de docker est réalisée en tirant de l'URL. docker Anaconda

Utilisez celui officiellement distribué par anaconda.

$  docker pull kaizenjapan/anaconda-keras
Using default tag: latest
latest: Pulling from continuumio/anaconda3
Digest: sha256:e07b9ca98ac1eeb1179dbf0e0bbcebd87701f8654878d6d8ce164d71746964d1
Status: Image is up to date for continuumio/anaconda3:latest

$ docker run -it -p 8888:8888 continuumio/anaconda3 /bin/bash

Tirez sur d'autres poussées qui utilisaient réellement keras et tensorflow

apt-get

(base) root@d8857ae56e69:/# apt-get update

(base) root@d8857ae56e69:/# apt-get install -y procps

(base) root@d8857ae56e69:/# apt-get install -y vim

(base) root@d8857ae56e69:/# apt-get install -y apt-utils

(base) root@d8857ae56e69:/# apt-get install sudo

apt-get install scala

apt-get install default-jre 



Source git

(base) root@f19e2f06eabb:/# git clone https://github.com/PacktPublishing/Hands-On-Data-Science-and-Python-Machine-Learning

conda

(base) root@f19e2f06eabb:/d# conda update --prefix /opt/conda anaconda

pip

(base) root@f19e2f06eabb:/# pip install --upgrade pip

/root/anaconda3/bin/pip install pyspark  

Inscription au Docker Hub

$ docker ps
CONTAINER ID        IMAGE                   COMMAND                  CREATED             STATUS              PORTS                    NAMES
caef766a99ff        continuumio/anaconda3   "/usr/bin/tini -- /b…"   10 hours ago        Up 10 hours         0.0.0.0:8888->8888/tcp   sleepy_bassi

$ docker commit 3bf1f723168d   kaizenjapan/anaconda-frank
 

$ docker push kaizenjapan/anaconda-frank

Référence

Pourquoi le Machine Learning avec Docker Book / Source List est en cours de création (Objectif 100) https://qiita.com/kaizen_nagoya/items/ddd12477544bf5ba85e2

Apprentissage automatique avec docker (1) avec anaconda (1) "Deep Learning from scratch - La théorie et la mise en œuvre de l'apprentissage profond appris avec Python" par Yasuki Saito https://qiita.com/kaizen_nagoya/items/a7e94ef6dca128d035ab

Apprentissage automatique avec docker (2) avec anaconda (2) "Deep Learning from scratch 2 Natural language processing" par Yasuki Saito https://qiita.com/kaizen_nagoya/items/3b80dfc76933cea522c6

Apprentissage automatique avec docker (3) avec anaconda (3) "Apprentissage profond intuitif" Antonio Gulli, Sujit Pal Chapitre 1, Chapitre 2 https://qiita.com/kaizen_nagoya/items/483ae708c71c88419c32

Apprentissage automatique avec docker (71) Construction de l'environnement (1) docker D'une manière ou d'une autre, quoi qu'il arrive, il n'y a que des erreurs. https://qiita.com/kaizen_nagoya/items/690d806a4760d9b9e040

Apprentissage automatique avec docker (72) Construction d'environnement (2) Docker pour Windows https://qiita.com/kaizen_nagoya/items/c4daa5cf52e9f0c2c002

Apprentissage automatique avec docker (73) Construction de l'environnement (3) script bash docker / linux / macos, fichier batch ms-dos https://qiita.com/kaizen_nagoya/items/3f7b39110b7f303a5558

Apprentissage automatique avec docker (74) Construction de l'environnement (4) R Combien de difficultés? https://qiita.com/kaizen_nagoya/items/5fb44773bc38574bcf1c

Apprentissage automatique avec docker (75) Construction d'environnement (5) Gestion des fichiers liés au docker https://qiita.com/kaizen_nagoya/items/4f03df9a42c923087b5d

J'ai essayé d'exécuter OpenCV sur Python et on m'a dit que libGL.so manquait, mais je l'ai résolu. https://qiita.com/toshitanian/items/5da24c0c0bd473d514c8

Conseils de dessin avec matplotlib côté serveur https://qiita.com/TomokIshii/items/3a26ee4453f535a69e9e

Copie de fichiers entre l'hôte et le conteneur avec Docker https://qiita.com/gologo13/items/7e4e404af80377b48fd5

Utiliser le partage de fichiers avec Docker pour Mac https://qiita.com/seijimomoto/items/1992d68de8baa7e29bb5

"L'IoT de Nagoya est le système d'exploitation de Nagoya" Comment puis-je utiliser Docker? TOPPERS / FMP sur RaspberryPi avec barrières Macintosh 5 https://qiita.com/kaizen_nagoya/items/9c46c6da8ceb64d2d7af

Route vers un processeur 64 bits et / ou une détermination vieille de 64 ans https://qiita.com/kaizen_nagoya/items/cfb5ffa24ded23ab3f60

Deep Learning 2 Natural Language Processing à partir de zéro Comment procéder avec une session de lecture (exemple) https://qiita.com/kaizen_nagoya/items/025eb3f701b36209302e

Essayez d'utiliser NVIDIA Docker sur Ubuntu 16.04 LTS https://blog.amedama.jp/entry/2017/04/03/235901

Historique du document

ver. 0.10 Première ébauche 20181024 ver. 0.11 push 20181028

Recommended Posts

Machine Learning avec docker (40) avec anaconda (40) "Hands-On Data Science and Python Machine Learning" Par Frank Kane
J'ai commencé l'apprentissage automatique avec le prétraitement des données Python
Mémo d'apprentissage Python pour l'apprentissage automatique par Chainer chapitres 1 et 2
Apprentissage automatique avec Python! Préparation
Commencer avec l'apprentissage automatique Python
Mémo d'apprentissage "Scraping & Machine Learning avec Python"
Apprentissage automatique avec docker (42) Programmation PyTorch pour l'apprentissage en profondeur par Ian Pointer
[Note de lecture] Apprentissage automatique pratique avec Scikit-Learn, Keras et TensorFlow Chapitre 1
"Processus Gauss et apprentissage automatique" Régression de processus Gauss implémentée uniquement avec Python numpy
Construction de pipeline de données avec Python et Luigi
Amplifiez les images pour l'apprentissage automatique avec Python
Sklearn de données déséquilibrées avec apprentissage automatique k-NN
Apprentissage automatique avec python (2) Analyse de régression simple
Vulkan compute avec Python avec VkInline et pense à l'apprentissage automatique GPU et plus
Python: prétraitement en machine learning: acquisition de données
[Shakyo] Rencontre avec Python pour l'apprentissage automatique
Structure et fonctionnement des données Python (mémo d'apprentissage Python ③)
[Python] Première analyse de données / apprentissage automatique (Kaggle)
Créer un environnement pour Python et l'apprentissage automatique (macOS)
Analyse de données à partir de python (pré-traitement des données-apprentissage automatique)
Organisez les données séparées par dossier avec Python
Python: prétraitement dans l'apprentissage automatique: conversion de données
Mémo d'étude Python & Machine Learning ④: Machine Learning par rétro-propagation
Python: prétraitement en machine learning: gestion des données manquantes / aberrantes / déséquilibrées
J'ai commencé l'apprentissage automatique avec Python (j'ai également commencé à publier sur Qiita) Préparation des données
Construction d'environnement AI / Machine Learning avec Python
Chapitre 6 Apprentissage supervisé: Classification pg212 ~ [Apprenez en vous déplaçant avec Python! Nouveau manuel d'apprentissage automatique]
Alignez le nombre d'échantillons entre les classes de données pour l'apprentissage automatique avec Python
Mémo d'apprentissage Python pour l'apprentissage automatique par Chainer Chapitres 11 et 12 Introduction à Pandas Matplotlib
[Python] Introduction facile à l'apprentissage automatique avec python (SVM)
Étudiez l'apprentissage automatique et l'informatique. Liste des ressources
Apprentissage automatique à partir de Python Personal Memorandum Part2
Apprentissage automatique à partir de Python Personal Memorandum Part1
[Python] Collectez des images avec Icrawler pour l'apprentissage automatique [1000 feuilles]
Division des données de formation en apprentissage automatique et apprentissage / prédiction / vérification
Histoire de l'analyse de données par apprentissage automatique
Créer un environnement d'apprentissage automatique Python avec des conteneurs
Prédire les attributs offensifs et défensifs à partir du nom de la carte Yugioh --Yugiou Data Science 3. Machine Learning
Apprenez en exécutant avec le nouveau Python! Manuel d'apprentissage automatique par Makoto Ito numpy / keras Attention!
Jusqu'à ce que vous créiez un environnement d'apprentissage automatique avec Python sur Windows 7 et que vous l'exécutiez
Apprentissage automatique avec Raspberry Pi 4 et Coral USB Accelerator
Exécutez un pipeline de machine learning avec Cloud Dataflow (Python)
Apprentissage des données relationnelles avec numpy et NetworkX (clustering spectral)
Apprentissage automatique facile avec scikit-learn et flask ✕ Application Web
Mémo d'apprentissage Python pour l'apprentissage automatique par Chainer du chapitre 2
Créer un environnement de développement d'applications d'apprentissage automatique avec Python
Prédiction de données chronologiques par AutoML (apprentissage automatique automatique)
Résumé du flux de base de l'apprentissage automatique avec Python
Étudiez l'échange de données Java et Python avec Apache Arrow
L'apprentissage automatique pratique avec Scikit-Learn et TensorFlow-TensorFlow a abandonné -
[Bases de la science des données] Collecte de données depuis RSS avec python
Configurer des bibliothèques Python et d'apprentissage automatique sur Ubuntu
Comment créer un environnement virtuel Anaconda à utiliser avec Azure Machine Learning et comment créer un lien avec Jupyter
Analyse de données avec python 2
Apprendre Python avec ChemTHEATER 03
"Orienté objet" appris avec python
Apprendre Python avec ChemTHEATER 05-1