[JAVA] Apprentissage automatique avec Spark (86) avec Spark (1) «Apprentissage automatique avec Spark» Par Rajdeep Dua, Manpreet Singh Ghotra, Nick Pentreath

1. Pour ceux qui veulent l'utiliser immédiatement (dès que)

「Machine Learning with Spark」 By Rajdeep Dua, Manpreet Singh Ghotra, Nick Pentreath

cat86.gif

http://shop.oreilly.com/product/9781785889936.do

docker Veuillez installer docker et démarrer docker sur Windows et Mac. Sous Windows, le docker peut ne pas démarrer tant que la virtualisation Intel n'est pas activée dans le Bios. De plus, des avertissements de sécurité peuvent apparaître.

docker run

$ docker pull kaizenjapan/anaconda2-spark

$ docker run -it -p 8888:8888 kaizenjapan/anaconda2-sparkk /bin/bash

Dans la session shell ci-dessous (base) root @ f19e2f06eabb: / # est une invite de virgule. En fait, la partie numérique peut être différente. Entrez le côté droit de # sur cette ligne. Les autres lignes sont sorties. S'il y a des erreurs ou des différences dans la sortie, veuillez nous en informer dans les commentaires. Accédez au dossier de chaque chapitre.

Si l'affichage dans le menu fixe et le shell du système d'exploitation qui a démarré le menu fixe sont similaires, vous pouvez faire une erreur quant à celui que vous recherchez. Faites attention à l'invite de commande de docker.

Partage ou copie de fichiers

Sur le système d'exploitation qui a démarré le docker et le docker, partagez le fichier ou copiez le fichier pour afficher le fichier généré dans le navigateur. L'URL de la méthode est décrite dans la colonne de référence.

Je recherche un bon moyen d'organiser les disques du système d'exploitation qui a démarré le docker. Certaines méthodes ont des paramètres partagés depuis le début.

Dans le cas de la copie, la commande côté OS qui a démarré docker a été exécutée. Remplacez par votre numéro de docker. J'ai affiché le fichier copié sur le navigateur et vérifié le contenu.

3 parties

python programme python2

java

2. Pour ceux qui construisent eux-mêmes docker

À partir de maintenant, j'enregistrerai le type de politique et de procédure que j'ai créé le docker ci-dessus. Il s'agit d'un matériel de référence pour l'utilisation du menu fixe ci-dessus. Pas nécessaire pour exécuter le reste du livre. C'est la procédure pour construire vous-même docker / anaconda. Ce n'est pas un moyen de créer un fichier docker. Pardon. docker

Un mécanisme qui permet à Linux comme ubuntu et debian d'être utilisé en commun à partir de Linux, Windows et Mac OS. Il est bon de pouvoir l'utiliser sans modifier les paramètres de l'OS à utiliser. Avec les mêmes spécifications, il peut être utilisé par un grand nombre de personnes. Ceux qui sont officiellement pris en charge par le développeur du logiciel et ceux qui sont convenablement adaptés par l'utilisateur sont disponibles. Cette fois, nous adapterons ce que nous avons officiellement distribué afin qu'il puisse être utilisé par d'autres. python

Je suis allé à Phthon pour une pratique de Deep Learning. La raison de l'utilisation de python est que de nombreux mécanismes d'apprentissage automatique peuvent être utilisés en python, et des mécanismes d'analyse statistique tels que R peuvent également être facilement utilisés à partir de python. anaconda

Il existe des différences entre les versions 2 et 3 de python et la méthode de distribution. J'utilise python3 avec Anaconda depuis un an et demi. La raison pour laquelle j'ai utilisé Anaconda est qu'il est livré avec une bibliothèque d'analyse statistique et Jupyter Notebook depuis le début.

distribution officielle de docker

Il existe une distribution officielle d'OS comme ubuntu et debian, et une distribution officielle de langages tels que gcc et anaconda. En les utilisant et en vous inscrivant sur docker-hub, vous pouvez vérifier la qualité de la distribution officielle et partager un large éventail d'informations, y compris les droits de modification. Cela ne signifie pas que docker le distribue officiellement, mais qu'il est officiellement distribué par chaque fournisseur de logiciel. docker pull

L'utilisation de la distribution officielle de docker est réalisée en tirant de l'URL. docker Anaconda

Utilisez celui officiellement distribué par anaconda.

$  docker pull kaizenjapan/anaconda-keras
Using default tag: latest
latest: Pulling from continuumio/anaconda3
Digest: sha256:e07b9ca98ac1eeb1179dbf0e0bbcebd87701f8654878d6d8ce164d71746964d1
Status: Image is up to date for continuumio/anaconda3:latest

$ docker run -it -p 8888:8888 continuumio/anaconda3 /bin/bash

Tirez sur d'autres poussées qui utilisaient réellement keras et tensorflow

apt-get

(base) root@d8857ae56e69:/# apt-get update

(base) root@d8857ae56e69:/# apt-get install -y procps

(base) root@d8857ae56e69:/# apt-get install -y vim

(base) root@d8857ae56e69:/# apt-get install -y apt-utils

(base) root@d8857ae56e69:/# apt-get install sudo

(base) root@d8857ae56e69:/# apt-get upgrade

Source git

(base) root@f19e2f06eabb:/# git clone https://github.com/PacktPublishing/Machine-Learning-with-Spark

pip

 pip install pyspark

Inscription au Docker Hub

$ docker ps
CONTAINER ID        IMAGE                   COMMAND                  CREATED             STATUS              PORTS                    NAMES
caef766a99ff        continuumio/anaconda3   "/usr/bin/tini -- /b…"   10 hours ago        Up 10 hours         0.0.0.0:8888->8888/tcp   sleepy_bassi

$ docker commit caef766a99ff kaizenjapan/anaconda2-spark

$ docker push kaizenjapan/anaconda2-spark

Référence

spark

Apprentissage automatique

Pourquoi le Machine Learning avec Docker Book / Source List est en cours de création (Objectif 100) https://qiita.com/kaizen_nagoya/items/ddd12477544bf5ba85e2

Apprentissage automatique avec docker (1) avec anaconda (1) "Deep Learning from scratch - La théorie et la mise en œuvre de l'apprentissage profond appris avec Python" par Yasuki Saito https://qiita.com/kaizen_nagoya/items/a7e94ef6dca128d035ab

Apprentissage automatique avec docker (2) avec anaconda (2) "Deep Learning from scratch 2 Natural language processing" par Yasuki Saito https://qiita.com/kaizen_nagoya/items/3b80dfc76933cea522c6

Apprentissage automatique avec docker (3) avec anaconda (3) "Apprentissage profond intuitif" Antonio Gulli, Sujit Pal Chapitre 1, Chapitre 2 https://qiita.com/kaizen_nagoya/items/483ae708c71c88419c32

Apprentissage automatique avec docker (71) Construction de l'environnement (1) docker D'une manière ou d'une autre, quoi qu'il arrive, il n'y a que des erreurs. https://qiita.com/kaizen_nagoya/items/690d806a4760d9b9e040

Apprentissage automatique avec docker (72) Construction d'environnement (2) Docker pour Windows https://qiita.com/kaizen_nagoya/items/c4daa5cf52e9f0c2c002

Apprentissage automatique avec docker (73) Construction de l'environnement (3) script bash docker / linux / macos, fichier batch ms-dos https://qiita.com/kaizen_nagoya/items/3f7b39110b7f303a5558

Apprentissage automatique avec docker (74) Construction de l'environnement (4) R Combien de difficultés? https://qiita.com/kaizen_nagoya/items/5fb44773bc38574bcf1c

Apprentissage automatique avec docker (75) Construction d'environnement (5) Gestion des fichiers liés au docker https://qiita.com/kaizen_nagoya/items/4f03df9a42c923087b5d

J'ai essayé d'exécuter OpenCV sur Python et on m'a dit que libGL.so manquait, mais je l'ai résolu. https://qiita.com/toshitanian/items/5da24c0c0bd473d514c8

Conseils de dessin avec matplotlib côté serveur https://qiita.com/TomokIshii/items/3a26ee4453f535a69e9e

Copie de fichiers entre l'hôte et le conteneur avec Docker https://qiita.com/gologo13/items/7e4e404af80377b48fd5

Utiliser le partage de fichiers avec Docker pour Mac https://qiita.com/seijimomoto/items/1992d68de8baa7e29bb5

"L'IoT de Nagoya est le système d'exploitation de Nagoya" Comment puis-je utiliser Docker? TOPPERS / FMP sur RaspberryPi avec barrières Macintosh 5 https://qiita.com/kaizen_nagoya/items/9c46c6da8ceb64d2d7af

Route vers un processeur 64 bits et / ou une détermination vieille de 64 ans https://qiita.com/kaizen_nagoya/items/cfb5ffa24ded23ab3f60

Deep Learning 2 Natural Language Processing à partir de zéro Comment procéder avec une session de lecture (exemple) https://qiita.com/kaizen_nagoya/items/025eb3f701b36209302e

Essayez d'utiliser NVIDIA Docker sur Ubuntu 16.04 LTS https://blog.amedama.jp/entry/2017/04/03/235901

Historique du document

ver. 0.10 Première ébauche 20181024 ver. 0.11 push 20181028

Recommended Posts

Apprentissage automatique avec Spark (86) avec Spark (1) «Apprentissage automatique avec Spark» Par Rajdeep Dua, Manpreet Singh Ghotra, Nick Pentreath
L'apprentissage automatique appris avec Pokemon
Démineur d'apprentissage automatique avec PyTorch
Commencer avec l'apprentissage automatique Python
4 [/] Quatre arithmétiques par apprentissage automatique
Essayez le machine learning à la légère avec Kaggle
Faire remplacer la guitare d'Hisako par la sienne par l'apprentissage automatique -Exécution-
[Apprentissage automatique] Essayez d'exécuter Spark MLlib avec Python et faites des recommandations
Apprentissage automatique avec docker (42) Programmation PyTorch pour l'apprentissage en profondeur par Ian Pointer