Construction d'un environnement d'analyse de données avec Docker (mémorandum personnel)

Créer un Dockerfile

Dockerfile


FROM ubuntu:latest
# -y répond oui au moment de l'installation et installe
RUN apt-get update && apt-get install -y \
#Utilisé lorsqu'un utilisateur autre que root veut taper une commande avec des privilèges root sur ubuntu
	sudo \
#Télécharger des données via http
	wget \
#Éditeur
	vim
#Où enregistrer l'installation anaconda
WORKDIR /opt
#Téléchargez l'installation anaconda.
RUN wget https://repo.continuum.io/archive/Anaconda3-2019.10-Linux-x86_64.sh

** apt-get ** est l'outil de gestion de paquets d'ubuntu, et si vous décrivez les paquets séparément par "", il est facile de comprendre ce qui est installé.

Construire un conteneur avec un Dockerfile

-#Cela téléchargera le package ubuntu et le programme d'installation anaconda dans le répertoire opt.
% docker build .
-#Démarrez le conteneur créé
% docker run -it ID du conteneur bash
-#"WORKDIR" est opt/Parce qu'il existe une spécification de "opt"
-#Assurez-vous d'avoir un installateur.
root@85a5e79aa6c2:/opt# ls
Anaconda3-2019.10-Linux-x86_64.sh
-#Exécution du programme d'installation
# sh Anaconda3-2019.10-Linux-x86_64.sh
  1. Appuyez longuement sur Entrée
  2. Répondez oui
  3. On vous demandera où l'installer, alors utilisez / opt / anaconda3
  4. On vous demandera si vous voulez initier (initialiser), alors répondez oui
  5. ** Si "Merci d'avoir installé Anaconda 3!" ** s'affiche, cela signifie qu'il a été téléchargé. Cependant, "python" ne peut pas être utilisé car il ne passe pas par le chemin **.

Passer un pass

En ajoutant le chemin à la variable d'environnement $ PATH, l'ordinateur recherchera le programme à partir de ce chemin.

Vérification des variables d'environnement

# echo $PATH
/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin

Trouver python

-#Déplacer vers le répertoire "anaconda3"
# cd anaconda3
-#Déplacer vers le répertoire "bin"
# cd bin
-#Lancez "python"
# ./python
-#Vérifiez le chemin
# pwd

Vous pouvez voir que Python a démarré. En d'autres termes, passer le chemin signifie passer "/ opt / anaconda3 / bin".

Traverser

-#Sortez de python.
>>> exit()
-#Ajouter un chemin(=Il n'y a pas d'espace demi-largeur des deux côtés de)
# Export PATH=/opt/anaconda3/bin:$PATH
-#Vérifiez le chemin
# echo $PATH
-#/opt/anaconda3/Vous pouvez voir que le bac a été ajouté.
/opt/anaconda3/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
-#Passer à "opt"
# cd /opt
-#Confirmation du démarrage de python
# python

En passant le chemin, vous pouvez voir que Python a également démarré dans le répertoire "opt".

Vérification des options de rouleaux d'instruments

-# sh -x fichier d'installation
# sh -x Anaconda3-2019.10-Linux-x86_64.sh

Anaconda2-2019.10-Linux-x86_64.sh montre les options disponibles, cette fois en utilisant ** - b ** et ** - p **. ** - b ** démarre en mode batch. Utilisé lors de l'utilisation dans Dockerfile. Évitez les opérations interactives. ** - p ** vaut par défaut ** "/ root / anaconda3" ** et peut être installé n'importe où en le spécifiant. Supprimez à nouveau "anaconda3" et vérifiez s'il peut être installé.

-#Retrait d'anaconda3
# rm -r anaconda3/
-#Téléchargez à partir du programme d'installation et créez anaconda3 dans le répertoire opt
# sh Anaconda3-2019.10-Linux-x86_64.sh -d -p /opt/anaconda3

Il peut être confirmé qu'il a été téléchargé sans aucune anomalie.

Mettre à jour Dockerfile

Dockerfile


FROM ubuntu:latest
RUN apt-get update && apt-get install -y \
    sudo \
    wget \
    vim
WORKDIR /opt
#------------Changer d'ici------------#
RUN wget https://repo.continuum.io/archive/Anaconda3-2019.10-Linux-x86_64.sh && \
#Téléchargez à partir du programme d'installation et créez anaconda3 dans le répertoire opt
    sh https://repo.continuum.io/archive/Anaconda3-2019.10-Linux-x86_64.sh -b -p /opt/anaconda3 && \
#Retirer le rouleau d'instrument
    rm -f Anaconda3-2019.10-Linux-x86_64.sh
#Traverser$PATH est l'auto-référence
ENV PATH /opt/anaconda3/bin:$PATH
#"Pip" est un outil de gestion des packages python
RUN pip install --upgrade pip
CMD [ "jupyter","lab","--ip=0.0.0.0","--allow-root","--LabApp.token=''" ]

Construire un conteneur avec un Dockerfile

% docker build .
% docker run -p 8888:8888 ID de conteneur créé

Cela lancera jupyterlab dans le conteneur et confirmera que vous pouvez vous connecter avec localhost: 8888.

Partage du système de fichiers

-#Créez un fichier à partager car il peut être n'importe où
% mkdir ds_python
-#Vérifiez le chemin du fichier partagé
% pwd
-#Le fichier partagé du conteneur est cette fois le répertoire "travail". Le nom du conteneur est "mon-lab」
% docker run -p 8888:8888 -v Chemin des fichiers à partager:/work --name my-nom de l'image créée par le laboratoire

Vérifiez auprès de localhost: 8888 et assurez-vous que le répertoire "work" est créé. Créez un fichier dans le répertoire de travail avec jupyterlab, vérifiez le contenu du fichier "ds_python" du côté hôte et confirmez que le fichier créé avec jupyterlab existe.

Recommended Posts

Construction d'un environnement d'analyse de données avec Docker (mémorandum personnel)
Gestion des données à l'aide du volume dans Docker (mémorandum personnel)
Construction de l'environnement de développement Django à l'aide de Docker-compose (mémorandum personnel)
Construction d'environnement de rails avec Docker (apocalypse personnelle)
Construire un pipeline CICD à l'aide de Docker (mémorandum personnel)
Créer un environnement Kaggle à l'aide de Docker officiel et de vscode
Construction de l'environnement Rails Docker
Docker Machine (Mémorandum personnel)
Réseau Docker (mémorandum personnel)
Mémo de construction de l'environnement MySQL 5.7 (Docker)
Mémo de construction de l'environnement Redmine (Docker)
[Docker] Construction de l'environnement Rails 5.2 avec docker
Construction de l'environnement Docker × Spring Boot
[Docker] postgres, construction de l'environnement pgadmin4
Création d'un hôte Docker sur AWS à l'aide de Docker Machine (mémorandum personnel)
Créer un environnement Node.js avec Docker Compose
Construction d'environnement avec Docker pour les débutants
Construction de l'environnement d'utilisation Laravel + Docker Laradock
Rails sur la procédure de construction de l'environnement Docker
[Construction de l'environnement avec Docker] Rails 6 et MySQL 8
Créez un environnement de "développement d'API + vérification d'API à l'aide de Swagger UI" avec Docker
Créez rapidement un environnement Web à l'aide de Docker
Apprentissage des instructions SQL ~ Construction de l'environnement ~ Docker + MySQL
[Traitement x Java] Création d'un environnement de développement
Lancer un conteneur docker sur EC2 (mémorandum personnel)
Construction de l'environnement de développement Laravel avec Docker (Mac)
Sapper × Go (écho) × Construction de l'environnement de développement Docker
Construction de l'environnement du serveur API Rails à l'aide de docker-compose
[Docker] Construction de l'environnement de développement Rails6 / Ruby2.7 / MySQL8
Mémorandum de construction de l'environnement Redmine (Scrum, Agile Plug-in)
Construction de l'environnement de développement Java Spring Boot + Docker
Construire un environnement pour Laravel + MySQL + phpMyadmin avec Docker
Mémorandum Docker
Créez instantanément un environnement Privoxy + Tor à l'aide de Docker
[Rails] Affichage des données de structure à plusieurs niveaux à l'aide de la boîte de sélection
Améliorer les performances de l'environnement de développement Docker
Création d'un environnement de développement à l'aide d'IntelliJ IDEA + Maven + Tomcat 9
[Note personnelle] Construction de l'environnement Ruby on Rails (Windows)
[Note] Construction de l'environnement Struts2 à l'aide de Gradle dans Eclipse
Méthode de construction de l'environnement et dépanneur au moment du développement conjoint (rails, docker et github)
Construction de l'environnement de keras et tensorflow, laboratoire de Jupyter par docker et connexion à Jupyter par redirection de port
Gestion des données à l'aide du volume dans Docker (mémorandum personnel)
Construction d'un environnement d'analyse de données avec Docker (mémorandum personnel)
Construire un pipeline CICD à l'aide de Docker (mémorandum personnel)
Docker Machine (Mémorandum personnel)
Réseau Docker (mémorandum personnel)
Création d'un hôte Docker sur AWS à l'aide de Docker Machine (mémorandum personnel)
Lancer un conteneur docker sur EC2 (mémorandum personnel)
Manuel Docker Compact (2: Montage et persistance des données)
Mémorandum Docker
Créer un environnement Kaggle à l'aide de Docker officiel et de vscode
Construction de l'environnement de développement Django à l'aide de Docker-compose (mémorandum personnel)