[DOCKER] Créer un environnement d'apprentissage automatique Python avec des conteneurs

Créer un environnement d'apprentissage automatique Python avec des conteneurs

Créez un environnement d'apprentissage automatique Python sur votre ordinateur portable avec un conteneur.

Cette fois, nous allons créer un conteneur qui peut utiliser fastText et Python3 principalement comme environnement d'apprentissage automatique basé sur du texte.

image

Edit

travail

https://qiita.com/penpenta/items/3b7a0f1e27bbab56a95f

environnement

Lancer l'image du conteneur de base

Tout d'abord, démarrez l'image du conteneur de base. La commande execute ici doit être la même que la commande pour exécuter l'image de conteneur construite. Cette fois, nous utiliserons l'image CentOS pour créer fastText à l'intérieur du conteneur.

  1. Exécutez la commande de base avec la commande suivante.
docker run -it -v /c/temp/data:/data --rm centos:centos8 /bin/bash

Installez et vérifiez petit à petit ce dont vous avez besoin

Vous pouvez créer avec Dockerfile depuis le début, mais vous pouvez obtenir une erreur d'installation. Ce travail est effectué pour vérifier progressivement l'environnement.

Construction Python installation-fastText

  1. Exécutez la commande suivante. * Attendez un moment avec "Exécution de setup.py install pour fasttext ..." après avoir exécuté pip3 install.
dnf -y install python36
yum install -y git make gcc gcc-c++
yum install -y python36-devel
cd /usr/local/src
git clone https://github.com/facebookresearch/fastText.git
cd fastText
pip3 install .
  1. Vérifiez s'il peut être importé en tant que package python. Exécutez la commande suivante et s'il n'y a pas d'erreur, c'est OK.
python3
import fasttext
exit()

  1. Enregistrez le conteneur sur lequel vous avez travaillé avec l'exportation de docker. À partir de la prochaine fois, vous pouvez continuer à travailler à partir d'ici avec l'importation de docker.
docker export {ID de l'image} > {nom de fichier}.tar

Installer le package d'apprentissage automatique

Installez le package standard.

  1. Exécutez la commande suivante.
pip3 install numpy pandas matplotlib scikit-learn

Installer le package de traitement japonais

Installez les packages requis pour le traitement japonais. Le dictionnaire n'est pas obligatoire, vous pouvez donc l'ignorer.

  1. Exécutez la commande suivante.
rpm -ivh http://packages.groonga.org/centos/groonga-release-1.1.0-1.noarch.rpm
yum -y makecache
yum -y install mecab mecab-ipadic
yum -y install --nogpgcheck mecab-devel
pip3 install mecab-python3 neologdn emoji
  1. Installez le dictionnaire (patch diffutils dont le fichier openssl est requis pour le script d'installation et sera installé.)
yum install -y diffutils patch which file openssl

cd /usr/local/src
git clone --depth 1 https://github.com/neologd/mecab-ipadic-neologd.git
cd mecab-ipadic-neologd
./bin/install-mecab-ipadic-neologd -n -y

Environnement d'exportation

Cette fois, je veux l'utiliser pour un usage personnel et toujours utiliser une nouvelle version de package, donc j'exporterai l'environnement vers le Dockerfile de travail jusqu'à présent.

Dockerfile

FROM centos:centos8

SHELL ["/bin/bash", "-c"]
#Python Install

RUN dnf -y install python36

#fastText Build

RUN yum install -y git make gcc gcc-c++
RUN yum install -y python36-devel
WORKDIR /usr/local/src
RUN git clone https://github.com/facebookresearch/fastText.git
WORKDIR /usr/local/src/fastText
RUN pip3 install .

#Install Python Package
RUN pip3 install numpy pandas matplotlib scikit-learn
RUN rpm -ivh http://packages.groonga.org/centos/groonga-release-1.1.0-1.noarch.rpm
RUN yum -y makecache
RUN yum -y install --nogpgcheck mecab mecab-ipadic mecab-devel
RUN pip3 install mecab-python3 neologdn emoji

#Install Mecab Dictionary

# RUN yum install -y diffutils patch which file openssl
# 
# WORKDIR /usr/local/src
# RUN git clone --depth 1 https://github.com/neologd/mecab-ipadic-neologd.git
# WORKDIR /usr/local/src/mecab-ipadic-neologd
# RUN ./bin/install-mecab-ipadic-neologd -n -y

Confirmation de construction et de démarrage

  1. Construisez à l'aide du Dockerfile.
docker build -t fasttext/centos8:v1.0 .
  1. Confirmez qu'il peut être démarré avec la commande suivante.
docker run -it -v /c/temp/data:/data --rm fasttext/centos8:v1.0 /bin/bash

Résumé

En suivant les étapes ci-dessous, vous avez créé un environnement d'apprentissage automatique Python dans un conteneur sur votre ordinateur portable.

  1. Lancez l'image du conteneur de base
  2. Installez et vérifiez petit à petit ce dont vous avez besoin
  3. Exportez l'image du conteneur

Avec le travail à distance, il n'était pas possible de toujours se connecter au VPN interne, et le travail de développement sur le serveur de développement était difficile, mais cet environnement l'a résolu.

Comme il faut du temps pour apprendre sur un ordinateur portable, il existe des problèmes tels que «les ressources sont occupées pour l'apprentissage» et «ne peut pas s'arrêter», mais si le même conteneur est préparé à l'avance sur le serveur de développement, «moins sur un ordinateur portable» Il peut être résolu en suivant la procédure de "Vérifier le fonctionnement avec l'époque → Augmenter l'époque sur le serveur de développement et apprendre". Il est également possible d'accroche le commit du code source et d'exécuter automatiquement l'apprentissage sur le serveur de développement. Je vais résumer l'article séparément à ce sujet.

Recommended Posts

Créer un environnement d'apprentissage automatique Python avec des conteneurs
Créer un environnement de développement d'applications d'apprentissage automatique avec Python
Créer un environnement d'apprentissage automatique
Créer un environnement Python d'apprentissage automatique sur Mac OS
Créer un environnement d'étude d'apprentissage automatique Python avec macOS Sierra
Créez un environnement d'apprentissage automatique scikit-learn avec VirtualBox et Ubuntu
Créez un environnement virtuel pour python avec pyenv
Créez un environnement Python moderne avec Neovim
Création d'un environnement Windows 7 pour une introduction à l'apprentissage automatique avec Python
Créer un environnement de développement de langage C avec un conteneur
Créez un environnement python avec ansible sur centos6
[Python] Créer un environnement de développement Django avec Docker
Construire un environnement Python avec OSX Elcapitan
Créer un environnement d'exécution python avec VS Code
Créer un environnement python3 avec ubuntu 16.04
Construire un environnement python avec direnv
Créer un environnement Python hors ligne
Commencer avec l'apprentissage automatique Python
Créez un environnement interactif pour l'apprentissage automatique avec Python
Exécutez un pipeline de machine learning avec Cloud Dataflow (Python)
Créez un environnement virtuel python avec virtualenv et virtualenvwrapper
Mémo de construction d'environnement d'apprentissage automatique par Python
Créez un environnement d'apprentissage automatique à partir de zéro avec Winsows 10
Windows10 (x64) Créer nativement un environnement d'apprentissage automatique
Apprentissage automatique par python (1) Classification générale
Construire un environnement Mysql + Python avec docker
Créez un environnement virtuel avec Python!
Créer un environnement virtuel avec Python 3
Créer un environnement python3 sur CentOS7
Mémo d'apprentissage "Scraping & Machine Learning avec Python"
Créer un environnement d'apprentissage automatique sur Mac (pyenv, deeplearning, opencv)
Créer un environnement d'apprentissage automatique à l'aide de Python sur MacOSX
(Maintenant) Construisez un environnement GPU Deep Learning avec GeForce GTX 960
[Django] Créez rapidement un environnement de développement de conteneur Django (Docker) avec PyCharm
Comment créer un environnement de développement de la série Python2.7 avec Vagrant
Paramètres d'environnement d'apprentissage automatique basés sur Python3 sur Mac (coexistence avec Python2)
Créer un environnement PyData pour une session d'étude sur l'apprentissage automatique (janvier 2017)
Créer un environnement Python avec WSL + Pyenv + Jupyter + VSCode
Jusqu'à ce que vous créiez un environnement d'apprentissage automatique avec Python sur Windows 7 et que vous l'exécutiez
J'ai essayé de créer un environnement d'apprentissage automatique avec Python (Mac OS X)
[Pyenv] Construire un environnement python avec ubuntu 16.04
Mémo d'étude Python & Machine Learning: Préparation de l'environnement
Créez facilement un environnement de développement avec Laragon
Créer un environnement Jupyter Lab (Python) avec Docker
Amplifiez les images pour l'apprentissage automatique avec Python
Construire un environnement python sur MacOS (Catallina)
Créer un environnement Tensorflow avec Raspberry Pi [2020]
Apprentissage automatique avec python (2) Analyse de régression simple
Une histoire sur l'apprentissage automatique avec Kyasuket
Création d'un environnement Python 3.6 avec Windows + PowerShell
Je veux créer un environnement Python
Créez un environnement d'API rapide avec docker-compose
[Shakyo] Rencontre avec Python pour l'apprentissage automatique
Créer un environnement Python avec Anaconda sur Mac
Créer un environnement pour Python et l'apprentissage automatique (macOS)
Créer un environnement Python + OpenCV sur Cloud9
Créer un environnement de développement pour l'apprentissage automatique
[Linux] Construction de l'environnement Docker avec Amazon Linux 2