Pensez à l'environnement d'analyse (Partie 3: Installer pyenv + Anaconda [Python, R] + jupyter + Rstudio)

Préface

-Suite de Réflexion sur l'environnement d'analyse (Partie 2: Construction d'un environnement virtuel avec VirtualBox + vagrant) --Description supposant l'installation à l'aide de vagrant dans l'environnement VirtualBox

Construction de l'environnement de flux d'analyse

――Nous allons construire un environnement virtuel selon le flux suivant

environnement

• OS hôte: Windows7 (64 bits)
• OS invité: Ubuntu14.04 (64 bits)

Installer un logiciel

Logiciel cible

• pyenv1.0.6
• Anaconda4.2.0
  • Python2.7.12
  • Python3.5.2
  • R3.3.2
• Rstudio Server1.0.136(64bit)

Comment installer

• Fourniture avec Vagrant

Précautions lors de l'écriture de SHELL pour l'approvisionnement avec Vagrant * J'ai été foiré

Lorsqu'il est provisionné avec Vagrant, il s'exécute en tant que root par défaut

--Peut être désactivé avec "privilégié: faux" --Bien sûr, si l'exécution root est activée, le répertoire personnel sera "/ root".

Ubuntu "#! / Bin / sh" ne peut pas exécuter la commande "source"

• L'état réel du shell Ubuntu est un shell appelé Dash, et Dash n'a pas de commande "source". --Utilisez "." Au lieu de "source" * Référence: Ubuntu wiki
• Si vous spécifiez l'interpréteur comme "#! / Bin / bash", vous pouvez utiliser la commande "source".

"Source ~ / .bashrc" n'est pas possible

--Le vagrant-shell exécuté par Vagrant n'est pas interactif, et le bashrc ne peut pas être lu à nouveau pendant que le shell est en cours d'exécution.

• Il y avait des moyens de rendre cela possible sur le net, mais je ne pouvais pas. --Utilisez ceci car ".profile" peut être lu à nouveau

Script de provisionnement

Commande de configuration initiale au moment de l'installation du système d'exploitation

• Recherchez sur le net et installez ce dont vous pensez avoir besoin

provision_libs.sh

#!/bin/bash

#Mettre à jour la liste des packages
apt-get update

#Mise à jour des packages installés
apt-get upgrade

#installer vim
apt-get install -y vim

#Installer git
apt-get install -y git

#Installer des outils de développement tels que gcc
apt-get install -y build-essential

#installation de openssl
apt-get install libcurl4-openssl-dev

#paramètre de démarrage automatique de jupyter(Utiliser Upstart)
echo -e '
start on runlevel [2345]
stop on runlevel [!2345]
expect fork
respawn
# run the server
exec `su vagrant -c "/home/vagrant/.pyenv/versions/anaconda3-4.2.0/bin/jupyter-notebook"`
' > /etc/init/jupyter-notebook.conf

#Paramètre de démarrage automatique de pgadmin4
sed -i -e '13s/^/\nsu - vagrant -c \"python \/home\/vagrant\/.pyenv\/versions\/anaconda3-4.2.0\/lib\/python3.5\/site-packages\/pgadmin4\/pgAdmin4.py\"\n/g' /etc/rc.local

Installation d'Anaconda

--Installez Python et R en utilisant Anaconda --Utilisez pyenv pour installer Anaconda --Utilisez conda pour la gestion des packages et la gestion de l'environnement virtuel --jupyter-notebook est configuré pour démarrer automatiquement lorsque le système d'exploitation invité commence à utiliser Upstart

• Le code est décrit dans provision_libs.sh --Définissez l'environnement virtuel à refléter dans jupyter

• J'ai envisagé d'installer R autre que conda, mais j'ai trébuché en coopération avec jupyter, donc je l'ai installé avec conda (j'ai du mal à installer des paquets sur le net, mais j'ai pu installer sans problème avec les commandes résumées dans le tableau ci-dessous) --L'installation R spécifie un paquet appelé "r-essentials", qui contient plus de 80 paquets couramment utilisés pour la science des données (l'installation ici prend du temps).

mémo de commande conda

provision_anaconda.sh

#!/bin/bash

# =====================
#installation pyenv
# =====================
git clone https://github.com/yyuu/pyenv.git /home/vagrant/.pyenv
echo 'export PYENV_ROOT="/home/vagrant/.pyenv"' >> /home/vagrant/.profile
echo 'export PATH="$PYENV_ROOT/bin:$PATH"' >> /home/vagrant/.profile
echo 'eval "$(pyenv init -)"' >> /home/vagrant/.profile
source /home/vagrant/.profile

#Vérifiez la version d'Anaconda
# pyenv install -l | grep anaconda2
# pyenv install -l | grep anaconda3

# =====================
#Installez Anaconda
# =====================
#Installation
pyenv install anaconda3-4.2.0
pyenv rehash
pyenv global anaconda3-4.2.0

#Paramètres de passe Anaconda
echo 'export PATH="$PYENV_ROOT/versions/anaconda3-4.2.0/bin/:$PATH"' >> /home/vagrant/.profile
source /home/vagrant/.profile

# =====================
#Créer un environnement virtuel pour python avec conda
# =====================
conda create -n py27 python=2.7 anaconda

#Définition du chemin python pour l'environnement virtuel
#Pour python2
echo 'alias py2="source $PYENV_ROOT/versions/anaconda3-4.2.0/bin/activate py27"' >> /home/vagrant/.profile
#Pour revenir à python3
echo 'alias py3="source $PYENV_ROOT/versions/anaconda3-4.2.0/bin/deactivate"' >> /home/vagrant/.profile
source /home/vagrant/.profile

# =====================
#paramètres Jupyter
# =====================
#Créer le fichier de configuration jupyter
jupyter notebook --generate-config

#Créer un répertoire de travail
mkdir /home/vagrant/jupyter

#Un package qui reflète l'environnement virtuel dans jupyter
pip install environment_kernels

#Modifier le fichier de configuration
echo "c = get_config()" >> /home/vagrant/.jupyter/jupyter_notebook_config.py
echo "c.NotebookApp.ip = '*'" >> /home/vagrant/.jupyter/jupyter_notebook_config.py
echo "c.NotebookApp.open_browser = False" >> /home/vagrant/.jupyter/jupyter_notebook_config.py
echo "c.NotebookApp.notebook_dir = '/home/vagrant/jupyter'" >> /home/vagrant/.jupyter/jupyter_notebook_config.py
echo "c.NotebookApp.kernel_spec_manager_class = 'environment_kernels.EnvironmentKernelSpecManager'" >> /home/vagrant/.jupyter/jupyter_notebook_config.py
echo "c.EnvironmentKernelSpecManager.env_dirs=['/home/vagrant/.pyenv/versions/anaconda3-4.2.0/envs/']" >> /home/vagrant/.jupyter/jupyter_notebook_config.py

# =====================
#Créer un environnement R avec conda
# =====================
#Installer R (bibliothèque minimale)
#conda install -c r r
#Installer R (bibliothèque requise pour la science des données)
conda install -c r r-essentials

#Créer un dossier de travail
mkdir /home/vagrant/R

#Modifiez les paramètres par défaut du répertoire de travail ("."Profil R" est un fichier lu au démarrage de R)
echo "setwd('/home/vagrant/R')" >> /home/vagrant/.Rprofile

# download.file.Changez de méthode en wget * Si vous ne le faites pas, vous ne pourrez pas accéder à Internet sur Rstudio(install.paquets etc.)
echo "options('download.file.method'='wget')" >> /home/vagrant/.Rprofile

#Requis pour afficher tracé en utilisant R dans jupyter
conda install -y nbconvert
sudo apt-get install -y pandoc

#Réglage du chemin R
sudo ln -s $(which R) /usr/bin/R

Installation du serveur Rstudio

-Dans le cas de Rstudio official, "gdebi" est utilisé, mais Vagrant-shell n'a pas pu l'exécuter correctement, donc "dpkg" est utilisé. utilisation --Rstudio Server démarre automatiquement lorsque le système d'exploitation invité démarre avec les paramètres par défaut.

provision_rstudioserver.sh

#!/bin/bash

# rstudio-installation du serveur
wget https://download2.rstudio.org/rstudio-server-1.0.136-amd64.deb
sudo dpkg -i rstudio-server-1.0.136-amd64.deb
rm rstudio-server-1.0.136-amd64.deb

Vérifier la connexion

** * Vous devez pouvoir redémarrer le système d'exploitation invité pour vous connecter **

juypter

• Entrez l'adresse ci-dessous pour afficher l'écran URL：http://192.168.33.10:8888/

Rstudio server

• Entrez l'adresse ci-dessous pour afficher l'écran URL：http://192.168.33.10:8787/

• Entrez le compte suivant et connectez-vous

référence

• https://www.continuum.io/blog/developer/jupyter-and-conda-r
• http://qiita.com/ozawan/items/160728f7c6b10c73b97e
• http://qiita.com/y__sama/items/5b62d31cb7e6ed50f02c
• http://qiita.com/masato/items/dce7bac5b0c51489c93b
• https://www.rstudio.com/products/rstudio/download-server/
• https://support.rstudio.com/hc/en-us/articles/200486138-Using-Different-Versions-of-R