Ceci est un mémo pour créer un environnement de développement pour lire les livres suivants.
Livre: Techniques de développement de scraping et d'apprentissage automatique avec Python http://www.socym.co.jp/book/1079
Tout d'abord, installez le gestionnaire de paquets "Homebrew" pour Mac OS X. http://brew.sh/index_ja.html
$ /usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
Sur le chemin, entrez le mot de passe sudo.
pyenv
Ensuite, installez le gestionnaire de version Python "pyenv".
Vous pouvez modifier l'environnement (packages installés) pour chaque version de Python.
$ brew install pyenv
Définissez les variables d'environnement.
$ echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.profile
$ echo 'export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.profile
$ echo 'eval "$(pyenv init -)"' >> ~/.profile
$ . ~/.profile
Vérifiez les versions et les packages qui peuvent être installés à l'aide de pyenv.
$ pyenv install --list
Installez la dernière version de Python 3.6.0 et anaconda 3-4.2.0.
$ pyenv install 3.6.0
$ pyenv install anaconda3-4.2.0
Vérifiez la version installée.
$ pyenv versions
Changez de version comme suit. (Changez global en local si vous souhaitez appliquer uniquement à un répertoire spécifique)
(python3.6.Passer à 0)
$ pyenv global 3.6.0
$ pyenv rehash
$ python --version
Python 3.6.0
$ pyenv versions
system
* 3.6.0 (set by /Users/hisashi/.pyenv/version)
anaconda3-4.2.0
(anaconda3-4.2.Passer à 0)
$ pyenv global anaconda3-4.2.0
$ pyenv rehash
$ python --version
Python 3.5.2 :: Anaconda 4.2.0 (x86_64)
$ pyenv versions
system
3.6.0
* anaconda3-4.2.0 (set by /Users/hisashi/.pyenv/version)
La gestion des paquets Python se fait avec "pip". De plus, la gestion des paquets Anaconda est effectuée par "conda" et "pip".
Je pense qu'Atom est un bon éditeur. https://atom.io
Il s'agit d'un paramètre de scraping via un navigateur (Chapitre 2, Section 2). Nous utiliserons "anaconda 3-4.2.0" qui est souvent utilisé dans l'apprentissage automatique.
$ pyenv global anaconda3-4.2.0
$ pyenv rehash
Le livre présente la construction de l'environnement avec Ubuntu + docker, mais avec MacOSX, vous pouvez créer l'environnement comme suit.
$ brew install phantomjs
$ pip install selenium
$ pip install beautifulsoup4
Je continuerai à utiliser "anaconda 3-4.2.0".
Dans le livre, la commande suivante est décrite, mais une erreur se produit et elle s'arrête à mi-chemin.
$ pip install --upgrade https://storage.googleapis.com/tensorflow/mac/cpu/tensorflow-0.12.1-py3-none-any.whl
Vous devez ajouter l'option "-I setup tools" pour éviter les erreurs. http://datalove.hatenadiary.jp/entry/python/anaconda/install-tensorflow-into-anaconda-environment
$ pip install --upgrade -I setuptools https://storage.googleapis.com/tensorflow/mac/cpu/tensorflow-0.12.1-py3-none-any.whl
Recommended Posts