Installer Scrapy dans l'environnement Python Anaconda

introduction

J'ai pensé à gratter facilement avec python et j'ai décidé d'utiliser scrapy, mais lequel dois-je utiliser pour configurer python en premier lieu? J'étais inquiet à ce sujet et le scrapy ne fonctionnait pas correctement, donc je suis resté coincé dans certains cas, alors j'écrirai un mémo sur la solution.

politique

Il existe divers outils dans le package et l'environnement python, et je me demande lequel utiliser. J'ai choisi l'environnement suivant parce que je veux définir l'environnement simplement avec le moins d'outils possible.

pyenv + anaconda

Utilisez pyenv pour le contrôle de version python et conda, un outil anaconda, pour la gestion des packages et de l'environnement virtuel. Les articles suivants ont été très utiles pour cette sélection.

Création d'un environnement python pour ceux qui souhaitent devenir des data scientists 2016

Environnement système

Actuellement, je n'utilise Mac que pour le développement, donc cet article est uniquement pour Mac (OSX).

installation de python

Mac est livré avec python 2.x en standard, mais il semble que la mise à jour conviendra, alors laissez le système python tel quel et installez le python que vous souhaitez utiliser séparément avec pyenv. De plus, il est peu probable que vous utilisiez rarement les différentes bibliothèques de python, il est donc pratique d'utiliser anaconda, qui est un paquet de bibliothèques principales. Si l'anaconda est trop gros, il y a aussi une miniconda minimale.

Installez pyenv

Il est dit que l'installation d'anaconda directement sur Mac sera en conflit avec homebrew (voir l'article ci-dessus), il est donc préférable d'utiliser pyenv, et divers packages autres que anaconda peuvent être facilement utilisés.

Tout d'abord, utilisez homebrew pour installer pyenv.

$ brew install pyenv
$ echo 'export PYENV_ROOT="${HOME}/.pyenv"' >> ~/.bash_profile
$ echo 'export PATH="${PYENV_ROOT}/bin:$PATH"' >> ~/.bash_profile
$ echo 'eval "$(pyenv init -)"' >> ~/.bash_profile

$ exec $SHELL -l

Installation d'Anaconda

Les packages qui peuvent être installés avec pyenv

$ pyenv install -l

Vous pouvez le voir sur. Pour anaconda, pour le moment, les dernières versions de python2 et python3 sont

  anaconda2-4.3.0
  anaconda3-4.3.0

Il est devenu. Ici, installez anaconda3-4.3.0.

$ pyenv install anaconda3-4.3.0

L'installation prend beaucoup de temps, alors prenez une pause-café.

Paramètres Anaconda

La commande ci-dessus seule ne vous permettra pas d'utiliser le python installé (anaconda). Pour pouvoir l'utiliser à l'échelle du système

$ pyenv global anaconda3-4.3.0

ça ira. Vous pouvez vérifier les paramètres actuels avec la commande suivante.

$ pyenv version
anaconda3-4.3.0 (set by /Users/tetsuo/.pyenv/version)

Vous pouvez également voir les packages python (gérés par pyenv) téléchargés sur votre Mac.

$ pyenv versions
  system
  3.6.0
* anaconda3-4.3.0 (set by /Users/tetsuo/.pyenv/version)

ça ira. Si vous démarrez python dans cet état,

$ python
Python 3.6.0 |Anaconda 4.3.0 (x86_64)| (default, Dec 23 2016, 13:19:00)
[GCC 4.2.1 Compatible Apple LLVM 6.0 (clang-600.0.57)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>>

Et vous pouvez voir que python3 du package Anaconda fonctionne.

Installation grasse

Vous pouvez afficher la liste des bibliothèques installées par Anaconda avec la commande suivante.

$ conda list
# packages in environment at /Users/tetsuo/.pyenv/versions/anaconda3-4.3.0:
#
_license                  1.1                      py36_1
alabaster                 0.7.9                    py36_0
anaconda                  4.3.0               np111py36_0
anaconda-client           1.6.0                    py36_0
anaconda-navigator        1.4.3                    py36_0
appnope                   0.1.0                    py36_0
  |

Malheureusement, scrapy n'est pas installé, alors installez-le séparément. Installation grasse Normalement, pip est utilisé, mais comme je veux le gérer avec conda, installez-le avec conda au lieu de pip. Tout d'abord, vérifiez si conda a de la tremblante.

$ conda search scrapy
Fetching package metadata .........
scrapy                       0.16.4                   py26_0  defaults
                             0.16.4                   py27_0  defaults
                             0.24.4                   py27_0  defaults
                             1.0.1                    py27_0  defaults
                             1.0.3                    py27_0  defaults
                             1.1.1                    py27_0  defaults
                             1.1.1                    py34_0  defaults
                             1.1.1                    py35_0  defaults
                             1.1.1                    py36_0  defaults

Comme scrapy est également enregistré, vous pouvez l'installer avec conda. Cependant, lorsque vous installez la dernière version de scrapy, la dernière version de la bibliothèque torsadée utilisée en interne sera également installée. Mais un bug tremblant? Donc, si vous utilisez twisted après la version 16.6, lors du scraping

TypeError: 'float' object is not iterable

Et arrêtez. Référence TypeError: l'objet 'float' n'est pas itérable (sur Twisted dev + Scrapy dev) Par conséquent, lorsque vous installez scrapy, vous spécifiez également la version torsadée (vous pouvez également savoir quelle version torsadée vous pouvez utiliser avec conda search twisted` ``).

$ conda install scrapy twisted=16.6.0

Vous avez maintenant également installé scrapy.

$ scrapy version
Scrapy 1.1.1

finalement

Maintenant vous avez un environnement qui utilise python et scrapy avec juste pyenv et anaconda. Lorsque j'utilise python de temps en temps, je ne me souviens pas comment utiliser de nombreux outils et il faut du temps pour me souvenir de l'environnement. En outre, les paramètres globaux du système sont nécessaires pour utiliser les fonctions de support de programmes tels que linter dans l'éditeur. J'ai donc recherché une méthode qui puisse être facilement construite avec le moins d'outils possible et créé un environnement capable de tout gérer, de la gestion de version de python aux environnements virtuels avec seulement deux outils, pyenv et conda. Désormais, la fonction support de l'éditeur fonctionne sans aucun problème.

Cependant, lors de l'utilisation de l'environnement virtuel de conda, il y a un problème que la commande activate entre en conflit avec pyenv et ne fonctionne pas. Ceci est également facile à résoudre, donc je suis satisfait de cet environnement pour le moment. Référence 3 types de solutions de contournement pour activer le problème de collision lorsque pyenv et anaconda coexistent

Recommended Posts

Installer Scrapy dans l'environnement Python Anaconda
installer tensorflow dans un environnement anaconda + python3.5
Installer l'environnement Python avec Anaconda
Python 3.3 avec Anaconda
Installez Scrapy sur python3
environnement virtuel en Python
Environnement de développement en Python
Installez le package python dans un environnement hors ligne
Installez Python 3.5.1 + numpy + scipy + α dans l'environnement Windows
Utiliser Python dans un environnement Anaconda avec VS Code
Construction de l'environnement Python + Anaconda + Pycharm
Utiliser Anaconda dans un environnement pyenv
Gérer les variables d'environnement en Python
Installation de Pip dans un environnement proxy
Procédure de construction de l'environnement python Anaconda3
Installation de Python en 2 lignes @Windows
Procédure d'installation de TensorFlow dans un environnement de coquille de poisson (Anaconda 4.0.0)
[Pour les débutants] Installez le package dans l'environnement Anaconda (Janome)
Comment installer Python à l'aide d'Anaconda
Construction de l'environnement Anaconda Python sous Windows 10
installation de python2.7 dans un environnement Windows 32 bits
Installez Python 3.7 Anaconda sur MAC, mais Python 2
Divers paramètres Anaconda dans l'environnement Windows 10
Construction d'environnement Python (pyenv, anaconda, tensorflow)
Windows10: Installation de la bibliothèque MeCab pour python
Scikit-learn ne peut pas être installé en Python
Installer l'environnement de développement Python sur Windows 10
Installez CaboCha dans l'environnement Ubuntu et appelez-le avec Python.
Construction de l'environnement Python3.6 (à l'aide de l'environnement Win Anaconda)
Que diriez-vous d'Anaconda pour créer un environnement d'apprentissage automatique avec Python?
Installer Networkx dans l'environnement Python 3.7 pour une utilisation dans les livres de science des données sur les logiciels malveillants
Jupyter Notebook 6.0.2 ne peut pas être installé dans l'environnement Python 2.7 créé dans Anaconda
Installer Django dans l'environnement virtuel pipenv
[Python] Création d'un environnement avec Anaconda [Mac]
Procédure de construction de l'environnement de développement Python (anaconda) (SpringToolsSuites) _2020.4
Changer l'environnement Python 64 bits en environnement 32 bits avec Anaconda
Installez Pyaudio pour lire des vagues en python
Méthode pour créer un environnement Python dans Xcode 6
[Python] Créez un environnement virtuel avec Anaconda
Étapes pour installer l'environnement Python sur Ubuntu
Le résultat de l'installation de python sur Anaconda
Créer un environnement Python avec Anaconda sur Mac
Pour référencer des variables d'environnement en Python dans Blender
Installez Python3 en utilisant pythonz sous l'environnement macports
Gérer les packages python à installer dans des conteneurs
Comment ajouter un module python à l'environnement anaconda
Installez rJava sur Linux dans un environnement R3.6.
Créer un environnement virtuel dans un environnement Anaconda
Installer CaboCha dans un environnement non-Anaconda (Win)
Caractères Python déformés dans l'environnement Windows + Git Bash
Installez le module Python dans n'importe quel répertoire
Installez le package dans un environnement hors ligne
Introduction de sip-4.14 dans l'environnement python3.2.2 avec MacOS 10.7.4
Pourquoi ne puis-je pas installer matplotlib avec python! !!
Python en optimisation
CURL en Python
Métaprogrammation avec Python
Géocodage en python