Je participais à un projet d'amélioration des opérations grâce à la RPA ... L'outil RPA était ** trop cher (7,2 millions de yens / an) **, je l'ai donc remplacé par python. C'est un résumé des travaux à l'époque.
--Connectez-vous à un certain site, téléchargez les résultats de la recherche avec «mot spécifique» et obtenez les données.
--ReCAPTCHA est installé sur ce site spécifique lorsque vous vous connectez (!) --AnglarJS est utilisé sur ce site particulier
Quand j'ai écrit seulement la conclusion (bien que j'aie fait beaucoup d'essais et d'erreurs), c'est devenu comme suit. C'était assez difficile ...
Story
Nous l'avons développé selon le flux suivant.
Je pense que je vais diviser Qiita sur chaque page.
Tout d'abord, construisez un environnement python normal!
Cette fois, nous utiliserons python3.6.3
. Le terminal est le "bash" par défaut.
Étant donné que je souhaite utiliser plusieurs versions de python à l'avenir, je vais créer un environnement python dédié en utilisant pyenv
et pyenv-virtualenv
.
git clone https://github.com/pyenv/pyenv.git ~/.pyenv
echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.bash_profile
echo 'export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.bash_profile
echo -e 'if command -v pyenv 1>/dev/null 2>&1; then\n eval "$(pyenv init -)"\nfi' >> ~/.bash_profile
Ensuite, installez python3.6
pyenv install 3.6.3
Je ne sais pas si c'est nécessaire, mais quelqu'un a dit que c'était bien, alors j'inclurai également pyenv-virtualenv.
git clone https://github.com/pyenv/pyenv-virtualenv.git $(pyenv root)/plugins/pyenv-virtualenv
echo 'eval "$(pyenv virtualenv-init -)"' >> ~/.bash_profile
Et créez une virtualenv pour cette fois.
pyenv virtualenv 3.6.3 myproject
Préparez le répertoire à utiliser pour ce projet. (Bien que j'aie réellement changé cela par essais et erreurs)
mkdir myproject
cd myproject
pyenv local myproject
Sous ce myproject
, préparez les dossiers et fichiers comme indiqué ci-dessous.
├── app
│ ├── pilotes sélénium Place pilotes
│ └── source
│ └── scraping.traitement py
└── tmp
├── files
│ └── télécharger Placez le fichier téléchargé en grattant
└── enregistre les journaux(journal de sélénium, etc.)
Cliquez ici pour plus d'informations. https://qiita.com/kamyu1201@github/items/a07c7d175c051b8ab4c0
Recommended Posts