Scrapy-Redis est recommandé pour l'exploration d'un grand nombre de domaines

Scrapy-Redis

https://github.com/rolando/scrapy-redis

pip install scrapy_redis

Et remplacez simplement les paramètres de base.

Avantages de l'introduction

Selon le réglage, Scrapy peut parcourir environ 1000 pages / minute avec 1 cœur (100% du processeur peut être consommé). En utilisant Scrapy-Redis, vous pouvez analyser le nombre de cœurs * 1000 pages / minute.

Recommended Posts

Scrapy-Redis est recommandé pour l'exploration d'un grand nombre de domaines
Connectez un grand nombre de vidéos ensemble!
Traitement ETL pour un grand nombre de fichiers GTFS Realtime (édition Python)
Téléchargez un grand nombre d'images sur Wordpress
Organisez un grand nombre de fichiers dans des dossiers
Accélérez un grand nombre de requêtes simples dans MySQL
[Python] Générer de manière aléatoire un grand nombre de noms de personne en anglais
L'exécution d'un grand nombre de Python3 Executor.submit peut consommer beaucoup de mémoire.
TensorFlow Pour apprendre d'un grand nombre d'images ... ~ (presque) solution ~
Convertissez un grand nombre de fichiers PDF en fichiers texte à l'aide de pdfminer
[Exemple d'amélioration de Python] Quel est le site d'apprentissage recommandé pour les débutants en Python?
TensorFlow Pour apprendre d'un grand nombre d'images ... (Problème non résolu) → 12/18 Résolu
Nombre moyen maximum de visiteurs quotidiens (grand)
Inject est recommandé pour DDD en Python
Impressions d'utilisation de Flask pendant un mois
[python] [meta] Le type de python est-il un type?
One-liner qui crée un grand nombre de fichiers de test à la fois sous Linux