Comment obtenir une liste de liens à partir d'une page de wikipedia

[Web scraping avec Python](https://www.amazon.co.jp/Python%E3%81%AB%E3%82%88%E3%82%8BWeb%E3%82%B9%E3%82%AF % E3% 83% AC% E3% 82% A4% E3% 83% 94% E3% 83% B3% E3% 82% B0-Ryan-Mitchell / dp / 4873117615). Dans celui-ci, récupérez le lien contenu dans l'article de la page Wikipédia. L'exemple de ce livre semble être une page en anglais, donc je l'ai un peu amélioré pour Wikipedia japonais.

Environnement d'exécution

OS:OX X EI Capitan(10.11.5) Python:3.5.1

#codeing:utf-8

import re
from bs4 import BeautifulSoup
from urllib.request import urlopen
from urllib.parse import unquote

url = "https://ja.wikipedia.org/wiki/%E3%83%86%E3%82%A4%E3%83%AB%E3%82%BA_%E3%82%AA%E3%83%96_%E3%82%A4%E3%83%8E%E3%82%BB%E3%83%B3%E3%82%B9"

html = urlopen(url)
bsObj = BeautifulSoup(html,'html.parser')

pattern = re.compile("^(/wiki/)((?!:).)*$")

for link in bsObj.find('div',{'id':'bodyContent'}).findAll('a',href = pattern):
    if 'href' in link.attrs:
        print (unquote(link.attrs['href']))     

Recommended Posts

Comment obtenir une liste de liens à partir d'une page de wikipedia
Comment obtenir une liste d'exceptions intégrées pour python
Comment écrire un type liste / dictionnaire de Python3
Comment obtenir une liste de fichiers dans le même répertoire avec python
[Python] Comment créer une liste de chaînes de caractères caractère par caractère
Comment mélanger une partie de la liste Python (au hasard.shuffle)
[Commande] Commande pour obtenir une liste de fichiers contenant des caractères pleine largeur
Extraire des pages des vidages Wikipedia
Comment obtenir la dernière (dernière) valeur d'une liste en Python
Comment accéder à wikipedia depuis python
Comment connecter le contenu de la liste dans une chaîne de caractères
[Python] Comment créer une table à partir d'une liste (opération de base de création de table / changement de nom de matrice)
Essayez d'obtenir la liste des fils du bulletin d'information (je n'aime pas) avec Python.
Comment obtenir une chaîne à partir d'un argument de ligne de commande en python
[Python] Comment obtenir et modifier les lignes / colonnes / valeurs d'une table.
J'ai essayé de résumer brièvement la procédure de démarrage du développement de Django
Comment utiliser la reconnaissance visuelle pour obtenir l'ID de ligne d'une fille
J'ai essayé d'obtenir une liste de noms AMI en utilisant Boto3
Comment obtenir les coordonnées de sommet d'une entité dans ArcPy
Comment obtenir une liste excluant les éléments dont l'index est i ...?
Comment obtenir un ingénieur de la trentaine
Comment supprimer les doublons d'une liste Python tout en préservant l'ordre.
Comment créer un clone depuis Github
Comment se débarrasser des longues inclusions
[Python] Comment convertir une liste bidimensionnelle en liste unidimensionnelle
Comment obtenir stacktrace en python
[python] Obtenir une liste de variables d'instance
Comment créer un référentiel à partir d'un média
Résumé de l'utilisation de la liste Python
Comment tester sur une page authentifiée par Django
[Python] Obtenir une liste de dossiers uniquement
[Introduction à Python] Comment trier efficacement le contenu d'une liste avec le tri par liste
[Linux] Une commande pour obtenir une liste des commandes exécutées dans le passé
Comment obtenir la valeur du magasin de paramètres dans lambda (en utilisant python)
Pour trouver le nom de la vue avec l'espace de noms à partir de l'URL (path_info) dans Django
Comment obtenir un exemple de rapport à partir d'une valeur de hachage à l'aide de l'API de Virus Total
Comment bien formater une liste de dictionnaires (ou d'instances) en Python
Comment calculer la volatilité d'une marque
Comment ouvrir un navigateur Web à partir de python
Comment effacer un taple dans une liste (Python)
Comment créer un objet fonction à partir d'une chaîne
Comment obtenir les résultats de l'identifiant dans Celery
Comment générer un objet Python à partir de JSON
Obtenir une liste d'utilisateurs IAM avec Boto3
Comment obtenir des éléments de type dictionnaire de Python 2.7
Obtenez la liste "J'aime" de Qiita en grattant
Comment passer le résultat de l'exécution d'une commande shell dans une liste en Python
Comment réaliser quelque chose comme une liste de void * (ou de type de variante) dans Go?
[NNabla] Comment obtenir la sortie (variable) de la couche intermédiaire du réseau construit
Script Python pour obtenir une liste d'exemples d'entrée pour le concours AtCoder
[Introduction à Python] Comment obtenir l'index des données avec l'instruction for
Comment utiliser la liste []
[Python] Comment supprimer les valeurs en double de la liste
Comment obtenir le nombre de chiffres en Python
Convertir un objet de tranche en liste de numéros d'index
Remarques sur l'utilisation d'AIST Spacon ABCI
Comment obtenir un utilisateur connecté avec les forms.py de Django
Python: obtenir une liste de méthodes pour un objet
Bases de PyTorch (2) -Comment créer un réseau de neurones-