Essayez d'obtenir une page Web et un fichier JSON en utilisant la bibliothèque Requests de Python

Aperçu

J'étudie en référence à la «visualisation de données à partir de Python et JavaScript» d'O'Reilly Japan.

Récupération des données Web à l'aide de la bibliothèque de requêtes

Les "Requests" de Python sont une bibliothèque qui facilite la gestion des interactions HTTP en Python.

Préparation préalable

Demandes d'installation

pip install requests
pip install --upgrade ndg-httpsclient

Exemple d'utilisation de la bibliothèque de requêtes

Télécharger la page Wikipédia (obtenir la page HTML et JavaScript en ligne)

>>> import requests
>>> response = requests.get("https://ja.wikipedia.org/wiki/Python");
>>> 
>>> #Obtenir une liste des attributs de l'objet responsep
>>> dir(response)
['__attrs__', '__bool__', '__class__', '__delattr__', '__dict__', '__dir__', '__doc__', '__enter__', '__eq__', '__exit__', '__format__', '__ge__', '__getattribute__', '__getstate__', '__gt__', '__hash__', '__init__', '__init_subclass__', '__iter__', '__le__', '__lt__', '__module__', '__ne__', '__new__', '__nonzero__', '__reduce__', '__reduce_ex__', '__repr__', '__setattr__', '__setstate__', '__sizeof__', '__str__', '__subclasshook__', '__weakref__', '_content', '_content_consumed', '_next', 'apparent_encoding', 'close', 'connection', 'content', 'cookies', 'elapsed', 'encoding', 'headers', 'history', 'is_permanent_redirect', 'is_redirect', 'iter_content', 'iter_lines', 'json', 'links', 'next', 'ok', 'raise_for_status', 'raw', 'reason', 'request', 'status_code', 'text', 'url']
>>>
>>> #Obtenir le code d'état HTTP de l'objet de réponse
>>> response.status_code
200
>>>
>>> #Vous pouvez obtenir la page HTML et JavaScript en ligne en obtenant la propriété text de l'objet de réponse
>>> response.text
'<!DOCTYPE html>\n<html class="client-nojs" lang="ja" dir="ltr">\n<head>\n<meta charset="UTF-8"/>\n<title>Python - Wikipedia</title>\n<script>document.documentElement.className = document.documentElement.className.replace( /(^|\\s)client-nojs(\\s|$)/, "$1client-js$2" );</script>\n<script>(window.RLQ=window.RLQ||[]).push(function(){mw.config.set({"wgCanonicalNamespace":"","wgCanonicalSpecialPageName":false,"wgNamespaceNumber":0,"wgPageName":"Python","wgTitle":"Python","wgCurRevisionId":65321720,"wgRevisionId":65321720,"wgArticleId":993,"wgIsArticle":true,"wgIsRedirect":false,"wgAction":"view","wgUserName":null,"wgUserGroups":["*"],"wgCategories":["Langage de programmation","Langage orienté objet","Langage de script","Open source","Python"],"wgBreakFrames
...

Obtenez des données au format JSON

>>> import requests
>>> response = requests.get("https://www.oreilly.co.jp/books/9784873118086/biblio.json");
>>> 
>>> #Obtenez des données JSON
>>> data = response.json()
>>> data
{'title': 'Visualisation des données à partir de Python et JavaScript', 'picture_large': 'http://www.oreilly.co.jp/books/images/picture_large978-4-87311-808-6.jpeg', 'picture': 'http://www.oreilly.co.jp/books/images/picture978-4-87311-808-6.gif', 'picture_small': 'http://www.oreilly.co.jp/books/images/picture_small978-4-87311-808-6.gif', 'authors': ['Kyran Dale\par u3000', 'Takeshi Shimada\traduit par u3000', 'Tetsuya Kinoshita\Traduction u3000'], 'released': '2017-08-25', 'pages': 500, 'price': 4104, 'ebook_price': 3283, 'original': 'Data Visulalization with Python and JavaScript', 'original_url': 'http://shop.oreilly.com/product/0636920037057.do', 'isbn': '978-4-87311-808-6'}
>>> 
>>> #Obtenir la valeur clé
>>> data.keys()
dict_keys(['title', 'picture_large', 'picture', 'picture_small', 'authors', 'released', 'pages', 'price', 'ebook_price', 'original', 'original_url', 'isbn'])
>>> 
>>> #Obtenir le titre
>>> data["title"]
'Visualisation des données à partir de Python et JavaScript'

référence

Visualisation des données à partir de Python et JavaScript https://www.oreilly.co.jp/books/9784873118086/

Demandes: HTTP pour les humains http://requests-docs-ja.readthedocs.io/en/latest/user/quickstart/     La prochaine fois, nous étudierons comment utiliser les données de l'API Web.

Recommended Posts

Essayez d'obtenir une page Web et un fichier JSON en utilisant la bibliothèque Requests de Python
J'ai essayé d'obtenir les informations du Web en utilisant "Requests" et "lxml"
Essayez de créer un fichier compressé en utilisant Python et zlib
(Python) Essayez de développer une application Web en utilisant Django
Chaque fois que j'essaye de lire un fichier csv en utilisant des pandas, j'obtiens une erreur numpy.
Récupérer une image d'une page Web et la redimensionner
Obtenez la page Web Python, encodez et affichez les caractères
Essayez d'obtenir des statistiques en utilisant e-Stat
Traitez le résultat de l'exécution de Splunk en utilisant Python et enregistrez-le dans un fichier
Essayez d'utiliser APSW, une bibliothèque Python que SQLite peut prendre au sérieux
Essayez d'utiliser Platypus, une bibliothèque d'optimisation polyvalente
Comment rechercher à l'aide de l'Astroquery de Python et obtenir des images ajustées avec Skyview
Je souhaite créer une application Web en utilisant React et Python flask
Je veux déposer un fichier sur tkinter et obtenir son chemin [Tkinter DnD2]
WEB grattage avec python et essayez de créer un nuage de mots à partir des critiques
Créez une application Web qui convertit le PDF en texte à l'aide de Flask et PyPDF2
Essayez le Web scraping maintenant et obtenez des données de loterie 6
Comment créer un fichier JSON en Python
Créer une carte Web en utilisant Python et GDAL
Analyser une chaîne JSON écrite dans un fichier en Python
Obtenir le nom de fichier dans un dossier à l'aide de glob
Création d'un module pour surveiller les mises à jour des fichiers et des URL
Essayez de créer un Checkbutton dynamiquement avec Tkinter en Python
Script Python qui crée un fichier JSON à partir d'un fichier CSV
Sortie d'un vidage binaire en binaire et retour dans un fichier binaire
J'ai essayé d'utiliser une bibliothèque (fil conducteur) qui rend le package de threads Python plus facile à utiliser
Essayez d'utiliser l'analyseur de flux de Python.
Essayez d'utiliser Tkinter de Python
Essayez de le faire avec GUI, PyQt en Python
Essayez d'exploiter un fichier Excel en utilisant Python (Pandas / XlsxWriter) ①
Essayez d'exploiter un fichier Excel en utilisant Python (Pandas / XlsxWriter) ②
Développer une bibliothèque pour obtenir la liste des collections Kindle en Python
Essayez d'ouvrir une sous-fenêtre avec PyQt5 et Python
Obtenez une adresse IP globale et exportez-la vers des feuilles de calcul Google
Essayez de créer un réseau de neurones en Python sans utiliser de bibliothèque
Essayez de modéliser une distribution multimodale à l'aide de l'algorithme EM
[Introduction à Tensorflow] Comprendre correctement Tensorflow et essayer de créer un modèle
Comment obtenir une liste de liens à partir d'une page de wikipedia
Essayez simplement de recevoir un webhook avec ngrok et Python
Notez que j'étais accro à accéder à la base de données avec mysql.connector de Python en utilisant une application Web
[Python] Comment récupérer un fichier html local et le générer au format CSV à l'aide de Beautiful Soup