Traitement des données 2 Analyse de divers formats de données

Aidemy 2020/10/11

introduction

Bonjour, c'est Yope! Je suis une école littéraire croustillante, mais j'étais intéressé par les possibilités de l'IA, alors je suis allé à l'école spécialisée en IA "Aidemy" pour étudier. Je voudrais partager les connaissances acquises ici avec vous, et je les ai résumées dans Qiita. Je suis très heureux que de nombreuses personnes aient lu l'article de synthèse précédent. Je vous remercie! Ceci est le deuxième article sur la gestion des données. Ravi de vous rencontrer.

Quoi apprendre cette fois ・ Introduction de formats pouvant être convertis avec des pandas -Conversion de format de données à l'aide de pandas ・ Fichier CSV graphique

Analyse du format des données

Entrée / sortie de fichiers à l'aide de pandas

-HTML, JSON, CSV et Excel ont des utilisations différentes telles que les pages Web, les API Web et l'organisation des données. Vous pouvez convertir ces formats de données les uns aux autres en utilisant __pandas. __

Grattage HTML avec des pandas

-En gros, les éléments de balise tels que \

et \

en HTML sont grattés avec BeautifulSoup, mais les éléments __table \

__ sont grattés avec des pandas.

À propos de JSON

-JSON est une abréviation de "JavaScript Object Notation" et prend en charge l'échange de données dans différents langages de programmation. -La structure du fichier JSON est fondamentalement la même que la structure des variables de type dictionnaire Python, et est exprimée sous la forme de {clé: valeur,}.

À propos du fichier CSV

-CSV signifie «valeurs séparées par des virgules», c'est-à-dire des «valeurs séparées par des virgules». En raison de sa structure de données légère et simple, il a longtemps été utilisé pour l'échange de données. -Le fichier CSV a une structure qui n'est séparée que par une valeur, telle que "a, b, c,".

À propos d'Excel

・ Il va sans dire qu'Excel est un logiciel de calcul de table. Comme il est largement utilisé, la gamme d'analyse des données s'élargira lorsque le scraping Excel deviendra possible. -Pour chaque nom d'Excel, d'abord, le fichier s'appelle __ "livre" __, le tableau dans le fichier est __ "feuille" __, dont la verticale est __ "colonne" __ Le côté est __ "ligne" __, et chaque élément est appelé __ "cellule" __.

Conversion de format de données

Lire le fichier avec DataFrame

-En fait, convertir le format de données mentionné ci-dessus. Tout d'abord, lire le fichier __pd.read_Data type ("nom de fichier") __. Par exemple, HTML est «pd.read_html ()» et Excel est «pd.read_excel ()».

-Ecrire le fichier avec le type de données _pd.to ("nom de fichier") __. Aussi, ici c'est "pd", mais si vous voulez écrire l'objet de type DataFrame "df" dans un fichier HTML, ce sera "df.to_html ()".

Représenter graphiquement les données dans le fichier CSV

Procédure graphique

  • "Lire le fichier CSV (read_csv)" "Créer un graphique avec des pandas" "Dessiner un graphique avec matplotlib (plt.show)" ・ Parmi ceux-ci, "Créer des graphiques avec des pandas" est nouveau. La méthode est OK avec __ "df.plot ()" __.
data=pd.read_csv("data.csv")

data.plot()
plt.show()

Résumé

-Pandas vous permet d'échanger des données entre différents formats de données. -Lors de la lecture ou de l'écriture d'autres formats de données en python, il est exprimé comme __ "pd.read_csv ()" "df.to_html ()" __. -Le fichier CSV lu peut être représenté graphiquement comme __df.plot () __.

Cette fois, c'est fini. Merci d'avoir lu jusqu'à la fin.

Recommended Posts

Traitement des données 2 Analyse de divers formats de données
Application de Python: Traitement des données Partie 2: Analyse de divers formats de données
Recommandation d'analyse des données à l'aide de MessagePack
Analyse des séries chronologiques 3 Prétraitement des données des séries chronologiques
Analyse des données Titanic 2
Analyse de données python
Analyse des données Titanic 1
Traitement des données multi-conditions
Analyse des données Titanic 3
Analyse émotionnelle des données de tweet à grande échelle par NLTK
Environnement enregistré pour l'analyse des données avec Python
Analyse de données avec python 2
Analyse des données à l'aide de xarray
Analyse des données financières par pandas et leur visualisation (2)
Analyse des données financières par pandas et leur visualisation (1)
Présentation de l'analyse de données python
Défiez l'analyse des composants principaux des données textuelles avec Python
Analyse des données de mesure ①-Mémorandum de montage scipy-
Histoire de l'analyse d'image du fichier PDF et de l'extraction de données
Liste du code Python utilisé dans l'analyse de Big Data
Modèle d'analyse de données Python
Analyse du squelette de plan avec Python (4) Gestion du déplacement forcé
Pré-traitement des données préfectorales
Bases de l'analyse de régression
Sélection des données de mesure
Analyse de données avec Python
Divers traitements de Python
Faisons l'analyse des données de naufrage du Titanic comme ça
Remarques sur la gestion de grandes quantités de données avec python + pandas
Première étape de l'analyse des données (nombre de données, affichage du tableau, valeurs manquantes)
Comparaison de la gestion des trames de données en Python (pandas), R, Pig
Mon conteneur d'analyse de données python
Xarray de bibliothèque d'analyse de données multidimensionnelle
Gestion des chemins absolus de os.path.join
Python pour l'analyse des données Chapitre 4
Traitement des données 3 (développement) À propos du format des données
Expérience de réglage des données Tensorflow
Différentes façons d'importer Mnist
Visualisation des données par préfecture
À propos de divers encodages de Python 3
[Python] Notes sur l'analyse des données
Manipulation de python sur mac
Mise en œuvre d'une analyse de composants indépendante
Notes d'apprentissage sur l'analyse des données Python
Transformée de Fourier des données brutes
Estimation moyenne des données plafonnées
Wrap Analysis part1 (préparation des données)
À propos de la gestion des données d'Anvil-App-Server
Analyse de données à l'aide de pandas python
Python pour l'analyse des données Chapitre 3
Prédiction de probabilité de données déséquilibrées
Analyse des données Twitter | Analyse des tendances
J'ai étudié 4 bibliothèques de test d'analyse de données de certification d'ingénieur Python 3
Une analyse simple des données de Bitcoin fournie par CoinMetrics en Python
[Analyse du modèle SIR] Pic du nombre d'infections dans diverses régions du Japon ♬
Exercice pratique d'analyse de données avec Python ~ 2016 New Coder Survey Edition ~
Pratique de l'analyse de données par Python et pandas (Tokyo COVID-19 data edition)