Chargez CSV avec des pandas et jouez avec Index

introduction

DataFrame des pandas est bon pour gérer des données structurées! (Je l'ai lu dans un livre de science des données que j'ai parcouru dans une librairie). J'aimerais laisser un mémo comme mémorandum pour les super débutants

environnement

Python3.6.10 pandas-1.0.1 Jupyter notebook

Première installation

Il n'y avait rien de difficile ...

pip install pandas

Lire le fichier csv

Puisque les données que je souhaite traiter cette fois-ci sont au format csv, je vais lire le fichier csv. Après quelques recherches, j'ai trouvé que les pandas ont deux structures de données, Series et DataFrame, et il semble que Series correspond à des données unidimensionnelles et DataFrame correspond à des données bidimensionnelles (puisque Series et DataFrame ne sont pas bien compris). J'aimerais pouvoir étudier à nouveau et écrire un autre article)

Pour le moment, j'aimerais lire les données csv comme un DataFrame.

python


import pandas as pd
pd.read_csv('Chemin de données',header = None)

J'ai utilisé read_csv () parce que je voulais lire un fichier csv avec un séparateur de virgule. Si le délimiteur est une tabulation (\ t), read_table () peut être utilisé à la place.

De plus, étant donné que le fichier csv que vous souhaitez lire n'a pas de ligne d'en-tête, None est spécifié pour l'en-tête.

Les données réellement lues étaient affichées sur le jupyter comme indiqué dans la figure ci-dessous ↓ スクリーンショット 2020-02-27 13.34.31.png

Mise en forme des données

Formatez les données lues comme suit ・ La 0ème colonne n'est pas nécessaire, supprimez-la. ・ Définissez la première colonne comme index (colonne d'en-tête)

34.31.png

Supprimer la colonne

Coupez uniquement la 0ème colonne de la tranche.

Dans Series et DataFrame, vous pouvez spécifier une chaîne de caractères dans l'index ou vous pouvez spécifier une valeur numérique (arbitraire). En particulier, pour éviter toute confusion lors de la spécification d'une valeur numérique pour l'index, accédez aux données à l'aide d'attributs d'index tels que iloc et loc. スクリーンショット 2020-02-27 14.31.55.png

Cette fois (pour le moment), l'index DataFrame correspond à l'index de style Python dans les lignes et les colonnes, vous pouvez donc obtenir le même résultat avec iloc ou loc. La 0ème ligne des données a été coupée comme suit (seules la 1ère ligne et les suivantes ont été extraites)

python


#Charger csv
df = pd.read_csv('Data/test231.csv',header = None)
#Tranche
df.iloc[:,1:]

Sortie réelle ↓ Capture d'écran 2020-02-27 14.36.46.png

Par rapport à l'image précédente, le nombre de colonnes est passé de 170 à 169, et il peut être confirmé que seule la première colonne est réduite.

Faire de la première colonne un index

Dans pandas DataFrame, il semble que les en-têtes de ligne sont appelés index et les en-têtes de colonne sont appelés colonnes. 6.46.png

En procédant comme suit, la colonne nommée «1» dans la figure ci-dessus pourrait être spécifiée pour l'index.

python



#Tranche
sliced_df = df.iloc[:,1:]
#nom est"1"Spécifiez la colonne de
sliced_df.set_index(1)

J'ai pu exécuter comme ci-dessous

スクリーンショット 2020-02-27 15.26.28.png

en conclusion

Ensuite, je voudrais faire un article comme mémorandum de changement du nom de columnn et de traitement de ce tableau comme des données hiérarchiques.

Recommended Posts

Chargez CSV avec des pandas et jouez avec Index
Chargez csv avec des colonnes en double dans pandas
Lisez CSV et analysez avec Pandas et Seaborn
index et réindexation des pandas
Lire csv avec des pandas python
Charger json imbriqué avec des pandas
[Memo] Chargez le csv de s3 dans les pandas avec boto3
Lire et écrire du CSV avec Python
Fractal pour faire et jouer avec Python
Jouez avec PDBBind de MoleculeNet et RDKitGridFeaturizer de DeepChem
[pandas] Méthode de lecture et d'affichage des fichiers .csv
Regrouper CSV et obtenir la valeur minimale (pandas)
Jouez avec Prophet
Chargez le modèle caffe avec Chainer et classez les images
Lire les données csv Python avec Pandas ⇒ Graphique avec Matplotlib
Jouez avec PyTorch
Jouez avec 2016-Python
Comprenez les points de la grille et jouez avec les courbes de niveau.
Implémentez "Data Visualization Design # 3" avec pandas et matplotlib
Installez pip et pandas avec Ubuntu ou VScode
Analysez les journaux d'accès Apache avec Pandas et Matplotlib
Visualisez de manière interactive les données avec Treasure Data, Pandas et Jupyter.
Jeu manuel Python (interopérabilité entre CSV et PostgreSQL)
Jouez avec CentOS 8
Exemple de lecture et d'écriture de CSV avec Python
Jouez avec Fathom
[Python] Lire le csv japonais avec des pandas sans caractères déformés (extraire davantage les colonnes écrites en japonais)
Lors de la lecture d'un fichier csv avec read_csv de pandas, la première colonne devient index
Procédure pour charger MNIST avec python et sortie en png
Comment extraire des valeurs Null et des valeurs non Null avec des pandas
Comment générer un CSV d'en-tête multiligne avec des pandas
Comment convertir un fichier JSON en fichier CSV avec Python Pandas
Comment boucler et lire une vidéo gif avec openCV
[Python] Un mémo pour écrire du CSV verticalement avec Pandas
[Linux] [Python] [Pandas] Charger la base de données Microsoft Access (* .mdb) avec Pandas
Traiter les données csv avec python (traitement du comptage à l'aide de pandas)
Extraire la valeur maximale avec les pandas et modifier cette valeur
[Comment!] Apprenez et jouez à Super Mario avec Tensorflow !!
Visualisez rapidement avec les pandas
Échantillonnage bootstrap avec Pandas
Traitement des ensembles de données avec des pandas (2)
Fusionner les ensembles de données avec les pandas
installation de jupyter et pandas
Pandas apprenant avec la chimioinfomatique
Jouer avec Othello (Reversi)
Lire le fichier CSV: pandas
Visualisation des données avec les pandas
Manipulation des données avec les Pandas!
Mélangez les données avec les pandas
Moyenne et liste des pandas
Avec et sans WSGI
CHARGER DES DONNÉES avec PyMysql
Créer un nouveau csv avec des pandas basé sur le csv local
[Python] Comment jouer avec les variables de classe avec décorateur et métaclasse
[Jouons avec Python] Traitement d'image en monochrome et points
La comparaison et l'optimisation des vitesses BASIC et C et assembleur jouent avec IchigoJam
Jouez avec les archives de Mastodon dans les réponses et les favoris de Python 2 Count
Comment créer une trame de données et jouer avec des éléments avec des pandas
Jouez avec le mécanisme de mot de passe de GitHub Webhook et Python