Lors de la lecture d'un fichier csv avec read_csv de pandas, la première colonne devient index

Aperçu

Présentation d'un cas où j'étais accro à l'index de la première colonne en essayant de traiter les données téléchargées par le système interne avec des pandas

phénomène

Données de problème (bien sûr pas les données réelles)

name,population,area
Osaka,2691k,223,
Nara,353k,276,
Kyoto,1472k,827,
Koube,1542k,552,
Wakayama,355k,208,

Si vous lisez_csv () les données suivantes qui semblent n'avoir aucun problème à première vue, la première colonne (nom) est index.

Screen Shot 2020-01-29 at 23.24.55.png

Cause

La cause est qu'il y a un "," à la fin de chaque enregistrement, mais il n'y a pas de "," à la fin de la ligne d'en-tête. Si vous essayez de mettre "," à la fin de la ligne d'en-tête. Comme indiqué ci-dessous, une colonne supplémentaire est ajoutée, mais l'indice est calculé automatiquement.

Screen Shot 2020-01-29 at 23.32.12.png

Cet exemple est résumé dans un fichier csv pour une meilleure compréhension, mais il a fallu plus de temps car c'était tsv (délimité par des tabulations) qui était en fait encombré dans le travail.

Leçons et impressions

Voyons correctement les données sans nous noyer dans l'outil.

Même ainsi, je pense que les chances d'utiliser Excel ont diminué depuis que je suis devenu capable de modifier légèrement les données avec des pandas. Cette fois, les données étaient également un fichier tsv d'environ 50 Mo, mais elles pouvaient être lues en quelques secondes. (Excel s'est bloqué ...)

Recommended Posts

Lors de la lecture d'un fichier csv avec read_csv de pandas, la première colonne devient index
Mettre en forme le fichier CSV de "Fête nationale" du Cabinet Office avec des pandas
[Python] Comment lire le fichier csv (méthode read_csv du module pandas)
Afficher le résultat de sortie de sklearn.metrics.classification_report sous forme de fichier CSV
[Python: UnicodeDecodeError] L'une des solutions d'erreur lors de la lecture de CSV
Une collection de méthodes utilisées lors de l'agrégation de données avec des pandas
Traitez le contenu du fichier dans l'ordre avec un script shell
pandas Récupère le nom d'une colonne contenant un caractère spécifique
Gérez le chevauchement lors du dessin d'un diagramme de dispersion avec une grande quantité de données (Matplotlib, Pandas, Datashader)
Que faire lorsqu'une partie de l'image d'arrière-plan devient transparente lorsque l'image transparente est combinée avec Oreiller
L'idée d'alimenter le fichier de configuration avec un fichier python au lieu de yaml
Lire et formater des fichiers csv mélangés avec des tabulations de virgule avec des pandas Python
J'ai fait une erreur en récupérant la hiérarchie avec MultiIndex of pandas
Erreur due à UnicodeDecodeError lors de la lecture d'un fichier CSV avec Python [Pour les débutants]
Vérifier l'existence du fichier avec python
[pandas] Méthode de lecture et d'affichage des fichiers .csv
Chargez CSV avec des pandas et jouez avec Index
Téléchargez Pandas DataFrame sous forme de fichier CSV
Différentes façons de lire la dernière ligne d'un fichier csv en Python
[Introduction à Pandas] Lire un fichier csv sans nom de colonne et lui donner un nom de colonne
L'histoire de la création d'une application Web qui enregistre des lectures approfondies avec Django
Dessinez une ligne de pliage / diagramme de dispersion avec python matplotlib pour fichier CSV (2 colonnes)
Un mémorandum de méthode souvent utilisé lors de l'analyse de données avec des pandas (pour les débutants)
[Introduction à Python] Comment obtenir l'index des données avec l'instruction for
Comment lire un fichier CSV avec Python 2/3
Parler en japonais avec gTTS (lire un fichier texte)
J'ai essayé de lire un fichier CSV en utilisant Python
Enregistrer l'objet dans un fichier avec pickle
Convertir le code de caractère du fichier avec Python3
Exemple de lecture et d'écriture de CSV avec Python
Lorsqu'un fichier est placé dans le dossier partagé de Raspberry Pi, le processus est exécuté.
[Ansible] Exemple de playbook qui ajoute une chaîne de caractères à la première ligne du fichier
[Art de la coquille] Seulement quand c'est un multiple de 3 et un nombre avec 3 devient stupide
Une note de malentendu lors de la tentative de chargement de l'intégralité du module self-made avec Python3
Lisez le fichier csv avec le notebook jupyter et écrivez le graphique l'un sur l'autre
[Attention] Lors de la création d'une image binaire (1 bit / pixel), faites attention au format de fichier!
Lors de l'écriture dans un fichier csv avec python, une histoire que j'ai fait une légère erreur et n'a pas respecté la date de livraison
Spécifiez le nom du fichier lors de l'envoi de courriers électroniques en pièce jointe csv
J'ai essayé de toucher un fichier CSV avec Python
Soyez prudent lors de la différenciation des vecteurs propres d'une matrice
Soyez prudent lors de la lecture de données avec des pandas (spécifiez dtype)
Prenez note de la liste des utilisations de base de Pandas
Comment générer un CSV d'en-tête multiligne avec des pandas
Comment convertir un fichier JSON en fichier CSV avec Python Pandas
Créer un outil de formatage CSV avec Python Pandas Py Installer
[Python] Un mémo pour écrire du CSV verticalement avec Pandas
Bilan du premier défi du machine learning avec Keras
Tapez après avoir lu un fichier Excel avec pandas read_excel
Calculer le produit des matrices avec une expression de caractère?
[Memo] Chargez le csv de s3 dans les pandas avec boto3
La valeur de meta lors de la spécification d'une fonction sans valeur de retour avec Dask dataframe s'applique
Lors de la lecture d'une image avec SimpleITK, il y a un problème s'il y a du japonais dans le chemin
À propos du contenu de wscript lors de la création d'un environnement en langage D comme celui avec Waf
[Python] Extrait les blocs de données de Pandas qui ne correspondent pas à une colonne spécifique avec d'autres blocs de données