Résumé de base des opérations de données dans Python Pandas - Deuxième moitié: agrégation de données

introduction

Comment manipuler les données dans Pandas, ce qui est indispensable pour gérer l'analyse des données en Python J'ai résumé les bases.

À partir de grammaires importantes que vous oubliez, nous avons inclus quelques conseils.

Recommandé pour les personnes comme celle-ci → Je veux toucher Pandas pour la première fois! → Essayez également d'utiliser R en Python. → Je ne me souviens plus de la grammaire de Pandas - ce serait pratique s'il y avait une liste quelque part ... → Combien de traitement de données peut-on faire avec Python en premier lieu?

Si vous voulez en savoir plus sur la manipulation des données, veuillez commencer par la première moitié.

◆ Résumé de base des opérations de données avec Python Pandas - Premier semestre: création et opérations de données http://qiita.com/hik0107/items/d991cc44c2d1778bb82e

Faisons le calcul

◆ Calcul des statistiques

Rechercher des statistiques pour chaque ligne ou colonne d'un bloc de données

math.py


 
#Total direction de la colonne
df_sample["score1"].sum(axis=0) #Calculer la somme des valeurs Score1
        #axis=0 signifie faire la somme dans la direction verticale. Comme il est 0 par défaut, il peut être omis.
 
df_sample[["score1","score2"]].sum(axis=0)  #score1,Additionnez chaque score 2. Deux résultats sont affichés
 
 
#Total direction ligne
df_sample[["score1","score2"]].sum(axis=1)  
        #Additionnez les valeurs score1 et score2 dans chaque ligne. Les résultats sont affichés pour chaque nombre de colonnes
        #axis=1 signifie faire la somme dans la direction horizontale. Dans Pandas, l'Axe est dans la direction de la Ligne. "
N'oubliez pas que vous faites souvent la distinction entre les directions des colonnes.

◆Pivoting Tableau croisé et conversion de structure de données de type tableau croisé dynamique

pivot.py


 
df_sample.pivot_table("score1",     #Spécifiez les variables à agréger
                       aggfunc="sum",  #Spécifier comment agréger
                       fill_value=0,   #Spécification de la valeur de remplissage en l'absence de valeur correspondante
                       rows="class",     #Spécification des variables à laisser dans le sens des lignes
                       columns="day_no")   #Spécification des variables à développer dans le sens de la colonne

◆ Opération Group_by

groupby.py


#Chez Pandas, l'exploitation de Groupby et l'agrégation qui l'accompagne sont effectuées séparément.
#Si vous utilisez la méthode groupby, cela ressemble à un bloc de données normal, mais Group_Un objet avec les informations clés de By est généré.
#Cela s'applique également à R. Regrouper par dans Dplyr()Une clé est définie par et Summarize agrège en fonction de la clé.
 
df_sample_grouped = df_sample.groupby("day_no")  # day_Groupe sans_Faites par.
df_sample_grouped[["score1","score2"]].sum()          
  #Somme pour les objets groupés.
  #Si vous le souhaitez, vous pouvez spécifier une variable pour effectuer la somme.
 
# Group_By Key est traité de force comme Index
#Par conséquent, Group_Ne peut pas être traité comme une variable de colonne comme avant par

df_sample_grouped = df_sample.groupby("day_no", as_index=false)
   #   as_index=Si false est spécifié, il cessera d'être traité comme un index.

Lisons et écrivons des données

◆ Importation et exportation de données

Créer DF à partir du fichier csv ou exporter DF vers csv

file.py


 
#Importer des données csv
pd.read_csv("path_of_data")
 
#Exporter les données csv
 
pd.to_csv("path_of_exported_file")

Recommended Posts

Résumé de base des opérations de données dans Python Pandas - Deuxième moitié: agrégation de données
Résumé de base de la manipulation de données avec Python Pandas - Première moitié: création et manipulation de données
Résumé des outils nécessaires pour analyser les données en Python
Manipulation des pixels d'image en Python
Résumé de diverses instructions for en Python
Résumé des méthodes intégrées, etc. de la liste Python
Résumé de la façon d'importer des fichiers dans Python 3
Visualisation en temps réel des données thermographiques AMG8833 en Python
Résumé de l'utilisation de MNIST avec Python
L'histoire de la lecture des données HSPICE en Python
Environnement enregistré pour l'analyse des données avec Python
Histoire de base de l'héritage en Python (pour les débutants)
Résumé des opérations Excel utilisant OpenPyXL en Python
Analyse des données en Python Résumé des sources que les débutants devraient d'abord consulter
Opérations de base sur les blocs de données écrites par des débutants au cours d'une semaine d'apprentissage de Python
Tri de base en Python
Manipulation de chaîne en python
Manipulation de date en Python
Connaissance de base de Python
Résumé des arguments Python
Traitement pleine largeur et demi-largeur des données CSV en Python
[Python] Manipulation des éléments dans la liste (tableau) [Ajouter / Supprimer]
Récapitulatif des méthodes Pandas utilisées lors de l'extraction de données [Python]
Ne pas être conscient du contenu des données en python
Liste du code Python utilisé dans l'analyse de Big Data
Utilisons les données ouvertes de "Mamebus" en Python
Résumé du flux de base de l'apprentissage automatique avec Python
Récapitulatif du traitement de la date en Python (datetime et dateutil)
Résumé des méthodes d'analyse de données statistiques utilisant Python qui peuvent être utilisées en entreprise
Essayez de gratter les données COVID-19 Tokyo avec Python
Gérer les données ambiantes en Python
résumé lié à l'opération de fichier python
Résumé des opérations de liste Python3
Refactoring appris avec Python (Basic)
Nouveautés de Python 3.10 (Résumé)
Manipuler des données en Python-essayez avec Pandas_plyr
Afficher les données UTM-30LX en Python
[Pour les débutants] Résumé de l'entrée standard en Python (avec explication)
Jugement d'équivalence d'objet en Python
[Homologie] Comptez le nombre de trous dans les données avec Python
Mémo récapitulatif des types de données Python
Un mémo que j'ai écrit une fonction de base en Python en utilisant la récurrence
Résumé de la détection de visage en Python
Comparaison de la gestion des trames de données en Python (pandas), R, Pig
Résumé de l'utilisation de base de Pandas
Manipulation de la date des chaînes en Python
Utilisation basique de la f-string Python
Implémentation du tri rapide en Python
Nouveautés de Python 3.9 (Résumé)
Résumé de la méthode de dessin de base de Plotly Express, le standard de facto de la bibliothèque de dessins Python à l'ère Reiwa
Une analyse simple des données de Bitcoin fournie par CoinMetrics en Python
Un bref résumé de Graphviz en python (expliqué uniquement pour mac)
Informations sur la carte de base à l'aide de la conversion Geotiff Python des données numériques d'élévation
[Blender Python] Organiser les données de propriétés personnalisées dans template_list () de la disposition de l'interface utilisateur
Obtenez des données LeapMotion en Python.
Manipulation de chemin de fichier / dossier en Python
Lire les données des tampons de protocole avec Python3
Résumé des connaissances de base de PyPy Partie 1
Obtenir des données de Quandl en Python