Comment calculer la somme ou la moyenne des données csv de séries chronologiques en un instant

TL;DR

Chose que tu veux faire

input.csv


#Date(Jusqu'à quelques minutes),Taux USD,Taux JPY,Taux EUR
#Il y a 144 lignes de données par jour toutes les 10 minutes
# 2020/2/24 18:00 ~ 2020/6/11 23:10
yyyy/mm/dd HH:MM,NN.N(data),NN.N,NN.N
yyyy/mm/dd HH:MM,NN.N(data),NN.N,NN.N
yyyy/mm/dd HH:MM,NN.N(data),NN.N,NN.N

Essayer de réinventer la roue

Tout d'abord, écrivez le code et demandez (essayez de demander)

  1. Ouvrez le fichier
  2. Considérez la première colonne comme une date et une heure et convertissez-la en type de date
  3. Accumuler les valeurs jusqu'à ce que la frontière entre le même mois et le même jour soit franchie
  4. Divisez les données accumulées par le nombre de données accumulées pour calculer la moyenne
  5. Sortie de fichier

Éléments qui semblent gênants

Trouvez la roue inventée

csvcalc.py


import pandas as pd
df = pd.read_csv("input.csv",index_col=0,parse_dates=True)
df.resample('D').mean().to_csv("output.csv")

out.csv


2020/2/25,13.99777778,4.343472222,13.19909722
2020/2/26,13.55291667,3.572986111,7.519791667
2020/2/27,12.31902778,4.954513889,9.513611111
・ ・ ・

Les roues produisent même le graphique

Conclusion

Recommended Posts

Comment calculer la somme ou la moyenne des données csv de séries chronologiques en un instant
Comment lire les données de séries chronologiques dans PyTorch
Comment obtenir un aperçu de vos données dans Pandas
Comment extraire des fonctionnalités de données de séries chronologiques avec les bases de PySpark
Comment connaître la structure interne d'un objet en Python
<Pandas> Comment gérer les données de séries chronologiques dans le tableau croisé dynamique
Comment gérer les données de séries chronologiques (mise en œuvre)
Comment changer plusieurs colonnes de csv dans Pandas (Unixtime-> Japan Time)
Tracer CSV de données de séries temporelles avec une valeur unixtime en Python (matplotlib)
Comment calculer la volatilité d'une marque
Je souhaite stocker les résultats de% time, %% time, etc. dans un objet (variable)
Partie 1 J'ai écrit un exemple de la réponse au problème de référence de l'écriture hors ligne en temps réel en Python
Comment obtenir le nombre de chiffres en Python
Comment mesurer le temps de traitement avec Python ou Java
Comment trouver le nombre optimal de clusters pour les k-moyennes
Différentes façons de calculer la similitude entre les données avec python
J'ai créé un programme en Python qui change les données de 1 minute de FX en une heure arbitraire (1 heure, etc.)
Comment manipuler le DOM dans iframe avec Selenium
Comment calculer la quantité de calcul appris de ABC134-D
[Question] Comment obtenir les données des données textarea en temps réel à l'aide du flacon du framework Web Python
Exemple d'agrégation d'une grande quantité de données de séries temporelles à l'aide de Python dans un petit environnement de mémoire à une vitesse raisonnable
Ce que vous ne devriez pas faire dans le processus d'analyse des données de séries chronologiques (y compris la réflexion)
Comment représenter la distribution de la composition bactérienne à partir des données d'analyse Qiime2 dans un diagramme de moustaches
Comment éliminer le "Les balises doivent être un tableau de hachages." Erreur dans l'API qiita
Mettre le processus en veille pendant un certain temps (secondes) ou plus en Python
Partie 1 J'ai écrit la réponse au problème de référence de l'écriture hors ligne en temps réel en Python
Comment émettre intentionnellement une erreur dans le shell pendant les tests
Comment déterminer l'existence d'un élément sélénium en Python
J'ai comparé le temps de calcul de la moyenne mobile écrite en Python
Comment implémenter du code Java en arrière-plan de Red Hat (Linux ONE)
Comment transformer une chaîne en tableau ou un tableau en chaîne en Python
Comment vérifier la taille de la mémoire d'une variable en Python
[TensorFlow 2] Comment vérifier le contenu de Tensor en mode graphique
Comment obtenir les coordonnées de sommet d'une entité dans ArcPy
Comment créer une grande quantité de données de test dans MySQL? ??
Comment calculer "xx time" en un seul coup avec Python Timedelta
Comment calculer le coefficient d'autocorrélation
Différenciation des données de séries chronologiques (discrètes)
Analyse des séries chronologiques 3 Prétraitement des données des séries chronologiques
Comment lire des entrées standard ou des fichiers variables en même temps comme la commande coller en Python
Puissance des méthodes de prédiction dans l'analyse de données chronologiques Semi-optimisation (SARIMA) [Memo]
Illustrez instantanément la période prédominante dans les données de séries chronologiques à l'aide de l'analyse spectrale
Comment obtenir la différence de date et d'heure en secondes avec Python
Comment comparer si le contenu des objets dans scipy.sparse.csr_matrix est le même
Accédez à l'API de classement Rakuten pour enregistrer le classement de n'importe quelle catégorie au format CSV
Comment stocker des données CSV dans Amazon Kinesis Streams avec une entrée standard
Comment mettre un numéro de ligne au début d'un fichier CSV
Je souhaite laisser une commande arbitraire dans l'historique des commandes de Shell
Comment bien formater une liste de dictionnaires (ou d'instances) en Python
Un exemple de réponse à la question de référence de la session d'étude. Avec python.
[Python] Comment ouvrir deux fichiers ou plus en même temps
L'histoire d'une erreur dans PyOCR
Comment comparer des données de séries chronologiques - Dérivée DTW, DTW-
Comment vérifier la version de Django
Comment régler l'heure du serveur sur l'heure japonaise
Comment calculer Utiliser% de la commande df
[Python] Accélère le chargement du fichier CSV de séries chronologiques
Comment enregistrer les informations de point caractéristique de l'image dans un fichier et l'utiliser pour la mise en correspondance