Conseils de traitement des données avec Pandas

C'est aussi un mémorandum personnel, et c'est une astuce du traitement des données par Pandas. J'ai écrit ce que je n'avais pas été attrapé lorsque j'ai cherché sur Google. Nous prévoyons d'en ajouter de plus en plus. Nous vous serions reconnaissants si vous pouviez nous faire savoir si vous avez des erreurs ou des améliorations.

La première chose à regarder est la feuille de triche

Un grand merci à ceux qui l'ont traduit en japonais. https://qiita.com/s_katagiri/items/4cd7dee37aae7a1e1fc0

Appliquez la fonction à plusieurs variables et enregistrez la valeur de retour dans une autre variable.

Exemple: Mettez le nombre de "@" contenu dans x1 dans cnt_x1, ce qui est également fait pour x2, x3, .... x1→cnt_x1, ..., x13→cnt_x13

migs = {'cnt_x1': 'x1', 'cnt_x2': 'x2', ...,  'cnt_x13': 'x13'}

for vars, mig in migs.items():
    df1[vars] = df1[mig].str.count('＠')

--keys (): pour le traitement en boucle de la clé de chaque élément --values (): pour le traitement en boucle de la valeur de chaque élément --items (): pour le traitement en boucle de la clé clé et de la valeur de chaque élément

Utilise un dictionnaire. La correspondance entre la clé et la valeur dans le dictionnaire est la suivante. {'key1': 'value1', 'key2': 'value2', 'key3': 'value3'}

Soumettez une requête à postgres pour créer un bloc de données (récupérez également l'en-tête)

Écrivez la requête entre '' 'dans cur.execute (). Personnellement (dans le cas de Postgres) je l'ai écrit après avoir vérifié le mouvement avec PgAdmin.

import psycopg2
import pandas as pd
conn = psycopg2.connect("host=hostname  user=username port=port dbname=dbname password=password")
# execute sql
cur = conn.cursor()
#Nom du schéma.nom de la table
cur.execute('''
select *
from hoge
;''')
results = cur.fetchall()
#Je veux être df
df = pd.DataFrame(results, columns=[col.name for col in cur.description])
cur.close()
conn.close()

Comment créer un fichier vide et écrire le nombre actuel d'échantillons dans le nom du fichier pour comprendre la situation

En interrogeant les postgres ci-dessus, en les combinant avec un programme dataframe et en les exécutant régulièrement sur le planificateur de tâches Windows, vous pouvez voir l'état des échantillons dans la base de données chaque jour (hebdomadaire, horaire, etc.). peut faire.

allcnt = len(df)

with open(r"./Date" + str(date) +  r"_Total_" + str(allcnt) + r"_National_" + str(domestic) + r"_étranger_" + str(foreign) + r".txt","w"):pass