10 sélections d'extraction de données par pandas.DataFrame.query

introduction

Cet article présente diverses extractions conditionnelles à l'aide de requête, qui est l'une des fonctions pandas. D'après mon expérience, j'écrirai le code réel basé sur 10 exemples fréquemment rencontrés lors du prétraitement des données.

Environnement d'exécution

• mac OS Mojave
• Python 3.7.3

!python -V

Python 3.7.3

Module utilisé

La version de pandas utilise la version 1.0.3.

• Une erreur peut se produire si la version est la version 0.24.0 ou antérieure.

import pandas as pd  #Le rôle principal cette fois
import numpy as np  #Utilisé pour générer des valeurs inf et nan

#Vérifier la version des pandas
print(pd.__version__)

1.0.3

Préparation des données

#Préparation de la trame de données à utiliser cette fois
df = pd.DataFrame({
        'a': range(1, 6),
        'b': range(10, 0, -2),
        'c c' : [1, 3, 5, 7, 9],
        'd' : [2, np.nan, np.inf, None, 10],
        'e' : ['a', 'b', 'c', 'd', 'e'],
        'f' : [False, True, True, False, True]})

#Vérifier la trame de données
df

10 sélections d'extraction de données

1. [Extraction de condition dans 1 colonne](Extraction de condition dans la colonne # 1)
2. [Extraction de conditions avec plusieurs colonnes](# Extraction de conditions avec plusieurs colonnes)
3. [Extraction de conditions de colonnes contenant des espaces dans les noms de colonnes](# Extraction de conditions de colonnes contenant des espaces dans les noms de colonnes)
4. [Extraction de condition par spécification de chaîne de caractères](# Extraction de condition par spécification de chaîne de caractères)
5. [Extraction de conditions par plusieurs conditions](# Extraction de conditions par plusieurs conditions)
6. [Extraction de condition par spécification inf](Extraction de condition par spécification #inf)
7. [Extraction de condition en spécifiant une valeur manquante](# Extraction de condition en spécifiant une valeur manquante)
8. [Extraction de condition en spécifiant une valeur booléenne](# Extraction conditionnelle en spécifiant une valeur booléenne)
9. [Extraction de condition à l'aide de la liste](# Extraction de la condition à l'aide de la liste)
10. [Extraction de conditions à l'aide de variables](# Extraction de conditions à l'aide de variables)

Extraction de condition dans une colonne

Extraction conditionnelle de base en utilisant une seule colonne de la trame de données. Des opérateurs de comparaison normaux peuvent être utilisés.

df.query('a == 3')  #Extraire les lignes où la colonne a a une valeur de 3

df.query('a != 3')  #Extrayez les lignes dont la valeur de la colonne a n'est pas 3.

df.query('a > 3')  #Extraire les lignes dont la colonne a une valeur supérieure à 3

Extraction de conditions dans plusieurs colonnes

Extraction conditionnelle à l'aide de valeurs entre plusieurs colonnes

df.query('a > b')  #Extraire les lignes où la valeur de la colonne a est supérieure à la valeur de la colonne b

Extraction conditionnelle de colonnes contenant des espaces dans les noms de colonnes

Si le nom de la colonne contient des espaces, le nom de la colonne doit être placé entre guillemets (\ `). Étant donné que cette fonction a été implémentée dans pandas 0.25.0, une erreur se produira dans la version 0.24.0 ou antérieure. https://pandas-docs.github.io/pandas-docs-travis/whatsnew/v0.25.0.html#other-enhancements

df.query(' `c c` > b')  #c Extraire les lignes où la valeur de la colonne c est supérieure à la valeur de la colonne b

Extraction de condition en spécifiant une chaîne de caractères

Si la condition est spécifiée sous forme de chaîne, la valeur doit être placée entre guillemets (").

df.query('e == "a" ')  #La valeur de la colonne e est une chaîne"a"Extraire la ligne qui est

Extraction de conditions par plusieurs conditions

Extraction de conditions à l'aide de plusieurs conditions et opérateurs logiques tels que et et ou.

df.query('a > 2 and b < 3')  #Extraire les lignes où la valeur de la colonne a est supérieure à 2 et la valeur de la colonne b est inférieure à 3

df.query('a > 2 or b < 3')  #Extraire les lignes où la valeur de la colonne a est supérieure à 2 ou la valeur de la colonne b est inférieure à 3

df.query('a > 2 or e == "d" ')  #La valeur de la colonne a est supérieure à 2 ou la valeur de la colonne e est une chaîne"d"Extraire la ligne qui est

df.query(' 2<= a <= 4')  #Extraire les lignes où la valeur de la colonne a est 2 ou plus et 4 ou moins

Extraction de condition en spécifiant inf

Si la valeur a inf, extrayez comme suit.

df.query(' d == inf')  #Extraire les lignes où la valeur de la colonne d est inf

df.query(' d != inf')  #Extraire les lignes où la valeur de la colonne d n'est pas inf

Extraction de conditions en spécifiant les valeurs manquantes

Si la valeur a une valeur manquante, extrayez-la comme suit.

df.query(' d != d')  #Extraire les lignes où la valeur de la colonne d est manquante

df.query(' d == d')  #Extraire les lignes où la valeur de la colonne d n'est pas manquante

Extraction de condition en spécifiant une valeur booléenne

Si la valeur a une valeur booléenne telle que True ou False, procédez à l'extraction comme suit.

df.query('f == True')  #Extraire les lignes où la valeur de la colonne f est True

df.query('f == False')  #Extraire les lignes où la valeur de la colonne f est False

Extraction conditionnelle à l'aide d'une liste

L'extraction conditionnelle est possible selon que la valeur est ou non dans la liste.

df.query(' a in (1, 2, 3)')  #La valeur de la colonne a est(1, 2, 3)Extraire une ligne qui est l'une des

df.query(' a not in (1, 2, 3)')  #La valeur de la colonne a est(1, 2, 3)Extraire une ligne qui n’est pas

Extraction conditionnelle à l'aide de variables

Il est possible d'utiliser une variable préparée à l'avance comme valeur de la condition.

x = 2  #Stocker 2 dans la variable x
df.query(' a == @x')  #Extraire les lignes où la valeur de la colonne a est x

y = [2, 3, 4]  #Enregistrer la liste dans la variable y
df.query('a in @y')  #Extraire les lignes où la valeur de la colonne a est l'une de y