Essayez de traiter les données Titanic avec la bibliothèque de prétraitement DataLiner (conversion)

introduction

Ceci est le troisième article qui présente chaque processus de la bibliothèque de prétraitement Python DataLiner. Cette fois, je voudrais vous présenter le système de conversion.

Article de sortie: https://qiita.com/shallowdf20/items/36727c9a18f5be365b37

Installation

! pip install -U dataliner

Préparation des données

Préparez les données du Titanic comme d'habitude.

import pandas as pd
import dataliner as dl

df = pd.read_csv('train.csv')
target_col = 'Survived'

X = df.drop(target_col, axis=1)
y = df[target_col]

StandardScaling / StandardizeData(deprecated) Convertit les données afin qu'elles aient une moyenne de 0 et une distribution de 1. Contrairement aux bibliothèques telles que Sklearn, même si une colonne de catégorie est incluse, seule la chaîne numérique est automatiquement déterminée et elle est renvoyée par pandas DataFrame, le traitement ultérieur est donc facile. Étant donné que StandardizeData a été renommé StandardScaling, un avertissement de dépréciation sera émis et il sera supprimé dans la version 1.3.0.

trans = dl.StandardScaling() 
Xt = trans.fit_transform(X)

MinMaxScaling Convertit les données pour qu'elles tiennent entre 0 et 1.

trans = dl.MinMaxScaling() 
Xt = trans.fit_transform(X)

BinarizeNaN Recherche la colonne qui contient la valeur manquante et crée une nouvelle colonne binaire qui vous indique si la colonne était manquante.

trans = dl.BinarizeNaN() 
Xt = trans.fit_transform(X)

CountRowNaN Pour chaque point de données (ligne), comptez le nombre de valeurs manquantes incluses et ajoutez le total des valeurs manquantes en tant que nouvelle quantité d'entités.

trans = dl.CountRowNaN() 
Xt = trans.fit_transform(X)

ImputeNaN Complète les valeurs manquantes. Par défaut, la colonne numérique est complétée par la moyenne et la colonne catégorie est complétée par la valeur la plus fréquente. Il peut être modifié avec num_strategy et cat_strategy.

trans = dl.ImputeNaN() 
Xt = trans.fit_transform(X)

ClipData Définissez la fraction X et remplacez les données au-dessus et en dessous de la limite supérieure par les limites supérieure et inférieure. Vous pouvez ajuster la quantité que vous souhaitez découper avec l'argument de seuil, qui est par défaut 1%: 99%.

trans = dl.ClipData() 
Xt = trans.fit_transform(X)

GroupRareCategory Dans les variables catégorielles, les catégories peu fréquentes sont collectivement remplacées par la chaîne "RareCategory". Aide à réduire la cardinalité. Il est efficace de l'utiliser avant d'appliquer OneHotEncoding. Avec l'argument de seuil, vous pouvez modifier le pourcentage ou moins du nombre de données à remplacer. La valeur par défaut est 1%.

trans = dl.GroupRareCategory() 
Xt = trans.fit_transform(X)

en conclusion

Donc, cette fois, j'ai présenté les éléments du système de conversion de DataLiner. Le prétraitement mis en œuvre à ce moment (ver.1.1.6) sera le dernier du système Append qui sera introduit la prochaine fois.

Article sur la version Dataliner: https://qiita.com/shallowdf20/items/36727c9a18f5be365b37 GitHub: https://github.com/shallowdf20/dataliner PyPI: https://pypi.org/project/dataliner/