Essayez de traiter les données Titanic avec la bibliothèque de prétraitement DataLiner (Append)

introduction

Ceci est le 4ème article qui présente chaque processus de la bibliothèque de prétraitement Python DataLiner. Cette fois, je voudrais vous présenter le système Append. Ceci achève tout le prétraitement actuellement mis en œuvre.
Nous prévoyons de publier la version 1.2 avec un pré-traitement ajouté après GW, donc j'aimerais à nouveau écrire un article d'introduction à ce moment-là.

Article de sortie: https://qiita.com/shallowdf20/items/36727c9a18f5be365b37 document: https://shallowdf20.github.io/dataliner/preprocessing.html

Installation

! pip install -U dataliner

Préparation des données

Préparez les données du Titanic comme d'habitude.

import pandas as pd
import dataliner as dl

df = pd.read_csv('train.csv')
target_col = 'Survived'

X = df.drop(target_col, axis=1)
y = df[target_col]

AppendAnomalyScore Isolation Forest est entraînée en fonction des données et le score des valeurs aberrantes est ajouté en tant que nouvelle quantité de caractéristiques. La complétion des valeurs manquantes et le traitement des variables catégorielles sont nécessaires avant utilisation.

trans = dl.AppendAnomalyScore()
process = make_pipeline(
    dl.ImputeNaN(),
    dl.RankedTargetMeanEncoding(),
    trans
)
process.fit_transform(X, y)

AppendCluster Les données sont regroupées avec KMeans ++ et, par conséquent, le numéro du cluster auquel chaque donnée appartient est ajouté en tant que nouvelle quantité de fonctionnalités. La complétion des valeurs manquantes et le traitement des variables catégorielles sont nécessaires avant utilisation. La mise à l'échelle est également recommandée.

trans = dl.AppendCluster()
process = make_pipeline(
    dl.ImputeNaN(),
    dl.RankedTargetMeanEncoding(),
    dl.StandardScaling(),
    trans
)
process.fit_transform(X, y)

AppendClusterDistance Les données sont regroupées avec KMeans ++ et, par conséquent, la distance entre chaque donnée et chaque cluster est ajoutée en tant que nouvelle quantité d'entités. La complétion des valeurs manquantes et le traitement des variables catégorielles sont nécessaires avant utilisation. La mise à l'échelle est également recommandée.

trans = dl.AppendClusterDistance()
process = make_pipeline(
    dl.ImputeNaN(),
    dl.RankedTargetMeanEncoding(),
    dl.StandardScaling(),
    trans
)
process.fit_transform(X, y)

AppendPrincipalComponent Effectuez une analyse du composant principal sur les données et ajoutez le composant principal en tant que nouvelle quantité d'entités. La complétion des valeurs manquantes et le traitement des variables catégorielles sont nécessaires avant utilisation. La mise à l'échelle est également recommandée.

trans = dl.AppendPrincipalComponent()
process = make_pipeline(
    dl.ImputeNaN(),
    dl.RankedTargetMeanEncoding(),
    dl.StandardScaling(),
    trans
)
process.fit_transform(X, y)

en conclusion

Présentation des éléments Append de DataLiner. À l'avenir, j'aimerais écrire un article d'introduction sur la fonction lors de la mise à jour de DataLiner.

Article sur la version Dataliner: https://qiita.com/shallowdf20/items/36727c9a18f5be365b37 Documentation: https://shallowdf20.github.io/dataliner/preprocessing.html GitHub: https://github.com/shallowdf20/dataliner PyPI: https://pypi.org/project/dataliner/