Introduction de DataLiner ver.1.3 et comment utiliser Union Append

introduction

Nous avons implémenté toutes les principales fonctions attendues pour la sortie de DataLiner 1.3.1. À l'avenir, le rythme de développement consistera à ajouter des corrections de bogues et à effectuer un prétraitement de temps en temps.

Article de publication: https://qiita.com/shallowdf20/items/36727c9a18f5be365b37 GitHub: https://github.com/shallowdf20/dataliner Document: https://shallowdf20.github.io/dataliner/preprocessing.html

Installation

! pip install -U dataliner

Changements dans la version 1.3

Il y a les quatre suivants.

• Implémentation UnionAppend --StandardizeData aboli (renommé Standard Scaling) --Abolition de ArithmeticFeatureGenerator (renommé AppendArithmeticFeatures) --load_titanic implémentation

Ensuite, je présenterai l'utilisation spécifique.

Comment utiliser

Tout d'abord, importez le package à utiliser cette fois.

import dataliner as dl
from sklearn.pipeline import make_pipeline
from sklearn.ensemble import RandomForestClassifier

À partir de cette version, des données titanesques sont incluses dans le package, ce qui facilite son essai. Utilisez la méthode load_titanic pour charger les exemples de données titaniques.

X, X_test, y = dl.load_titanic()

Maintenant, X est les données à l'exclusion de "survécu" dans train.csv, X_test est test.csv et y est la colonne "survécu" dans train.csv.

Comment utiliser

Cette fois, je présenterai le processus appelé ** Union Append **.

Dans le prétraitement DataLiner, pratiquement tout le prétraitement qui ajoute de nouvelles fonctionnalités à partir de fonctionnalités existantes reçoit le nom de classe Append 〇〇.

C'est pourquoi nous avons changé ArithmeticFeatureGenerator en AppendArithmeticFeatures dans cette version. Les exceptions sont BinarizeNaN et CountRowNaN, mais ce sont les processus qui sont effectués avant le traitement de complétion / catégorie de valeur manquante en principe, donc ce nom est utilisé.

Ici, par exemple, disons que vous souhaitez ajouter des fonctionnalités dans leur ensemble, et supposons que vous construisez un pipeline comme suit.

process = make_pipeline(
    dl.ImputeNaN(),
    dl.TargetMeanEncoding(),
    dl.StandardScaling(),
    dl.AppendCluster(),
    dl.AppendAnomalyScore(),
    dl.AppendPrincipalComponent(),
    dl.AppendClusterTargetMean(),
    dl.AppendClassificationModel(model=RandomForestClassifier(n_estimators=100, max_depth=5)),
    dl.AppendClusterDistance(),
    dl.AppendArithmeticFeatures(),
)
process.fit_transform(X, y)

Dans cette méthode, par exemple, la quantité de fonctionnalités ajoutée par Append Cluster est utilisée comme données d'origine du prochain Append Anomaly Score. (Et le montant de la fonctionnalité augmentera régulièrement dans tous les Append 〇〇 ci-dessous)

Vous souhaiterez peut-être effectuer un traitement en parallèle au lieu d'un tel traitement en série afin que toutes les fonctionnalités qui sont à la base d'Append 〇〇 soient les mêmes. Vous pouvez utiliser Union Append dans ce cas.

process = make_pipeline(
    dl.ImputeNaN(),
    dl.TargetMeanEncoding(),
    dl.StandardScaling(),
    dl.UnionAppend([
        dl.AppendCluster(),
        dl.AppendAnomalyScore(),
        dl.AppendPrincipalComponent(),
        dl.AppendClusterTargetMean(),
        dl.AppendClassificationModel(model=RandomForestClassifier(n_estimators=100, max_depth=5)),
        dl.AppendClusterDistance(),
        dl.AppendArithmeticFeatures(),
    ]),
)
process.fit_transform(X, y)

En indiquant la classe Append ○○ que vous souhaitez appliquer à UnionAppend dans un tableau, toutes les fonctionnalités de base du traitement dans UnionAppend sont unifiées et les résultats du traitement de chaque Append ○○ sont combinés et renvoyés. Le résultat de l'exécution est le suivant.

Le traitement des données de test est comme d'habitude.

process.transform(X_test)

en conclusion

Ceci termine l'implémentation des fonctions initialement attendues et le prétraitement utilisé. À l'avenir, si je trouve une correction de bogue et un nouveau pré-traitement / je l'ajouterai si je peux y penser.