Comprendre le contenu du pipeline sklearn

Qu'est-ce que c'est

J'avais l'habitude d'utiliser le pipeline de sklearn de temps en temps, mais quand je le réglais sur pipeline.fit_transform (X, y), j'étais curieux de savoir quel type de traitement était effectué dans le pipeline, donc le document officiel [^ 1] et J'ai décidé de lire le code source [^ 2] et de l'organiser.

De plus, la prise de conscience du problème que j'avais est décrite dans le commentaire du code ci-dessous. Certaines personnes peuvent penser: «C'est naturel!», Mais j'étais vraiment curieuse, alors j'ai cherché.

#Prise de conscience du problème 1:Monter dans le convertisseur_transform,L'ajustement est appelé dans l'estimateur??
#Sensibilisation aux problèmes 2:Que dois-je faire si je veux transmettre des paramètres au convertisseur ou à l'estimateur à ce moment? ??
#Sensibilisation aux problèmes 3:Quelles sont les conditions à remplir si vous souhaitez installer votre propre estimateur / convertisseur???
pipe.fit(X, y)

#Sensibilisation aux problèmes 4:Monter dans le convertisseur_transform,L'estimateur appelle prédire??
pipe.predict(X)

1. Qu'est-ce que le pipeline

Lors de l'utilisation d'un estimateur qui effectue la classification et la régression dans un projet d'apprentissage automatique, un transformateur est souvent utilisé ensemble. Le pipeline est fourni en tant que fonction qui peut intégrer le traitement de la conversion des données à l'apprentissage / estimation comme un estimateur.

1.1. Exemple d'utilisation du pipeline

Le pipeline se compose d'une liste dont les éléments sont des tapples de (clé, valeur). Passez le nom de l'estimateur / convertisseur en clé et l'objet de l'estimateur / convertisseur en valeur comme étapes de pipeline. Un exemple d'utilisation est présenté ci-dessous.

from sklearn.pipeline import Pipeline
from sklearn.svm import SVC
from sklearn.decomposition import PCA
from sklearn import datasets

#Préparation d'échantillons de données
iris = datasets.load_iris()
X, y = iris.data, iris.target

#Créer un pipeline
estimators = [('reduce_dim', PCA()), ('clf', SVC())]
pipe = Pipeline(steps=estimators)

#Apprentissage
pipe.fit(X, y)

#Prévoir
pipe.predict(X)

2. Exigences relatives aux estimateurs / convertisseurs

Vous voudrez peut-être mettre votre propre estimateur / convertisseur dans le pipeline. Décrivez les exigences qui doivent être remplies à ce moment-là. Les exigences changent à la fin des étapes du pipeline (final_estimator) ou à la fin d'autres étapes (not_final_estimator).

• Dans le document, not_final_estimator est appelé transform, mais comme il est couvert par la méthode de transformation, le nom est changé dans cet article.

--final_estimator: avoir une méthode d'ajustement --not_final_estimator: avoir des méthodes d'ajustement et de transformation, ou des méthodes fit_transform

En fonction de la méthode appelée par pipeline, les exigences augmenteront, mais les exigences minimales à respecter sont ci-dessus.

3. Traitement en cours

Comme indiqué dans le code en 1.1., J'ai vérifié le traitement dans le pipeline lors de l'appel de pipeline.fit et pipeline.predict [^ 3]. Les méthodes qui seront fréquemment utilisées dans le pipeline sont résumées ci-dessous. À gauche, la méthode du pipeline, les paramètres qui lui sont passés, la méthode appelée not_final_estimator et la méthode appelée final_estimator.

Les points à noter sont énumérés ci-dessous.

--Si la méthode fit_transform n'est pas définie, les méthodes fit et transform sont exécutées en séquence.

• Contrairement à la méthode fit_transform, une erreur se produira si la méthode fit_predict n'est pas définie.
• \ * \ * fit_params peut être passé avec nom de l'étape cible (partie clé de taple) __ nom de paramètre.
• Exemple: pipeline.fit (X, y, key1__param1 = True)
• Contrairement à \ * \ * fit_params, \ * \ * predict_params ne peut transmettre des paramètres qu'à la méthode de prédiction appelée final_estimator. En ce qui concerne la méthode de description, spécifiez simplement le nom du paramètre dans la méthode de prédiction tel quel.
• Exemple: pipeline.predict (X, param1 = True)

En passant, le modèle compatible sklearn ne doit pas être conçu pour accepter des paramètres lorsque la méthode d'ajustement est exécutée. Par conséquent, il vaut mieux éviter autant que possible de passer des paramètres en utilisant \ * \ * fit_params. Le modèle compatible sklearn est décrit en détail dans ici.

[^ 1]: Guide de l'utilisateur [^ 2]: Code source [^ 3]: documentation du pipeline