2. Analyse multivariée définie dans Python 6-2. Régression Ridge / Régression Lasso (scikit-learn) [Régression Ridge vs régression Lasso]

• La régression Ridge / Régression Lasso dérivée de la régression multiple a un mécanisme pour supprimer le surapprentissage de la régression multiple **. Plus précisément, il est comme suit.

• La régression de crête traite du ** poids au carré **, tandis que la régression de Lasso est du ** poids absolu **.
• En répétant la section précédente, l'analyse de régression multiple conventionnelle trouve le coefficient qui minimise la somme des carrés d'erreur entre la valeur prédite et la valeur observée. En ajoutant une pénalité en fonction du nombre et du poids des variables, vous pouvez éviter que le coefficient ne devienne grand.

** Ici, je voudrais comparer trois modèles de régression multiple, y compris la régression Lasso. ** **

⑴ Bibliothèque d'importation

#Bibliothèque de traitement / calcul / analyse de données
import numpy as np
import pandas as pd

#Bibliothèque de dessins graphiques
import matplotlib.pyplot as plt
%matplotlib inline

#Bibliothèque d'apprentissage automatique
import sklearn

⑵ Acquisition et lecture de données

#Obtenez des données
url = 'https://raw.githubusercontent.com/yumi-ito/datasets/master/datasets_auto_4variables_pre-processed.csv'

#Lire les données acquises en tant qu'objet DataFrame
df = pd.read_csv(url, header=None)

#Définir le libellé de la colonne
df.columns = ['width', 'height', 'horsepower', 'price']

print(df)

• Il s'agit de données permettant de prédire le prix de la variable objective, en utilisant trois des différentes spécifications liées aux automobiles comme variables explicatives: largeur (largeur), hauteur (hauteur) et puissance (chevaux).
• Cliquez ici pour plus de détails tels que la source des données et un aperçu https://qiita.com/y_itoh/items/9befbf47869d66337dad
• Valeur inconnue "?" Et la valeur manquante a été supprimée, et le type de données a été converti en type float et type int.

#Confirmation de la forme des données
print('Forme des données:', df.shape)

#Confirmation des valeurs manquantes
print('Nombre de valeurs manquantes:{}\n'.format(df.isnull().sum().sum()))

#Confirmation du type de données
print(df.dtypes)

(3) Division des données d'entraînement et des données d'essai

#Importer pour la construction de modèles
from sklearn.linear_model import Ridge, Lasso, LinearRegression

#Importer pour la division des données
from sklearn.model_selection import train_test_split

• Utilisez la fonction pandas drop () pour supprimer la colonne price et définir uniquement les variables explicatives sur x et uniquement le prix sur y.
• Dans la méthode train_test_split de sklearn, la variable explicative x et la variable objectif y sont respectivement séparées en données d'apprentissage (train) et données de test (test).

#Définir des variables explicatives et des variables objectives
x = df.drop('price', axis=1)
y = df['price']

#Divisé en données d'entraînement et données de test
X_train, X_test, Y_train, Y_test = train_test_split(x, y, test_size=0.5, random_state=0)

⑷ Génération et évaluation de modèles

• Initialisez la régression multiple, la régression de crête et la régression de lasso en même temps, et utilisez l'instruction for pour générer un modèle, calculer le taux de réponse correct pour les données d'entraînement et calculer le taux de réponse correct pour les données de test à la fois.

#Initialisez chaque classe et stockez-la dans des modèles de variable de type dict
models = {
    'linear': LinearRegression(),
    'ridge': Ridge(random_state=0),
    'lasso': Lasso(random_state=0)}

#Initialisez la variable de type dict qui stocke le taux de réponse correct
scores = {}

#Générez chaque modèle en séquence, calculez et stockez le taux de réponse correct
for model_name, model in models.items():
    #Génération de modèle
    model.fit(X_train, Y_train)
    #Taux de réponse correct des données d'entraînement
    scores[(model_name, 'train')] = model.score(X_train, Y_train)
    #Taux de réponse correct des données de test
    scores[(model_name, 'test')] = model.score(X_test, Y_test)

#Convertir le type de dict en liste unidimensionnelle de pandas
print(pd.Series(scores))

• Si vous tournez l'objet dict tel qu'il est avec l'instruction for, la clé de chaque élément sera obtenue, mais si vous utilisez ʻitems (): `, vous pouvez obtenir à la fois la clé et la valeur de chaque élément.
• Calculez le taux de réponse correct avec la fonction score () de sklearn, et stockez model_name et soit train ou test comme un ensemble comme clé.

• Le taux de réponse correct des données d'entraînement est ** Régression Ridge <Régression Lasso = Régression multiple **, et le taux de réponse correct des données de test est ** Régression Ridge> Régression Lasso> Régression multiple **.
• En se concentrant sur la régression Lasso, le taux de précision des données d'entraînement est le même que celui de la régression multiple, et dans les données de test, il est légèrement supérieur à la régression multiple, mais pas autant que la régression de crête.
• Cependant, le paramètre $ λ $ ** qui spécifie la force de la régularisation reste inchangé, et la valeur par défaut pour les deux scicit-learn est $ λ = 1.0 $.

** Donc, je voudrais changer les paramètres de régularisation et comparer. ** **

Paramètres de régularisation

• Si le paramètre $ λ $ qui spécifie la force de la régularisation est augmenté, l'effet de la pénalité devient plus fort, de sorte que la valeur absolue du coefficient de régression peut être maintenue petite.

• Les paramètres des paramètres sont spécifiés dans l'argument avec ʻalpha = `lors de l'initialisation de la classe et de la création d'un modèle de modèle. Essayez-le avec $ alpha = 10,0 $.

#réglages des paramètres
alpha = 10.0

#Initialiser chaque classe et stocker dans des modèles
models = {
    'ridge': Ridge(alpha=alpha, random_state=0),
    'lasso': Lasso(alpha=alpha, random_state=0)}

#Initialisez la variable de type dict qui stocke le taux de réponse correct
scores = {}

#Exécutez chaque modèle en séquence et enregistrez le taux de réponse correct
for model_name, model in models.items():
    model.fit(X_train, Y_train)
    scores[(model_name, 'train')] = model.score(X_train, Y_train)
    scores[(model_name, 'test')] = model.score(X_test, Y_test)

print(pd.Series(scores))

• Voici le résultat de la modification du paramètre de régularisation $ λ $ étape par étape.

• Dans cet exemple, tout d'abord, la régression de crête a tendance à s'inverser dans les données d'entraînement lorsqu'elle est à la baisse et dans les données de test, et la tendance devient plus remarquable à mesure que $ λ $ augmente. D'autre part, la régression de Lasso se comporte généralement lentement, et même si $ λ $ augmente, le rendement des données d'apprentissage est bon et le taux de précision des données de test augmente petit à petit à mesure que $ λ $ augmente.
• La différence est simplement de savoir si le coefficient est au carré ou si la valeur absolue est prise, mais l'ampleur de la pénalité est plus grande pour la régression Lasso en fonction du coefficient, et en bref, le type d'influence est différent.
• Concernant l'effet de chaque régularisation, je voudrais aller plus loin en considérant la relation avec le coefficient.