2. Analyse multivariée décrite dans Python 6-1. Régression de crête / Régression de lasso (scikit-learn) [régression multiple vs régression de crête]

• Pour le dire clairement, les deux sont des évolutions de l'analyse de régression multiple, ** Lasso est également appelé L1 et Ridge est également appelé L2 **, qui sont des relations de type jumeau.
• Quel type d'évolution est ** une analyse de régression multiple améliorée pour éviter le surapprentissage **.
• Dans l'analyse de régression multiple, le coefficient de régression est estimé de sorte que la fonction de perte (la somme des erreurs quadratiques de la valeur prédite et de la variable objective) soit minimisée, mais en plus de cela, évitez d'augmenter le coefficient de régression lui-même. L'ingéniosité ** a été appliquée.
• En général, un modèle avec un coefficient de régression élevé aura une grande sortie avec un petit mouvement de l'entrée. Un modèle aussi sensible a un risque élevé d'être applicable aux données d'entraînement, mais pas bien aux données inconnues.
• Par conséquent, ** une pénalité ** est ajoutée à la fonction de perte lorsque le nombre et le poids des variables augmentent, et ** le modèle lui-même supprime la taille du paramètre **.

• La formule ci-dessus est la définition de la fonction de perte avec la pénalité ajoutée, et la pénalité est appelée ** régularisation ** pour être exact.
• À mesure que le nombre de variables $ M $ augmente et que le poids $ W $ augmente également, la valeur du terme de régularisation augmente, et il est ajouté pour augmenter la valeur de la fonction de perte.
• Lorsque $ q $ du terme de régularisation est $ q = 1 $, on l'appelle régression de Lasso, et quand $ q = 2 $ est appelé régression de crête.

⑴ Bibliothèque d'importation

#Bibliothèque de traitement / calcul / analyse de données
import numpy as np
import pandas as pd

#Bibliothèque de dessins graphiques
import matplotlib.pyplot as plt
%matplotlib inline

#Bibliothèque d'apprentissage automatique
import sklearn

⑵ Acquisition et lecture de données

#Obtenez des données
url = 'https://raw.githubusercontent.com/yumi-ito/datasets/master/datasets_auto.csv'

#Lire les données acquises en tant qu'objet DataFrame
df = pd.read_csv(url, header=None)

#Définir le libellé de la colonne
df.columns = ['symboling', 'normalized-losses', 'make', 'fuel-type', 'aspiration', 'num-of-doors', 'body-style', 'drive-wheels', 'engine-location', 'wheel-base', 
              'length', 'width', 'height', 'curb-weight', 'engine-type', 'num-of-cylinders', 'engine-size', 'fuel-system', 'bore', 'stroke', 
              'compression-ratio', 'horsepower', 'peak-rpm', 'city-mpg', 'highway-mpg', 'price']

• Un ensemble de données qui prédit les prix des automobiles en fonction de diverses spécifications telles que le style de carrosserie, la taille de la carrosserie, le rendement énergétique et des informations sur les attributs tels que la cote de risque d'assurance.
• Données sur les voitures et les camions importés du modèle 1985 aux États-Unis, extraites de trois sources: Ward Automobile Yearbook 1985 edition, manuel automobile personnel du bureau des services d'assurance et rapport de collision d'assurance de la Road Safety Insurance Association. .. Cliquez ici pour plus de détails. https://archive.ics.uci.edu/ml/datasets/Automobile
• Le plan est organisé ci-dessous. Il existe un total de 25 variables explicatives, y compris des types numériques et des types d'attributs. La variable objective est le prix et le nombre d'échantillons est de 205.

#Forme des données de sortie et nombre de défauts
print(df.shape)
print('Nombre de défauts:{}'.format(df.isnull().sum().sum()))

#Sortir les 5 premières lignes de données
df.head()

(3) Prétraitement des données

• Tout d'abord, concentrons-nous sur seulement trois variables explicatives: la puissance, la largeur et la hauteur.
• Notez que cet ensemble de données contient une valeur non traitable "?", Vous devez donc supprimer l'échantillon contenant cela.

#Créer un DataFrame pour les colonnes cibles uniquement
auto = df[['price', 'horsepower', 'width', 'height']]

#Pour chaque colonne?Vérifiez le numéro qui contient
auto.isin(['?']).sum()

#"?Remplacez par NAN et supprimez la ligne par NAN
auto = auto.replace('?', np.nan).dropna()

#Vérifiez la forme de la matrice après suppression
auto.shape

• Il a été confirmé que le nombre de lignes est de 199, ce qui est obtenu en soustrayant 6 lignes comprenant "?" De l'original 205, et qu'il s'agit d'une matrice avec seulement 4 variables cibles.
• De plus, vérifiez les types de données de ces 4 variables.

#Confirmation du type de données
auto.dtypes

• Le type d'objet est égal au type str et doit être converti en type numérique.

#Convertir le type de données
auto = auto.assign(price = pd.to_numeric(auto.price))
auto = auto.assign(horsepower = pd.to_numeric(auto.horsepower))

#Vérifiez le type de données converti
auto.dtypes

• Dans la fonction pandas 'ʻassign () , si vous spécifiez column name = value` dans l'argument mot-clé, la valeur spécifiée sera affectée à la colonne existante, et s'il s'agit d'un nouveau nom de colonne, une nouvelle colonne sera ajoutée. ..
• Puis, à la fin du prétraitement des données, ** vérifier la matrice de corrélation ** avec la fonction corr () des pandas.

auto.corr()

• Le prix est la variable objective, donc lorsque l'on observe le coefficient de corrélation entre les autres variables explicatives, le coefficient de corrélation entre la largeur et la puissance est légèrement supérieur à 0,6 ou plus.
• Dans l'analyse de régression multiple, s'il existe une forte corrélation entre les variables explicatives, n'utilisez que les variables qui représentent les variables hautement corrélées. Il s'agit d'un phénomène appelé ** colinéarité multiple (communément appelée multi-co) **, qui pose des problèmes de calcul en raison de la forte corrélation entre les variables explicatives et provoque des valeurs anormales de coefficients et de rapports de cotes.
• Cependant, puisqu'il s'agit d'un test, nous continuerons d'utiliser les trois variables explicatives.

⑷ Construction et évaluation du modèle

#Vérifiez les données
print(auto)

** À l'aide de ces données, effectuez une estimation du modèle pour la régression des crêtes et l'analyse de régression multiple, et comparez la précision des deux. ** **

#Importation pour la construction de modèles de régression de crête
from sklearn.linear_model import Ridge

#Importation pour la construction de modèles d'analyse de régression multiple
from sklearn.linear_model import LinearRegression

#Import pour le partitionnement des données (données d'entraînement et données de test)
from sklearn.model_selection import train_test_split

• Utilisez la fonction pandas drop () pour supprimer la colonne price et ne définissez que les variables explicatives sur x et uniquement le price sur y.
• Dans la méthode train_test_split de sklearn, la variable explicative x et la variable objectif y sont respectivement séparées en données d'apprentissage (train) et données de test (test).

#Définir des variables explicatives et des variables objectives
x = auto.drop('price', axis=1)
y = auto['price']

#Divisé en données d'entraînement et données de test
X_train, X_test, Y_train, Y_test = train_test_split(x, y, test_size=0.5, random_state=0)

** Tout d'abord, créez un modèle pour l'analyse de régression multiple et calculez le taux de précision des données d'entraînement et des données de test. ** **

#Initialisation de la classe LinearRegression
linear = LinearRegression()

#Exécution de l'apprentissage
linear.fit(X_train, Y_train)

#Taux de réponse correct des données d'entraînement
train_score_linear = format(linear.score(X_train, Y_train))
print('Taux de réponse correct de l'analyse de régression multiple(train):', 
      '{:.6f}'.format(float(train_score_linear)))

#Taux de réponse correct des données de test
test_score_linear = format(linear.score(X_test, Y_test))
print('Taux de réponse correct de l'analyse de régression multiple(test):', 
      '{:.6f}'.format(float(test_score_linear)))

• '{:. Nombre de chiffres f}'. Format () spécifie le nombre de chiffres après la virgule décimale.
• Puisque le type de données de train_score_linear et test_score_linear est de type str, ils sont convertis en nombres à virgule flottante parfloat ().

** Ensuite, construisez un modèle de régression de crête et calculez le taux de précision des données d'entraînement et des données de test. ** **

#Initialisation de la classe Ridge
ridge = Ridge()

#Exécution de l'apprentissage
ridge.fit(X_train, Y_train)

#Taux de réponse correct des données d'entraînement
train_score_ridge = format(ridge.score(X_train, Y_train))
print('Taux de précision de la régression Ridge(train):', 
      '{:.6f}'.format(float(train_score_ridge)))

#Taux de réponse correct des données de test
test_score_ridge = format(ridge.score(X_test, Y_test))
print('Taux de précision de la régression Ridge(test):', 
      '{:.6f}'.format(float(test_score_ridge)))

• Il n'y a pas de différence significative dans les performances de la régression multiple et de la régression de crête dans ces modèles.
• Cependant, en tant que tendance, dans l'apprentissage des données d'entraînement, la régression multiple a un taux de précision plus élevé bien qu'il soit infime, et lorsqu'elle devient des données de test, la régression de crête est inversée. Ce renversement semble être un bon effet de régularisation.