<Cours> Machine learning Chapitre 2: Modèle de régression non linéaire
Apprentissage automatique
table des matières Chapitre 1: Modèle de régression linéaire [Chapitre 2: Modèle de régression non linéaire] (https://qiita.com/matsukura04583/items/baa3f2269537036abc57) [Chapitre 3: Modèle de régression logistique] (https://qiita.com/matsukura04583/items/0fb73183e4a7a6f06aa5) [Chapitre 4: Analyse des composants principaux] (https://qiita.com/matsukura04583/items/b3b5d2d22189afc9c81c) [Chapitre 5: Algorithme 1 (méthode de voisinage k (kNN))] (https://qiita.com/matsukura04583/items/543719b44159322221ed) [Chapitre 6: Algorithme 2 (k-means)] (https://qiita.com/matsukura04583/items/050c98c7bb1c9e91be71) [Chapitre 7: Support Vector Machine] (https://qiita.com/matsukura04583/items/6b718642bcbf97ae2ca8)
Chapitre 2: Modèle de régression non linéaire
Description du modèle de régression non linéaire
- Effectuer une modélisation de régression non linéaire pour les phénomènes inhérents aux structures non linéaires complexes
- Limité si la structure des données peut être capturée linéairement
- Besoin d'un mécanisme pour capturer les structures non linéaires
- Méthode d'expansion de base
- En tant que fonction de régression, nous utilisons une fonction non linéaire connue appelée fonction de base et une combinaison linéaire de vecteurs de paramètres.
- Les paramètres inconnus sont estimés par la méthode des moindres carrés ou la méthode la plus probable comme dans le modèle de régression linéaire.
-
y_i=f(x_i)+\epsilon_i
Ce n'est pas très différent du modèle linéaire, juste le mappage linéaire est multiplié par la partie
-
Fonctions de base couramment utilisées
-
Fonction polygone
-
Fonction de base gaussienne
-
-
Fonction spline / fonction spline B
-
Régression non linéaire basée sur une fonction de base unidimensionnelle
-
Régression non linéaire basée sur une fonction de base bidimensionnelle
-
Sous-ajustement et sur-ajustement
-
Un modèle pour lequel une erreur suffisamment petite ne peut pas être obtenue pour les données d'apprentissage → Non entraîné
-
(Contre-mesure 1) Utilisez un modèle avec une expressivité élevée car l'expressivité du modèle est faible.
-
(Contre-mesure 2) ** Supprimer les fonctions de base inutiles (variables) ** pour supprimer l'expressivité
-
(Contre-mesure 3) Supprimez l'expressivité en utilisant la méthode de régularisation
- Les deux derniers sont des moyens d'ajuster la complexité du modèle
-
Supprimez les fonctions de base inutiles
-
La complexité du modèle change en fonction du nombre, de la position et de la bande passante des fonctions de base
-
Si vous préparez de nombreuses fonctions de base pour le problème que vous souhaitez résoudre, des problèmes de surapprentissage se produiront, alors préparez les fonctions de base appropriées (sélectionnez par CV, etc.)
-
Méthode de régularisation (méthode de pénalisation)
-
Minimiser "une fonction qui impose un terme de régularisation (terme de pénalité) dont la valeur augmente avec la complexité du modèle"
-
Terme de régularisation (terme de pénalité)
-
Il existe plusieurs types en fonction de la forme, et chacun a des propriétés d'estimation différentes.
-
Paramètres de régularisation (lissage)
-
Ajuster la douceur de la courbe du modèle ▶ Besoin de décider correctement
-
Rôle du terme de régularisation (terme de pénalité)
-
Aucun ▶ Estimation du carré minimum
-
Utiliser la norme L2 ▶ ** Estimation de la crête </ font> **
-
Utiliser la norme L1 ▶ ** Estimation au lasso </ font> **
-
Rôle du parater régularisé
-
Petite ▶ Grande contrainte
-
Large ▶ Petite surface de contrainte
- Performances de généralisation
- Performances de prédiction non seulement pour les entrées utilisées pour l'apprentissage, mais aussi pour les nouvelles entrées qui n'ont jamais été vues auparavant
- Un modèle avec de bonnes performances est un modèle avec une petite erreur de généralisation (erreur de test) (pas une erreur d'apprentissage)
- L'erreur de généralisation est généralement estimée en mesurant les performances avec des données de validation collectées séparément des données d'entraînement
- Décomposition Biais / Variance (Reference) Bias-Variant Decomposition: Machine Learning Performance Evaluation
-
Si votre modèle est désappris ou surentraîné dans les données
-
L'erreur d'entraînement et l'erreur de test sont petites ▶ Possibilité de modèle généralisé
-
Petite erreur de formation mais grande erreur de test ▶ Superapprentissage
-
Ni l'erreur de formation ni l'erreur de test ne deviennent minimes ▶ Non appris
-
Dans le cas de la régression, la solution est obtenue explicitement (en comparant les valeurs d'erreur d'apprentissage et d'erreur d'apprentissage) 52 Modèle de régression non linéaire
-
Méthode Holdout
-
Divisez les données finies en deux parties, une pour la formation et une pour les tests, et utilisez-les pour estimer la «précision de la prédiction» et le «taux d'erreur».
-
Si vous augmentez le nombre pour l'apprentissage, le nombre pour les tests diminuera et la précision d'apprentissage s'améliorera, mais l'exactitude de l'évaluation des performances se détériorera.
-
Au contraire, si le nombre de tests est augmenté, la quantité d'apprentissage est réduite, de sorte que la précision de l'apprentissage elle-même se détériore.
-
Il y a un inconvénient: il ne donne pas une bonne évaluation des performances à moins qu'il y ait une grande quantité de données à portée de main. Par exemple, si vous le divisez en deux, il y a un risque que les données perdues soient envoyées à un seul d'entre eux.
-
Dans le modèle de régression non linéaire basé sur la méthode d'expansion de base, le nombre, la position, la valeur de bande passante et les paramètres de réglage de la fonction de base sont déterminés par le modèle qui réduit la valeur d'exclusion.53 Modèle de régression non linéaire
Validation croisée
Les données de vérification et les données d'apprentissage suivantes sont séparées pour chaque itérateur et le modèle est préparé. Voici un exemple de division des données en 5 parties pour la formation et l'évaluation. L'important est de ne pas couvrir les données de vérification et les données de formation.
Même si la précision est de 70% lorsqu'elle est vérifiée par la méthode de vérification des retenues et de 65% pour le CV, le CV est utilisé pour estimer les performances de généralisation. La validation croisée a des performances de généralisation plus élevées que la méthode de vérification d'exclusion.
(Entraine toi)
Google Drive Mount
from google.colab import drive
drive.mount('/content/drive')
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
%matplotlib inline
#paramètres Seaborn
sns.set()
#Changement de fond
sns.set_style("darkgrid", {'grid.linestyle': '--'})
#Taille(Changement d'échelle)
sns.set_context("paper")
n=100
def true_func(x):
z = 1-48*x+218*x**2-315*x**3+145*x**4
return z
def linear_func(x):
z = x
return z
#Générer des données bruyantes à partir de vraies fonctions
#Génération de données à partir d'une vraie fonction
data = np.random.rand(n).astype(np.float32)
data = np.sort(data)
target = true_func(data)
#Ajoute du bruit
noise = 0.5 * np.random.randn(n)
target = target + noise
#Dessiner des données avec du bruit
plt.scatter(data, target)
plt.title('NonLinear Regression')
plt.legend(loc=2)
from sklearn.linear_model import LinearRegression
clf = LinearRegression()
data = data.reshape(-1,1)
target = target.reshape(-1,1)
clf.fit(data, target)
p_lin = clf.predict(data)
plt.scatter(data, target, label='data')
plt.plot(data, p_lin, color='darkorange', marker='', linestyle='-', linewidth=1, markersize=6, label='linear regression')
plt.legend()
print(clf.score(data, target))
from sklearn.kernel_ridge import KernelRidge
clf = KernelRidge(alpha=0.0002, kernel='rbf')
clf.fit(data, target)
p_kridge = clf.predict(data)
plt.scatter(data, target, color='blue', label='data')
plt.plot(data, p_kridge, color='orange', linestyle='-', linewidth=3, markersize=6, label='kernel ridge')
plt.legend()
#plt.plot(data, p, color='orange', marker='o', linestyle='-', linewidth=1, markersize=6)
#Ridge
from sklearn.metrics.pairwise import rbf_kernel
from sklearn.linear_model import Ridge
kx = rbf_kernel(X=data, Y=data, gamma=50)
#KX = rbf_kernel(X, x)
#clf = LinearRegression()
clf = Ridge(alpha=30)
clf.fit(kx, target)
p_ridge = clf.predict(kx)
plt.scatter(data, target,label='data')
for i in range(len(kx)):
plt.plot(data, kx[i], color='black', linestyle='-', linewidth=1, markersize=3, label='rbf', alpha=0.2)
#plt.plot(data, p, color='green', marker='o', linestyle='-', linewidth=0.1, markersize=3)
plt.plot(data, p_ridge, color='green', linestyle='-', linewidth=1, markersize=3,label='ridge regression')
#plt.legend()
print(clf.score(kx, target))
from sklearn.preprocessing import PolynomialFeatures
from sklearn.pipeline import Pipeline
#PolynomialFeatures(degree=1)
deg = [1,2,3,4,5,6,7,8,9,10]
for d in deg:
regr = Pipeline([
('poly', PolynomialFeatures(degree=d)),
('linear', LinearRegression())
])
regr.fit(data, target)
# make predictions
p_poly = regr.predict(data)
# plot regression result
plt.scatter(data, target, label='data')
plt.plot(data, p_poly, label='polynomial of degree %d' % (d))
#Lasso
from sklearn.metrics.pairwise import rbf_kernel
from sklearn.linear_model import Lasso
kx = rbf_kernel(X=data, Y=data, gamma=5)
#KX = rbf_kernel(X, x)
#lasso_clf = LinearRegression()
lasso_clf = Lasso(alpha=10000, max_iter=1000)
lasso_clf.fit(kx, target)
p_lasso = lasso_clf.predict(kx)
plt.scatter(data, target)
#plt.plot(data, p, color='green', marker='o', linestyle='-', linewidth=0.1, markersize=3)
plt.plot(data, p_lasso, color='green', linestyle='-', linewidth=3, markersize=3)
print(lasso_clf.score(kx, target))
from sklearn import model_selection, preprocessing, linear_model, svm
# SVR-rbf
clf_svr = svm.SVR(kernel='rbf', C=1e3, gamma=0.1, epsilon=0.1)
clf_svr.fit(data, target)
y_rbf = clf_svr.fit(data, target).predict(data)
# plot
plt.scatter(data, target, color='darkorange', label='data')
plt.plot(data, y_rbf, color='red', label='Support Vector Regression (RBF)')
plt.legend()
plt.show()
résultat
/usr/local/lib/python3.6/dist-packages/sklearn/utils/validation.py:724: DataConversionWarning: A column-vector y was passed when a 1d array was expected. Please change the shape of y to (n_samples, ), for example using ravel().
y = column_or_1d(y, warn=True)
/usr/local/lib/python3.6/dist-packages/sklearn/utils/validation.py:724: DataConversionWarning: A column-vector y was passed when a 1d array was expected. Please change the shape of y to (n_samples, ), for example using ravel().
y = column_or_1d(y, warn=True)
from sklearn.model_selection import train_test_split
x_train, x_test, y_train, y_test = train_test_split(data, target, test_size=0.1, random_state=0)
from keras.callbacks import EarlyStopping, TensorBoard, ModelCheckpoint
cb_cp = ModelCheckpoint('/content/drive/My Drive/study_ai_ml/skl_ml/out/checkpoints/weights.{epoch:02d}-{val_loss:.2f}.hdf5', verbose=1, save_weights_only=True)
cb_tf = TensorBoard(log_dir='/content/drive/My Drive/study_ai_ml/skl_ml/out/tensorBoard', histogram_freq=0)
def relu_reg_model():
model = Sequential()
model.add(Dense(10, input_dim=1, activation='relu'))
model.add(Dense(1000, activation='relu'))
model.add(Dense(1000, activation='relu'))
model.add(Dense(1000, activation='relu'))
model.add(Dense(1000, activation='relu'))
model.add(Dense(1000, activation='relu'))
model.add(Dense(1000, activation='relu'))
model.add(Dense(1000, activation='relu'))
model.add(Dense(1000, activation='linear'))
# model.add(Dense(100, activation='relu'))
# model.add(Dense(100, activation='relu'))
# model.add(Dense(100, activation='relu'))
# model.add(Dense(100, activation='relu'))
model.add(Dense(1))
model.compile(loss='mean_squared_error', optimizer='adam')
return model
from keras.models import Sequential
from keras.layers import Input, Dense, Dropout, BatchNormalization
from keras.wrappers.scikit_learn import KerasRegressor
# use data split and fit to run the model
estimator = KerasRegressor(build_fn=relu_reg_model, epochs=100, batch_size=5, verbose=1)
history = estimator.fit(x_train, y_train, callbacks=[cb_cp, cb_tf], validation_data=(x_test, y_test))
résultat
WARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/keras/backend/tensorflow_backend.py:66: The name tf.get_default_graph is deprecated. Please use tf.compat.v1.get_default_graph instead.
WARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/keras/backend/tensorflow_backend.py:541: The name tf.placeholder is deprecated. Please use tf.compat.v1.placeholder instead.
WARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/keras/backend/tensorflow_backend.py:4432: The name tf.random_uniform is deprecated. Please use tf.random.uniform instead.
WARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/keras/optimizers.py:793: The name tf.train.Optimizer is deprecated. Please use tf.compat.v1.train.Optimizer instead.
WARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/keras/backend/tensorflow_backend.py:1033: The name tf.assign_add is deprecated. Please use tf.compat.v1.assign_add instead.
WARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/keras/backend/tensorflow_backend.py:1020: The name tf.assign is deprecated. Please use tf.compat.v1.assign instead.
WARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/keras/backend/tensorflow_backend.py:3005: The name tf.Session is deprecated. Please use tf.compat.v1.Session instead.
Train on 90 samples, validate on 10 samples
WARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/keras/backend/tensorflow_backend.py:190: The name tf.get_default_session is deprecated. Please use tf.compat.v1.get_default_session instead.
WARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/keras/backend/tensorflow_backend.py:197: The name tf.ConfigProto is deprecated. Please use tf.compat.v1.ConfigProto instead.
WARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/keras/backend/tensorflow_backend.py:207: The name tf.global_variables is deprecated. Please use tf.compat.v1.global_variables instead.
WARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/keras/backend/tensorflow_backend.py:216: The name tf.is_variable_initialized is deprecated. Please use tf.compat.v1.is_variable_initialized instead.
WARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/keras/backend/tensorflow_backend.py:223: The name tf.variables_initializer is deprecated. Please use tf.compat.v1.variables_initializer instead.
WARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/keras/callbacks.py:1122: The name tf.summary.merge_all is deprecated. Please use tf.compat.v1.summary.merge_all instead.
WARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/keras/callbacks.py:1125: The name tf.summary.FileWriter is deprecated. Please use tf.compat.v1.summary.FileWriter instead.
Epoch 1/100
90/90 [==============================] - 2s 17ms/step - loss: 1.7399 - val_loss: 0.4522
Epoch 00001: saving model to /content/drive/My Drive/study_ai_ml/skl_ml/out/checkpoints/weights.01-0.45.hdf5
---------------------------------------------------------------------------
OSError Traceback (most recent call last)
<ipython-input-19-26d4341f0e70> in <module>()
6 estimator = KerasRegressor(build_fn=relu_reg_model, epochs=100, batch_size=5, verbose=1)
7
----> 8 history = estimator.fit(x_train, y_train, callbacks=[cb_cp, cb_tf], validation_data=(x_test, y_test))
8 frames
/usr/local/lib/python3.6/dist-packages/h5py/_hl/files.py in make_fid(name, mode, userblock_size, fapl, fcpl, swmr)
146 fid = h5f.create(name, h5f.ACC_EXCL, fapl=fapl, fcpl=fcpl)
147 elif mode == 'w':
--> 148 fid = h5f.create(name, h5f.ACC_TRUNC, fapl=fapl, fcpl=fcpl)
149 elif mode == 'a':
150 # Open in append mode (read/write).
h5py/_objects.pyx in h5py._objects.with_phil.wrapper()
h5py/_objects.pyx in h5py._objects.with_phil.wrapper()
h5py/h5f.pyx in h5py.h5f.create()
OSError: Unable to create file (unable to open file: name = '/content/drive/My Drive/study_ai_ml/skl_ml/out/checkpoints/weights.01-0.45.hdf5', errno = 2, error message = 'No such file or directory', flags = 13, o_flags = 242)
y_pred = estimator.predict(x_train)
résultat
90/90 [==============================] - 0s 1ms/step
plt.title('NonLiner Regressions via DL by ReLU')
plt.plot(data, target, 'o')
plt.plot(data, true_func(data), '.')
plt.plot(x_train, y_pred, "o", label='predicted: deep learning')
#plt.legend(loc=2)
print(lasso_clf.coef_)
résultat
[-0. -0. -0. -0. -0. -0. -0. -0. -0. -0. -0. -0. -0. -0. -0. -0. -0. -0.
-0. -0. -0. -0. -0. -0. -0. -0. -0. -0. -0. -0. -0. -0. -0. -0. -0. -0.
-0. -0. -0. -0. -0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.
0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.
0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.
0. 0. 0. 0. 0. 0. 0. 0. 0. 0.]
Sites connexes
Chapitre 1: Modèle de régression linéaire [Chapitre 2: Modèle de régression non linéaire] (https://qiita.com/matsukura04583/items/baa3f2269537036abc57) [Chapitre 3: Modèle de régression logistique] (https://qiita.com/matsukura04583/items/0fb73183e4a7a6f06aa5) [Chapitre 4: Analyse des composants principaux] (https://qiita.com/matsukura04583/items/b3b5d2d22189afc9c81c) [Chapitre 5: Algorithme 1 (méthode de voisinage k (kNN))] (https://qiita.com/matsukura04583/items/543719b44159322221ed) [Chapitre 6: Algorithme 2 (k-means)] (https://qiita.com/matsukura04583/items/050c98c7bb1c9e91be71) [Chapitre 7: Support Vector Machine] (https://qiita.com/matsukura04583/items/6b718642bcbf97ae2ca8)
Recommended Posts