Comprendre l'apprentissage automatique ~ régression de crête ~.

introduction

Ravi de vous rencontrer. C'est m0rio0818. J'ai récemment commencé à étudier l'apprentissage automatique. Je tâtonne encore, mais j'aimerais le garder ici comme mémorandum.

Je ne suis pas bon au SNS en général, donc je n'ai pas continué pour la première fois, mais je ferai de mon mieux pour continuer à poster. J'étudie seul et je pense qu'il y a des erreurs. Je vous serais reconnaissant de bien vouloir le signaler.

Méthode du carré minimum

Tout d'abord, je voudrais aborder brièvement la méthode du carré minimum. Dans l'analyse de régression par apprentissage automatique, les formules sont créées à l'aide de la théorie de la méthode des moindres carrés. En tant qu'image de la méthode des moindres carrés, prenez un graphique et tracez une ligne droite passant par le milieu de chaque donnée. Soit l'expression linéaire y = ax + b. Pour le moment, j'ai essayé de tracer une ligne droite pour faire une image. L'image est présentée ci-dessous.

Il y a un décalage entre cette prédiction et la situation réelle. Soit l'erreur entre cette droite et chaque point e1, e2, e3, e4, e5 dans la figure ci-dessus. Mettez l'erreur au carré et divisez par 5.

E = \frac{e1^2 + e2^2 + e3^2 + e4^2 + e5^2}{5}

Plus cette erreur E est petite, meilleure est la droite de régression. De plus, la méthode du carré minimum n'impose pas de restrictions sur a et b lors de la création d'une formule de prédiction (formule de retour).

Retour de crête

Vient ensuite la régression des crêtes. La régression Ridge est une version légèrement modifiée de la méthode des moindres carrés mentionnée précédemment. En particulier, ・ La méthode du carré minimum ne traitait que de l'erreur E.

-Dans la régression de crête, considérons F, qui est la somme de l'erreur E et du carré du coefficient. F est également appelé «terme de régularisation».

 F = {a^2 + b^2}

Puis, avec L = E + F, calculez les coefficients a et b qui minimisent L. En réalité, le degré d'influence de F peut être ajusté en multipliant le terme de régularisation par un certain nombre, tel que L = E + 0,2 × F.

La régression de crête est l'une des régressions linéaires régularisées, qui est la régression linéaire plus le carré du poids appris.

De plus, la régression des crêtes peut empêcher le surapprentissage.

finalement

J'ai utilisé les références suivantes.

J'ai une petite idée de ce à quoi ressemble une régression de crête. La prochaine fois, j'aimerais mettre en œuvre la régression des crêtes.

Références

Livres Apprentissage automatique avec python que vous pouvez comprendre clairement

Site Internet https://aizine.ai/ridge-lasso-elasticnet/