Deep Learning from scratch Chapter 2 Perceptron (lecture du mémo)

introduction

Quel est cet article?

C'est un matériel et un mémo pour la session d'étude. Nous ne pouvons pas garantir la validité du contenu, nous vous recommandons donc de ne pas citer.

Lien de référence

• [Perceptron-Wikipedia](https://ja.wikipedia.org/wiki/%E3%83%91%E3%83%BC%E3%82%BB%E3%83%97%E3%83%88% E3% 83% AD% E3% 83% B3)
• Apprentissage automatique que même les diplômés du secondaire peuvent comprendre (2) Simple Perceptron | Quand vous y pensez dans votre tête
• Apprentissage automatique que même les diplômés du secondaire peuvent comprendre (3) Perceptron multicouche | Quand vous y pensez dans votre tête
• Début du 15e problème de classification: Commençons l'apprentissage automatique | gihyo.jp… Société d'examen technique
• Apprentissage automatique avec un mari-Perceptron --- le manoir de Kengo

2.1 Qu'est-ce que Perceptron?

_2 Input Perceptron (à partir de "Deep Learning from Zero" P.22) _

• Un modèle qui reçoit plusieurs signaux comme entrées et produit un signal --Le signal est une valeur binaire de 0 (ne pas s'écouler) ou 1 (débit) --Chaque entrée est multipliée par un poids unique $ w ^ 1, w ^ 2 ... $ (par exemple $ w ^ 1x ^ 1 $)
• Plus le poids est élevé, plus le signal cible devient important.
• Sort 1 lorsque la somme des valeurs d'entrée dépasse un seuil arbitraire $ \ theta $ ("neurones fire")

En supposant que la sortie est $ y $, les éléments ci-dessus peuvent être exprimés mathématiquement comme suit.

y = \left\{
\begin{array}{ll}
0 & (w^1x^1 + w^2x^2 \leqq \theta) \\
1 & (w^1x^1 + w^2x^2 \gt \theta)
\end{array}
\right.

2.2 Circuit logique simple

• Le circuit logique ET / NAND / OU peut être exprimé en utilisant Perceptron. --Changer le comportement de la modification des poids et des seuils sans changer la structure de Perceptron

2.2.1 Porte ET

_P.23 Voir "Fig. 2-2 Table de vérité des portes AND" _

• Sortie 1 uniquement si les deux entrées sont 1, sinon sortie 0 --Perceptron qui sort lorsque la somme de deux valeurs d'entrée dépasse le seuil $ \ theta $

2.2.2.1 Porte NAND

_P.24 Voir «Figure 2-3 Tableau de vérité de la porte NAND» _

--NAND = Not AND = AND Comportement opposé à la porte

• Sorties 0 uniquement lorsque les deux sont égales à 1, et sorties 1 dans le cas contraire --Lorsque le signe du paramètre qui réalise la porte ET est inversé, il devient la porte NAND.

2.2.2.2 OU Porte

• Sortie 1 si au moins une entrée est 1.

2.3 Mise en œuvre de Perceptron

2.3.1 Mise en œuvre facile

Définissons et exécutons le circuit ET comme suit.

def AND(x1, x2):
  w1, w2, theta = 0.5, 0.5, 0.7
  tmp = x1 * w1 + x2 * w2

  if tmp <= theta:
    return 0
  elif tmp > theta:
    return 1

2.3.2 Introduction de pondérations et de biais

--Introduire une polarisation dans le circuit ET de 2.3.1.

• Remplacez $ \ theta $ dans l'équation 2.1 par $ -b $, où le biais est $ b $.

y = \left\{
\begin{array}{ll}
0 & (w^1x^1 + w^2x^2 \leqq \theta) \\
1 & (w^1x^1 + w^2x^2 \gt \theta)
\end{array}
\right.

y = \left\{
\begin{array}{ll}
0 & (b + w^1x^1 + w^2x^2 \leqq 0) \\
1 & (b + w^1x^1 + w^2x^2 \gt 0)
\end{array}
\right.

Vérifions avec l'interprète.

>>> import numpy as np
>>> x = np.array([0, 1]) #contribution
>>> w = np.array([0.5, 0.5]) #poids
>>> b = -0.7 #biais
>>> w * x
>>> np.sum(w * x)
>>> np.sum(w * x) + b

2.3.3 Mise en œuvre par poids et biais

Implémentons chaque circuit de AND / NAND / OR basé sur la section précédente.

• AND

def AND(x1, x2):
  x = np.array([x1, x2])

  w = np.array([0.5, 0.5])
  b = -0.7

  tmp = np.sum(w * x) + b
  
  if tmp <= 0:
    return 0
  else:
    return 1

• NAND

def NAND(x1, x2):
  x = np.array([x1, x2])

  #Seuls le poids et le biais sont différents de AND
  w = np.array([-0.5, -0.5])
  b = 0.7

  tmp = np.sum(w * x) + b
  
  if tmp <= 0:
    return 0
  else:
    return 1

• OR

def OR(x1, x2):
  x = np.array([x1, x2])

  #Seul le biais est différent de AND
  w = np.array([0.5, 0.5])
  b = -0.2

  tmp = np.sum(w * x) + b
  
  if tmp <= 0:
    return 0
  else:
    return 1

Différence entre biais et poids

--Weights $ w ^ 1, w ^ 2 ... $ contrôlent l'importance du signal d'entrée --Le biais ajuste la facilité de déclenchement des neurones (probabilité de sortie 1)

Le terme biais signifie «l'obtenir». Cela signifie combien vous voulez obtenir la sortie (ajoutez une valeur) lorsqu'il n'y a pas d'entrée (lorsque l'entrée est 0). En fait, le calcul de b + w1 x1 + w2 x2 dans l'équation (2.2) imprime uniquement la valeur du biais si les entrées x1 et x2 sont égales à 0.

(Extrait de la P.27)

2.4 Limites de Perceptron

--Un perceptron monocouche peut séparer des régions linéaires, mais pas des régions non linéaires telles que XOR (somme logique exclusive).

2.5 Perceptron multicouche

--XOR peut être exprimé par "superposition".

• Un perceptron avec plusieurs couches est appelé ** perceptron multicouche **, et est exprimé comme "$ n $ layer perceptron".

2.5.1 Combinaison de portes existantes

Un circuit XOR qui produit 1 lorsque l'une des entrées est 1 et l'autre est 0 est représenté par une combinaison de AND / NAND / OR existant. Essayons à nouveau de régler le comportement de chaque circuit.

--AND ... Sorties 1 si les deux entrées sont 1, sinon sorties 0. --NAND ... Sorties 0 si les deux entrées sont 1, sinon sorties 1.

• Sorties 1 si au moins une des deux entrées est 1, sinon sorties 0. --XOR ... Sorties 1 si l'une des deux entrées est 1 et l'autre est 0, sinon sorties 0.

En fait, cela peut être réalisé par le câblage suivant: La valeur initiale est $ x ^ 1, x ^ 2 $, la sortie de NAND est $ s ^ 1 $ et la sortie de OR est $ s ^ 2 $.

Vérifiez la table de vérité.

2.5.2 Implémentation XOR Gate

Implémentons-le dans le code basé sur la section précédente.

def XOR(x1, x2):
  s1 = NAND(x1, x2)
  s2 = OR(x1, x2)
  y = AND(s1, s2)
  return y

2.6 De NAND à l'ordinateur

2.7 Résumé

--Perceptron est un algorithme avec entrée et sortie. Étant donné une certaine entrée, une valeur fixe est sortie. --Dans Perceptron, «poids» et «biais» sont définis comme paramètres.

• En utilisant Perceptron, vous pouvez exprimer des circuits logiques tels que des portes ET et OU. Porter.
• La porte XOR ne peut pas être représentée par un Perceptron monocouche. --La porte XOR peut être représentée en utilisant un perceptron à deux couches. --Un Perceptron monocouche ne peut représenter qu'une région linéaire, alors qu'un Perceptron peut représenter une région non linéaire.
• Un Perceptron multicouche peut (en théorie) représenter un ordinateur.