Implémenter un réseau neuronal à 3 couches

Cet article est un mémo d'apprentissage de Deep Learning from scratch.

Le point

• Fonction d'activation: Il a pour rôle de déterminer comment la somme des signaux d'entrée est activée (s'allume). Dans Perceptron, une "fonction d'étape" qui commute la sortie au seuil est utilisée, mais dans un réseau neuronal, une "fonction sigmoïde" ou "fonction ReLU" qui dessine une courbe lisse est utilisée. La fonction d'activation de la couche cachée est représentée par h () et la fonction d'activation de la couche de sortie est représentée par σ ().
• En utilisant le produit interne de la matrice, le calcul pour chaque neurone peut être effectué pour une couche à la fois.

Diagramme de réseau de neurones à 3 couches

Fonction Sigmaid

  h(x) = \frac{1}{1+ \mathrm{e}^{-x}}

Formule de conversion de chaque neurone

  a = w_1x_1+w_2x_2+b  

  z = h(a) 

• X: entrée w: poids b: polarisation a: somme des signaux d'entrée h (): fonction d'activation

Mettre en œuvre un réseau de neurones à trois couches

py3:3layered_neuralnetwork.py.py

import numpy as np
import matplotlib.pyplot as plt

#Initialisation du poids et du biais
def init_network():
    network = {}
    #1ère couche
    network['W1'] = np.array([[0.1, 0.3, 0.5], [0.2, 0.4, 0.6]])
    network['b1'] = np.array([0.1, 0.2, 0.3])
    #2ème couche
    network['W2'] = np.array([[0.1, 0.4], [0.2, 0.5], [0.3, 0.6]])
    network['b2'] = np.array([0.1, 0.2])
    #3e couche
    network['W3'] = np.array([[0.1, 0.3], [0.2, 0.4]])
    network['b3'] = np.array([0.1, 0.2])

    return network

#Entrée → sortie
def forward(network, x):
    W1, W2, W3 = network['W1'], network['W2'], network['W3']
    b1, b2, b3 = network['b1'], network['b2'], network['b3']

    #1ère couche
    a1 = np.dot(x, W1) +b1  # A = XW +B
    z1 = sigmoid(a1)        # Z = h(A)
    #2ème couche
    a2 = np.dot(z1, W2) +b2
    z2 = sigmoid(a2)
    #3e couche
    a3 = np.dot(z2, W3) +b3
    y = identity_function(a3)   #Seule la dernière couche a une fonction d'activation différente

    return y

#Fonction Sigmaid(Fonction d'activation)
def sigmoid(x):
    return 1 / (1 + np.exp(-x))

#Fonction égale(Fonction d'activation)
def identity_function(x):
    return x

#Vérifiez le fonctionnement ci-dessous
network = init_network()
x = np.array([1.0, 0.5])
y = forward(network, x)
print(y) # [0.31682708  0.69627909]