Deep Learning Java à partir de zéro Chapitre 2 Perceptron

table des matières

• Introduction au chapitre 1
• Chapitre 2 Perceptron
• Chapitre 3 Réseau neuronal
• Chapitre 4 Apprentissage des réseaux de neurones
• Méthode de rétropropagation du chapitre 5
• Chapitre 6 Techniques d'apprentissage
• 6.1 Paramètres de mise à jour
• 6.2 Valeur initiale du poids
  • 6.3 Batch Normalization
• 6.4 Régularisation
• 6.5 Vérification des hyper paramètres
• Chapitre 7 Réseau neuronal convolutif
• Chapitre 8 Apprentissage en profondeur
• Enfin

2.3 Implémentation de Perceptron

2.3.1 Mise en œuvre facile

Perceptron peut être implémenté en tant que fonction (méthode statique).

public static int AND(int x1, int x2) {
    double w1 = 0.5, w2 = 0.5, theta = 0.7;
    double tmp = x1 * w1 + x2 * w2;
    if (tmp <= theta)
        return 0;
    else
        return 1;
}

assertEquals(0, AND(0, 0));
assertEquals(0, AND(1, 0));
assertEquals(0, AND(0, 1));
assertEquals(1, AND(1, 1));

2.3.2 Introduction de pondérations et de biais

En utilisant ND4J, cela devient comme suit.

INDArray x = Nd4j.create(new double[] {0, 1});
INDArray w = Nd4j.create(new double[] {0.5, 0.5});
double b = -0.7;
assertEquals("[0.00,0.50]", Util.string(w.mul(x)));
assertEquals(0.5, w.mul(x).sumNumber().doubleValue(), 0.000005);
assertEquals(-0.19999999999999996, w.mul(x).sumNumber().doubleValue() + b, 0.000005);

2.3.3 Mise en œuvre par poids et biais

En utilisant la "méthode de pondération et de biais", les portes ET, NDND et OU peuvent être mises en œuvre comme suit.

public static int AND2(int x1, int x2) {
    INDArray x = Nd4j.create(new double[] {x1, x2});
    INDArray w = Nd4j.create(new double[] {0.5, 0.5});
    double b = -0.7;
    double tmp = w.mul(x).sumNumber().doubleValue() + b;
    return tmp <= 0 ? 0 : 1;
}

public static int NAND(int x1, int x2) {
    INDArray x = Nd4j.create(new double[] {x1, x2});
    INDArray w = Nd4j.create(new double[] {-0.5, -0.5});
    double b = 0.7;
    double tmp = w.mul(x).sumNumber().doubleValue() + b;
    return tmp <= 0 ? 0 : 1;
}

public static int OR(int x1, int x2) {
    INDArray x = Nd4j.create(new double [] {x1, x2});
    INDArray w = Nd4j.create(new double[] {0.5, 0.5});
    double b = -0.2;
    double tmp = w.mul(x).sumNumber().doubleValue() + b;
    return tmp <= 0 ? 0 : 1;
}

assertEquals(0, AND2(0, 0));
assertEquals(0, AND2(1, 0));
assertEquals(0, AND2(0, 1));
assertEquals(1, AND2(1, 1));
assertEquals(1, NAND(0, 0));
assertEquals(1, NAND(1, 0));
assertEquals(1, NAND(0, 1));
assertEquals(0, NAND(1, 1));
assertEquals(0, OR(0, 0));
assertEquals(1, OR(1, 0));
assertEquals(1, OR(0, 1));
assertEquals(1, OR(1, 1));

2.5 Perceptron multicouche

2.5.2 Implémentation de la porte XOR

Les portes XOR peuvent être montées en utilisant plusieurs couches de Perceptron.

public static int XOR(int x1, int x2) {
    int s1 = NAND(x1, x2);
    int s2 = OR(x1, x2);
    int y = AND2(s1, s2);
    return y;
}

assertEquals(0, XOR(0, 0));
assertEquals(1, XOR(1, 0));
assertEquals(1, XOR(0, 1));
assertEquals(0, XOR(1, 1));