introduction

J'ai essayé la génération de phrases en utilisant LSTM avec TensorFlow. Complètement nième décoction. C'est normal, alors j'aimerais apprendre à utiliser le message du signe du Christ, qui est apposé sur la hutte dans les montagnes, et faire une phrase de ** «signe du Christ inexistant». .. ** **

** (Ajout) J'ai téléchargé un article qui a essayé Seq2Seq. Veuillez également l'inclure. ** ** [\ TensorFlow ] J'ai senti que j'étais capable de produire en masse des messages de style "jugement post-mortem" en utilisant Seq2Seq --Qiita

Signe du Christ?

Comme ça.

Il y a un article sur les personnes qui le font. Le signe du Christ, voyant le moment où il est collé, est étroitement lié aux activités missionnaires de la Bible Distribution Cooperation Association

Si vous souhaitez voir plus de signes, veuillez aller à ↓ (publicité. Je le fais). Bot d'image du signe du Christ (@christsignbot) / Twitter

Refuser d'avance

** Cet article a été écrit par une personne qui n'a rien à voir avec la Bible Distribution Cooperation Association et n'est pas destiné à exprimer une position sur une religion particulière. ** Veuillez le voir comme un rapport "essayé".

Environnement de vérification

Ubuntu 18.04
Python 3.6.9
TensorFlow 2.1.0 (CPU)

Échantillon basé

Fondamentalement, il s'agit d'un détournement de l'échantillon Keras. J'apprends LSTM que lorsque j'entre une chaîne de caractères (séquence de caractères), le caractère suivant est prédit. Lors de la génération d'une phrase, donnez quelques caractères au début, puis générez au hasard les phrases suivantes caractère par caractère. keras/lstm_text_generation.py at master · keras-team/keras

Dans l'exemple, il semble que vous apprenez à utiliser des phrases Niche, mais cela n'a pas été étudié, et même si vous regardez la sortie générée, vous ne savez pas s'il s'agit d'une phrase de type Niche. J'espère que le résultat du signe du Christ sera plus facile à comprendre.

Il y avait un article de commentaire sur cet échantillon. Si vous êtes intéressé, s'il vous plaît. Explication de l'exemple de code de génération de caractères Keras Single-LSTM --Qiita

En raison de la nature des données utilisées cette fois, les points suivants ont été modifiés par rapport à l'original.

Comme une phrase du signe du Christ est courte, le nombre de caractères utilisés pour la prédiction a été réduit (3 caractères → prédire le caractère suivant)
Les caractères donnés comme graines lors de la génération d'une phrase sont toujours pris à partir du début de la phrase originale (l'original est pris même à partir du milieu de la phrase)
La longueur de la phrase générée n'est pas fixe (le nombre maximum de caractères est décidé pour le moment), et la génération se termine lorsque la fin de la phrase est prédite.

Code d'apprentissage

Les données d'apprentissage sont une copie du texte original du panneau.

`lstm_text_generation_train.py`


from tensorflow.keras.callbacks import LambdaCallback
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense
from tensorflow.keras.layers import LSTM
from tensorflow.keras.optimizers import RMSprop
from tensorflow.keras.callbacks import ModelCheckpoint
import numpy as np
import random
import sys

text = """
Oh, écoute le monde, le monde, le monde, la parole de Dieu
La récompense du mal est la mort
Une personne lubrique ne reconnaît pas Dieu
Ceux qui sèment le mal récoltent le désastre
Ton dieu est seul
Préparez-vous à rencontrer votre créateur
Souvenez-vous de votre créateur
Jésus-Christ est votre créateur
Jésus-Christ donne l'espérance éternelle
Jésus-Christ est le Fils unique de Dieu
Jésus-Christ est le Fils de Dieu
Jésus-Christ est le seul Dieu
Jésus-Christ juge le monde correctement
Ceux qui invoquent Jésus-Christ seront sauvés
vie éternelle
Source de vie éternelle
Dieu éternel
Source du salut éternel
Espoir pour l'éternité
Tenez-vous devant Dieu dans les derniers jours
Dans les derniers jours, l'homme se tient devant Dieu
Le jour où Dieu juge l'humanité est proche
Réconcilier avec Dieu
Repentez-vous de vos péchés contre Dieu
Cherchez le royaume de Dieu et la justice de Dieu
Cherchez le royaume de Dieu et la justice
Le royaume de Dieu approche
Le royaume de Dieu approche de la repentance.
Ceux qui refusent la parole de Dieu préfèrent la mort
Le jugement de Dieu vient soudainement
Le jour du juste jugement de Dieu est proche
Jésus-Christ, le Fils unique de Dieu, est le Messie
Dieu dit que ce n'est pas la règle de mourir ici
Dieu voit le cœur
Dieu punit le péché
Dieu a envoyé le Fils unique Christ dans le monde
Dieu a envoyé son Fils Christ dans le monde
Dieu est le seul
Dieu a rendu la sagesse du monde insensée
Dieu a fixé le jour pour juger le monde
Repentez-vous de votre attitude envers Dieu
Crainte de Dieu
Peur de Dieu
Ceux qui s'éloignent de Dieu entrent dans le chemin du mal
Reconnaissez Dieu
Cherche Dieu
Pensez à votre destination après la mort
Aujourd'hui est le jour du salut
Il n'y a pas d'autre salut que le Christ
Le jour où Christ jugera les gens est proche.
Christ est le vrai Dieu
Christ est le chemin, la vérité, la vie
Le retour du Christ est proche.
Purifier le péché de sang du Christ
Le sang du Christ purifie le péché
Le sang du Christ purifie le péché
Le sang de Christ purifie le péché.
Le sang du Christ enlève le péché
Il n'y a pas d'autre dieu que Christ
La résurrection du Christ est une confirmation du salut
Le Christ vous donne la vie éternelle
Christ vous justifie
Christ vous libère du péché
Le Christ donne la vie éternelle
Le Christ est le Fils de Dieu
Christ a péché sur la croix
Le Christ est le véritable alter ego de Dieu
Christ viendra bientôt
Christ viendra bientôt
Le Christ annule le péché et donne la vie
Christ révoque le péché
Le Christ pardonne le péché et donne la vie éternelle
Le Christ est ressuscité de la tombe
Le Christ est ressuscité de la tombe
Christ a péché au nom de l'homme
Christ reviendra et jugera le monde
Christ reviendra et jugera le monde
Christ reviendra
Christ reviendra
Le Christ est ressuscité
Christ est le vrai Dieu
Le Christ est le véritable alter ego de Dieu
Christ a péché à sa place
Christ est le chemin, la vérité, la vie
Le Christ est ressuscité et a donné la vie éternelle
Le Christ a ressuscité et a vaincu la mort
Ceux qui croient en Christ seront sauvés
Ceux qui croient au Christ ont la vie éternelle
Ceux qui invoquent le Christ seront sauvés
Se repentir
Se repentir
L'adoration des idoles est un péché
Heureusement pour ceux qui ont le cœur pur
Croyez en Dieu du fond de mon cœur
Dieu juge le péché du cœur
Échapper au feu indélébile de l'enfer
L'enfer est une souffrance éternelle
L'enfer est la seconde mort
Il y a un jugement après la mort
Rencontrez le jugement après la mort
Rencontrez le jugement après la mort.
Pensez à votre destination après la mort
Pensez à votre destination après la mort
Dieu voit la vie privée
Il y a un chemin de mort et un mode de vie
La mort est la récompense du péché
Le retour du Seigneur Jésus-Christ est proche
La résurrection du Seigneur Jésus-Christ est une confirmation du salut
Le Seigneur Jésus-Christ est le créateur de toutes choses
Le jour du Seigneur vient soudainement
La vie est terrible, le paradis est long
Personne n'a raison
Crois juste
Crois moi
La société corrompue ne reconnaît pas Dieu
La terre et les gens appartiennent à Dieu
N'adorez pas les choses «faites»
Heureusement ceux qui ont été purifiés de leurs péchés
Heureusement ceux qui ont été purifiés du péché
Illumination sur le péché, la justice et le jugement
Si tu meurs avec le péché, tu iras en enfer éternel
Si tu meurs du péché, tu iras en enfer éternel
La récompense du péché est la mort
La récompense du péché est la mort, le don de Dieu est la vie éternelle
La récompense du péché est la mort, le don de Dieu est la vie éternelle en Christ
Obtenez le pardon du péché
Obtenez le pardon des péchés
Demandez le pardon des péchés
Dieu punit le péché
Heureusement ceux qui ont été nettoyés
Repentez-vous de vos péchés
Repentez-vous de vos péchés
Le paradis ou l'enfer ou votre destination
Le paradis est la vie éternelle L'enfer est la mer de feu
Même si les cieux et la terre périssent, mes paroles ne se sépareront pas
Créateur de toutes choses
Le paradis ou l'enfer ou tout le monde reviendra
Le royaume céleste se repentir de son péché proche
Attention aux faux
Au commencement, Dieu créa les cieux et la terre
Les choses créées par l'homme ne sont pas des dieux
Débarrassez-vous du mal humain
Le péché habite les gens
Débarrassez-vous des péchés des gens
Dieu voit les voies et les actes des gens
L'étang de feu est la seconde mort
Racheter l'iniquité
Dieu juge l'immoralité et les rapports sexuels
Dieu juge l'infidélité et les rapports sexuels
Il y a un chemin de mort et un mode de vie
Je ne reconnais pas Dieu à l'époque tordue
Le vrai Dieu aime les gens et enlève leurs péchés
Croyez au vrai Dieu
Croyez au vrai Dieu.
Route, vérité, vie
Voici, je viendrai bientôt
Le monde et la cupidité du monde meurent
La fin du monde est proche
La fin du monde vient soudainement
Le Christ ressuscité donne la vie éternelle
Jugez le monde correctement
Ceux qui disent que le mal est bon
Ceux qui adorent les idoles
Le héros de la boisson
Ceux qui prennent la peine de porter
Je suis le chemin, la vérité, la vie
Mes paroles ont la vie éternelle
Je suis la vie
Je suis le pain de la vie
Je suis le pain de la vie
J'ai les clés de la mort et de l'enfer
Je suis la vérité
Je suis la vérité
Je suis la lumière du monde
Ceux qui croient en moi ont la vie éternelle
Ceux qui croient en moi ont la vie éternelle
Ceux qui croient en moi ont la vie éternelle
Ceux qui croient en moi vivent même s'ils meurent
Je suis la vérité et la vie
Je me souviens de votre Créateur.
Il n'y a pas d'autre salut que Jésus-Christ.
Appelez Dieu avant qu'il ne soit trop tard.
Dans les derniers jours, l'homme se tient devant Dieu.
Christ jugera les choses cachées.
Le Christ envoyé par Dieu est le sauveur
Si vous retournez à Dieu, Dieu vous pardonnera abondamment.
Repentez-vous de vos péchés contre Dieu.
Le royaume de Dieu est proche. Repentez-vous.
Le jour du jugement de Dieu est proche.
Le don de Dieu est la vie éternelle
Dieu aime les gens et enlève leurs péchés.
Craignez Dieu et obéissez à la parole.
Reconnaissez Dieu, ayez peur et laissez le péché.
Le Christ a la parole de la vie éternelle.
Acceptez le salut du Christ.
Le sang de Christ purifie le péché.
Christ reviendra et jugera le monde.
Christ était coupable de l'homme sur la croix.
Le Christ sauve les pécheurs.
Le Christ donne à l'homme la vie éternelle.
Christ a été puni au nom de l'homme.
Christ libère les gens du péché.
Croyez en Christ et soyez sauvé.
Ceux qui invoquent le Christ seront sauvés.
Repentez-vous et croyez en l'évangile.
Se repentir.
Ceux qui se repentent sont rachetés par Christ.
Soyez renouvelé du fond de votre cœur.
Pensez à votre destination après la mort
Heureusement, ceux qui ont été purifiés de leurs péchés.
La récompense du péché est la mort
Veuillez me pardonner mes péchés.
Débarrassez-vous du péché.
Reconnaissez vos péchés et retournez à Dieu.
Christ a été ressuscité parce que l'homme était justifié.
Dieu voit le cœur et l'esprit des gens.
On rencontre le jugement post mortem.
Le monde et la cupidité du monde ont disparu.
Il n'y a pas d'autre dieu que moi.
Je suis le chemin, la vérité, la vie.
Ceux qui croient en moi ont la vie éternelle.
"""
lines = [s + "\n" for s in text.strip().split("\n")]
print('corpus length:', sum(len(s) for s in lines))

chars = list(sorted(set("".join(lines))))
print('total chars:', len(chars))
char_indices = dict((c, i) for i, c in enumerate(chars))
indices_char = dict((i, c) for i, c in enumerate(chars))
print(chars)

# cut the text in semi-redundant sequences of maxlen characters
maxlen = 3
step = 1
sentences = []
next_chars = []
for s in lines:
  for i in range(0, len(s) - maxlen, step):
      sentences.append(s[i: i + maxlen])
      next_chars.append(s[i + maxlen])
print('nb sequences:', len(sentences))

print('Vectorization...')
x = np.zeros((len(sentences), maxlen, len(chars)), dtype=np.bool)
y = np.zeros((len(sentences), len(chars)), dtype=np.bool)
for i, sentence in enumerate(sentences):
    for t, char in enumerate(sentence):
        x[i, t, char_indices[char]] = 1
    y[i, char_indices[next_chars[i]]] = 1

# build the model: a single LSTM
print('Build model...')
model = Sequential()
model.add(LSTM(128, input_shape=(maxlen, len(chars))))
model.add(Dense(len(chars), activation='softmax'))
model.summary()

optimizer = RMSprop(learning_rate=0.01)
model.compile(loss='categorical_crossentropy', optimizer=optimizer)


def sample(preds, temperature=1.0):
    # helper function to sample an index from a probability array
    preds = np.asarray(preds).astype('float64')
    preds = np.log(preds) / temperature
    exp_preds = np.exp(preds)
    preds = exp_preds / np.sum(exp_preds)
    probas = np.random.multinomial(1, preds, 1)
    return np.argmax(probas)


def on_epoch_end(epoch, _):
    # Function invoked at end of each epoch. Prints generated text.
    print()
    print('----- Generating text after Epoch: %d' % epoch)
    line_index = random.randint(0, len(lines) - 1)
    start_index = 0
    for diversity in [0.2, 0.5, 1.0, 1.2]:
        print('----- diversity:', diversity)

        generated = ''
        sentence = lines[line_index][start_index: start_index + maxlen]
        generated += sentence
        print('----- Generating with seed: "' + sentence + '"')
        sys.stdout.write(generated)

        for i in range(100):
            x_pred = np.zeros((1, maxlen, len(chars)))
            for t, char in enumerate(sentence):
                x_pred[0, t, char_indices[char]] = 1.

            preds = model.predict(x_pred, verbose=0)[0]
            next_index = sample(preds, diversity)
            next_char = indices_char[next_index]

            if next_char == "\n":
              sys.stdout.flush()
              break
            sentence = sentence[1:] + next_char

            sys.stdout.write(next_char)
            sys.stdout.flush()
        print()

print_callback = LambdaCallback(on_epoch_end=on_epoch_end)

cp_cb = ModelCheckpoint(
    filepath="model.{epoch:02d}.hdf5",
    verbose=1,
    mode="auto")
model.fit(x, y,
          batch_size=32,
          epochs=60,
          callbacks=[print_callback, cp_cb])

Résultat d'exécution

Le premier est en lambeaux.

----- Generating text after Epoch: 0
----- diversity: 0.2
----- Generating with seed: "Salut de Dieu"
Dieu Haru
----- diversity: 0.5
----- Generating with seed: "Salut de Dieu"
Le jour de Dieu est le bien de Dieu.
----- diversity: 1.0
----- Generating with seed: "Salut de Dieu"
Près de Dieu
----- diversity: 1.2
----- Generating with seed: "Salut de Dieu"
La création du pur tenbos même dans la construction du dieu, le pays de la mort éternelle et des statues vivifiantes

Cela devient progressivement plus comme une phrase. J'ai l'impression que le texte original est tel qu'il est.

----- Generating text after Epoch: 11
----- diversity: 0.2
----- Generating with seed: "Kiris"
Christ libère les gens du péché.
----- diversity: 0.5
----- Generating with seed: "Kiris"
Le Christ a la vie éternelle pour ceux qui croient au vrai Dieu
----- diversity: 1.0
----- Generating with seed: "Kiris"
Christ viendra bientôt
----- diversity: 1.2
----- Generating with seed: "Kiris"
Le sang du Christ enlève le péché

↓ Ça fait du bien. En fait, aucune d'elles n'est des phrases qui n'existent pas dans les données d'apprentissage.

----- Generating text after Epoch: 36
----- diversity: 0.2
----- Generating with seed: "Croyez-moi"
Ceux qui croient en moi seront sauvés.
----- diversity: 0.5
----- Generating with seed: "Croyez-moi"
Ceux qui croient en moi sont la vie éternelle
----- diversity: 1.0
----- Generating with seed: "Croyez-moi"
Ceux qui croient en moi seront sauvés
----- diversity: 1.2
----- Generating with seed: "Croyez-moi"
Sauvez ceux qui croient en moi.

La fin est comme ça. Puisque les caractères sont pris au hasard en fonction de la probabilité, les phrases peuvent parfois s'effondrer.

Epoch 60/60
----- Generating text after Epoch: 59
----- diversity: 0.2
----- Generating with seed: "Est-ce le paradis?"
Le paradis ou l'enfer ou votre créateur
----- diversity: 0.5
----- Generating with seed: "Est-ce le paradis?"
Le paradis ou l'enfer ou votre destination
----- diversity: 1.0
----- Generating with seed: "Est-ce le paradis?"
Le paradis ou l'enfer ou vous ne pouvez pas être purifié du péché
----- diversity: 1.2
----- Generating with seed: "Est-ce le paradis?"
Le paradis ou l'enfer ou tout le monde ressuscite

Production de masse de phrases inexistantes

J'avais l'habitude de sauvegarder le modèle pour chaque époque, donc j'ai utilisé ceci. Si vous donnez 3 lettres, cela créera 10 modèles des phrases suivantes.

`lstm_text_generation_exec.py`


from tensorflow.keras.models import load_model
import numpy as np
import sys

# generated in train phase
chars = list('\n,. "" Aiue Oka Kigiku Guke Kosazaji Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Suzu Se Suzu Shimofuyosei Chief 2 Dead Imadaikai Shinroku Evening Statue Senko Iriuchi Re-division First Mae Sokatsu Toshiki Takeshi Called Japanese Goods Yuiyoshi Kokuchi Koho Le retour de Takaki au fond, la vengeance, le regret, le regret, la folie Prison Risei Reborn Shinchi Kakusha Shinfuku Privé Debout Péché Final Punition Considérant Audition Souffrance Grande-Bretagne Feuille tombée Jugement de circulation sanguine Top boisson sonore')
char_indices = dict((c, i) for i, c in enumerate(chars))
indices_char = dict((i, c) for i, c in enumerate(chars))
maxlen = 3

# load the model
model = load_model("model.60.hdf5")

def sample(preds, temperature=1.0):
    # helper function to sample an index from a probability array
    preds = np.asarray(preds).astype('float64')
    preds = np.log(preds) / temperature
    exp_preds = np.exp(preds)
    preds = exp_preds / np.sum(exp_preds)
    probas = np.random.multinomial(1, preds, 1)
    return np.argmax(probas)

def generate(model, first_chars):
    diversity = 1.0
    for trial in range(10):
        generated = first_chars
        sentence = first_chars[-maxlen:]
        sys.stdout.write(first_chars)

        for i in range(100):
            x_pred = np.zeros((1, maxlen, len(chars)))
            for t, char in enumerate(sentence):
                x_pred[0, t, char_indices[char]] = 1.

            preds = model.predict(x_pred, verbose=0)[0]
            next_index = sample(preds, diversity)
            next_char = indices_char[next_index]

            if next_char == "\n":
                sys.stdout.flush()
                break
            sentence = sentence[1:] + next_char
            sys.stdout.write(next_char)
            sys.stdout.flush()

        print()

for l in iter(sys.stdin.readline, ""):
    l = l.rstrip()
    if l == "":
        continue
    if len(l) < 3:
        print("ERROR: input must be >= 3 characters", file=sys.stderr)
        continue
    if not all(c in chars for c in l):
        print("ERROR: invalid charater", file=sys.stderr)
        continue
    generate(model, l)

Exemple d'exécution.

>>>Jésus
Jésus-Christ vous justifie
Jésus-Christ est votre justice
Le sang de Jésus-Christ purifie le péché.
Jésus-Christ comme source de la vie éternelle
Jésus-Christ aime les gens et leur source
Croyez en Jésus-Christ
Jésus-Christ est votre créateur
Jésus-Christ vous donne la vie éternelle
Le sang de Jésus-Christ purifie le péché.
Jésus-Christ est la destination
>>>Kiris
Le Christ est ressuscité et a donné la vie éternelle
Christ a péché à sa place.
Ceux qui croient au Christ ont la vie éternelle
Purifier le péché de sang du Christ
Christ est le chemin, la vérité, la vie
Le Christ est le sauveur
Ayez une vie éternelle en Christ.
Christ nettoie le péché
Il n'y a pas d'autre salut que le Christ
Christ a été envoyé dans le monde
>>>tu
Votre créateur
Libérez-vous du péché.
Souvenez-vous de votre créateur.
Vous avez été purifié du péché.
Vous justifier
Souvenez-vous de votre créateur.
Vous justifier
Souvenez-vous de votre créateur.
Votre créateur
Souvenez-vous de votre créateur.
>>>Vrai Dieu
Le vrai alter ego de Dieu
Il n'y a pas de vrai dieu
Le vrai Dieu aimait les gens et en était coupable.
Le vrai alter ego de Dieu
Le vrai alter ego de Dieu
Vrai Dieu
Ceux qui croient au vrai Dieu donnent la vie éternelle
Le vrai dieu.
Ceux qui croient au vrai Dieu vivent même s'ils meurent
Vrai Dieu

"Ceux qui croient au vrai Dieu vivront même s'ils meurent", bien qu'il n'y ait pas la même phrase dans les données de formation, cela a généralement un sens et j'aime personnellement ça. (Lol)

Tâche

Seuls les caractères qui apparaissent dans les données d'entraînement peuvent être générés. ――Dans ce programme, par exemple, ** "Se réconcilier avec le chat" n'apparaîtra jamais ** ―― Est-il bon de créer un modèle basé sur des mots et d'utiliser word2vec pour utiliser des mots avec des significations similaires? ――N'est-il pas possible d'utiliser ces paramètres appris? → Kyubyong / wordvectors: vecteurs de mots pré-entraînés de plus de 30 langues
Il y a pas mal de phrases qui sont exactement les mêmes que les données d'apprentissage.
Certaines phrases sont grammaticalement étranges ou ont des significations étranges. «Par exemple, si vous dites:« Une personne qui croit au vrai Dieu donne la vie éternelle », la correspondance entre le sujet et le prédicat est étrange. --SeqGAN semble résoudre ce problème → Générer du texte (nouveau synopsis) en utilisant SeqGAN --Qiita
Tout d'abord, étudions la Seq2Seq de base. .. ..
** (Ajout: j'ai essayé) ** [\ [TensorFlow ] J'ai senti que j'étais capable de produire en masse des messages de style "jugement posthume" en utilisant Seq2Seq --Qiita](https://qiita.com / everylittle / items / d4efdafd7b73db965945)
Très peu de données d'entraînement elles-mêmes Il n'y a rien que vous puissiez faire à ce sujet ...

Résumé

Resurrection of Christ Sign Generator (v2): Ceci est également fait par moi (également annoncé).

[TensorFlow] J'ai essayé de produire en masse un message comme "Rencontrez le jugement après la mort" avec LSTM