def data_gen(data_X,data_y,vectorian,batchsize=32):
    d_cnt = 0
    x = []
    y = []
    while True:
        for i in range(len(data_X)):
            t_l = str(data_X[i][0])
            t_r = str(data_X[i][1])

            t_l = vectorian.fit(t_l).vectors
            t_r = vectorian.fit(t_r).vectors


            itp = range(t_l.shape[1])
            in_x = np.insert(t_r,itp,t_l[:,itp],axis=1)
            
            x.append(in_x)
            
            if data_y[i] == 1:
                y.append([0,1])
            else:
                y.append([1,0])
            
            d_cnt += 1
            
            if d_cnt == batchsize:
                inputs = np.array(x).astype(np.float32)
                inputs = inputs.reshape(batchsize,256,768,1)
                targets = np.array(y)
                x = []
                y = []
                d_cnt = 0
                yield inputs,targets

Eh bien, ce n'est pas intéressant. Alors j'ai commencé à apprendre

Cela a pris 1 époque par heure, donc apprendre au Google Colablatory était une douleur. La précision de 3 à 5 époques est comme ça (j'ai effacé la sortie de 1 à 2 époques en raison de la limitation du GPU sur le chemin et du nouveau temps d'exécution.)

Epoch 1/1
1955/1955 [==============================] - 3846s 2s/step - loss: 0.1723 - categorical_accuracy: 0.9396 - val_loss: 0.1632 - val_categorical_accuracy: 0.9398
Epoch 1/1
1955/1955 [==============================] - 3852s 2s/step - loss: 0.1619 - categorical_accuracy: 0.9436 - val_loss: 0.1477 - val_categorical_accuracy: 0.9487
Epoch 1/1
1955/1955 [==============================] - 3835s 2s/step - loss: 0.1532 - categorical_accuracy: 0.9466 - val_loss: 0.1462 - val_categorical_accuracy: 0.9482

Il semble que la perte va encore baisser, mais il est difficile de s'en tenir à l'avant du PC, alors pardonnez-moi ... À propos, cette fois, il est forcé, mais comme il s'agit de données équilibrées, F1 n'est pas calculé ~~ (gênant) ~~

S'il s'agit de données équilibrées, je pense que l'exactitude ne donnera pas un résultat aussi étrange.

production

Vous pouvez utiliser le modèle et le dictionnaire ci-dessus pour faire un jugement de paraphrase de phrase et un score de difficulté. Préparez une fonction de sortie le cas échéant.

def texts_to_inputs(text1,text2):
    t_l = text1
    t_r = text2

    t_l = vectorian.fit(t_l).vectors
    t_r = vectorian.fit(t_r).vectors

    itp = range(t_l.shape[1])
    in_x = np.insert(t_r,itp,t_l[:,itp],axis=1).reshape(1,256,768,1)
    return in_x

def easy_trans_scores(test1,test2,vocab_diff_dic):
    test_x = texts_to_inputs(test1,test2)
    p = model.predict(test_x)

    result = jumanpp.analysis(test1)
    d1 = 0
    d1_cnt = 0
    for mrph in result.mrph_list(): #Accéder à chaque morphologie
        if mrph.hinsi in indep:
            if mrph.genkei in vocab_diff_dic:
                d1 += vocab_diff_dic[mrph.genkei]
                d1_cnt += 1
    print("Probabilité d'implication:{:.3g}Difficulté totale:{}Nombre de mots indépendants:{}Difficulté moyenne:{}".format(p[0][1],d1,d1_cnt,d1/d1_cnt))
    print("total score:{:.5g}".format(p[0][1]/d1))

Pour l'instant, utilisons implication / (difficulté totale) comme score. La raison de la difficulté totale plutôt que moyenne est que j'ai pensé qu'il valait mieux évaluer correctement les phrases courtes et concises. Eh bien, il y a un bug qui fait que lorsque le niveau de difficulté total est de 0, la valeur devient toujours inf et il n'y a aucune implication ... Cette fois, ça va ...

résultat

Les paraphrases considérées comme ayant le score le plus élevé sont en gras. N'est-ce pas un résultat raisonnablement convaincant?

Au fait, M. Aizen ... Veuillez me donner quelques mots plus gentils ...

Résultat 2 (ajout) En d'autres termes, bonne bataille et puissance de Kim Roger

En utilisant ce système, j'ai paraphrasé un ami et joué un bon match décisif contre le roi (jeu 1vs1, mais si je gagne, je serai le roi) Cela ressemblera à ceci quand il sera transformé en jeu? C'est comme ça.

Cliquez ici pour le thème.

** L'homme qui a gagné la richesse, la renommée, le pouvoir et tout le monde'Gold Roger, le roi des pirates'Les paroles qu'il a prononcées à sa mort ont poussé les gens à la mer. ** **

C'est la gueule du PO d'une certaine animation nationale que tout le monde connaît.

Premier coup (I) 1er tour

** L'argent, la position, le pouvoir L'homme qui a tout pris dans ce monde, le roi pirate Gold Roger Les mots qu'il a prononcés avant de mourir ont donné envie aux gens d'aller à la mer **

Score: Probabilité d'implication: 0,696 Difficulté totale: 8 ** score total: 0,087022 **

Eh bien, je pense que c'est un bon premier pas. La probabilité d'implication étant un peu faible, je sens que j'ai trop attaqué pour abaisser le niveau de difficulté.

Deuxième coup (en face) 1er tour

** "L'homme qui a obtenu tout l'argent, la popularité, le pouvoir et le monde" Pirate King Gold Roger "Le mot qu'il a prononcé juste avant sa mort a envoyé des gens à la mer" **

Score: Probabilité d'implication: 0,974 Difficulté totale: 14 ** score total: 0,069588 **

On en parle avec des implications, mais je suis toujours meilleur au score total. Si vous n'attaquez pas en paraphrasant des mots, ce sera comme ça. C'est étonnamment stratégique.

Premier coup (I) 2e tour

** L'argent, la popularité, le pouvoir, l'homme qui a tout obtenu dans le monde, 'Pirate King Gold Roger' Les mots qu'il a prononcés avant de mourir ont donné envie aux gens d'aller à la mer **

Score: Probabilité d'implication: 0,917 Difficulté totale: 9 ** score total: 0,10194 **

Étant donné que l'autre partie avait une probabilité d'implication plus élevée, j'ai pu améliorer considérablement la probabilité d'implication et le score total en l'incorporant comme modèle. C'est ** gagné ** (drapeau)

Deuxième tour (opposé) 2e tour (phrase gagnante)

** L'homme qui a obtenu tout l'argent, la popularité, le pouvoir et le monde 'Le roi des pirates Kim Roger' Le mot qu'il a prononcé à sa mort a envoyé tout le monde à la mer **

Score: Probabilité d'implication: 0,952 Difficulté totale: 9 ** score total: 0,10581 **

e ···?

perdu. Bien qu'il s'agisse d'une marge serrée, perdre c'est perdre. Le gagnant était probablement ** Kim Roger **. Cela réduit considérablement le niveau de difficulté tout en maintenant la probabilité d'implication. (Quand j'ai vu le résultat, j'ai ri.)

Eh bien, c'est aussi une partie intéressante de ce système que vous pouvez avoir une paraphrase amusante pour décider d'un match comme celui-ci. ~~ Parce que c'est bâclé ici et là ~~ Comment interprétez-vous ce système? Vous pouvez concourir pour des points compétitifs, y compris la méta-compétition, et vous pouvez également concourir pour des points dans le cadre du bon sens, et chacun a son propre plaisir.

Résumé et perspectives d'avenir

Bien qu'il y ait eu quelques bizarreries, j'ai pu en quelque sorte juger si j'étais capable ou non de faire une paraphrase douce en combinant le jugement d'implication et le jugement de difficulté.

** C'est assez intéressant à faire par moi-même ** (Il est également intéressant de poser la question: «Est-ce bien paraphrasé?» Ou une telle phrase n'est-elle pas difficile?) Donc, je veux en faire un jeu ou un service. (Je souhaite mettre en place un classement en ligne, etc.) (je ne peux pas le faire maintenant car je n'ai pas les connaissances pour créer des services)

Comme je l'ai mentionné au début, si vous appréciez cela en tant que jeu, vous pourrez peut-être en profiter, et en même temps, vous pourrez peut-être créer un ensemble de données de paraphrases faciles faites par des personnes, et en utilisant ces données, vous pouvez faire des considérations plus intéressantes. J'y pense.

Ce modèle etc. (pour ceux qui veulent l'essayer)

https://github.com/MosasoM/Aizen

C'est arrivé. Je l'ai écrit dans le référentiel,

• JUMAN++
• text-vectorian
• Modèle appris japonais BERT (https://yoheikikuta.github.io/bert-japanese/)

Si vous regardez Aizen.ipynb, vous pouvez (probablement) l'essayer assez facilement. Si vous avez des résultats intéressants ou si vous aimez ce système de notation, je vous serais reconnaissant de bien vouloir commenter.

Merci

Cet article est basé sur l'emprunt de modèles formés par BERT et de divers ensembles de données. Comme mentionné dans le texte, merci à toutes les personnes qui les ont maintenues.