[Jouons avec Python] Viser la génération automatique de phrases ~ Effectuer une analyse morphologique ~

introduction

Il y a une histoire où AI a écrit des phrases, et récemment, un manga réalisé après avoir appris le manga de Tezuka Osamu a été réalisé. Un tel niveau est difficile, mais j'ai pu générer automatiquement des phrases en regardant le livre, je vais donc le résumer. Cela s'étendra plusieurs fois, mais je pense que je vais le faire lentement.

Image pour générer des phrases

Lors de la génération d'une phrase, l'image ressemble à ce qui suit.

--Préparer les données d'origine --Format les données proprement

• Décomposer des phrases
• Généré à l'aide de la chaîne de Markov

En gros, je pense que ça ressemble à ça. Cette fois, je vais essayer de décomposer le texte.

Essayez l'analyse morphologique

L'analyse morphologique est basée sur des informations telles que la grammaire de la langue cible et la partie des mots des mots appelés dictionnaires, à partir de données textuelles (phrases) en langage naturel sans notes d'informations grammaticales. , Morpheme (en général, la plus petite unité qui a un sens dans la langue) est divisée en colonnes, et la partie de chaque morphologie est déterminée. Source: Encyclopédie gratuite "Wikipedia" Il paraît que. Regardez le code et les résultats pour l'instant!

from janome.tokenizer import Tokenizer
t = Tokenizer()
t

Nous utilisons ce "Tokenizer".

text = 'Kongo Dace a été construit par Vickers au Royaume-Uni en tant que cuirassé super-dreadnought pour introduire la technologie de construction! Attendez-le!'
tokens = t.tokenize(text)#Analyse de phrase
len(tokens) #Nombre de mots

Saisissez le texte que vous souhaitez rechercher et analysez-le. (Le contenu arrive)

for token in tokens:
    print(token)

Lorsqu'il est affiché, il ressemble à ceci. Il semble qu'une nomenclature appropriée et des terminaisons caractéristiques ne fonctionnent pas. Il semble que de telles fluctuations dans les phrases doivent être corrigées. Enfin, faites une liste de mots.

texts = t.tokenize(text, wakati=True)
words_list =[] #Faites une liste de mots
for text in texts:
    words_list.append(t.tokenize(text, wakati=True))
words_list

Bavarder

Vous pouvez facilement décomposer des phrases en utilisant "Tokenize". Bien sûr, une phrase aussi courte ne suffit pas pour la génération de phrases, nous avons donc besoin de plus de mots. J'aimerais pouvoir faire des phrases intéressantes.