Un enregistrement de la résolution des problèmes dans la première moitié du chapitre 4. Le fichier cible est neko.txt comme indiqué sur la page Web.
Utilisez MeCab pour analyser morphologiquement le texte (neko.txt) du roman de Natsume Soseki "Je suis un chat" et enregistrez le résultat dans un fichier appelé neko.txt.mecab. Utilisez ce fichier pour implémenter un programme qui répond aux questions suivantes. Pour les problèmes 37, 38, 39, utilisez matplotlib ou Gnuplot.
Implémentez un programme qui lit les résultats de l'analyse morphologique (neko.txt.mecab). Cependant, chaque élément morphologique est stocké dans un type de mappage avec la clé de la forme de surface (surface), de la forme de base (base), d'une partie du mot (pos) et d'une partie du mot sous-classification 1 (pos1), et une phrase est exprimée sous forme d'une liste d'éléments morphologiques (type de mappage). Faisons le. Pour le reste des problèmes du chapitre 4, utilisez le programme créé ici.
# -*- coding: utf-8 -
__author__ = 'todoroki'
def mecab_reader(mecabfile):
sentences = []
sentence = []
for line in mecabfile:
if line == "EOS\n":
if len(sentence) > 0:
sentences.append(sentence)
sentence = []
else:
surface, features = line.split("\t")
features = features.split(",")
dic = {
'surface': surface,
'base': features[6],
'pos': features[0],
'pos1': features[1]
}
sentence.append(dic)
return sentences
if __name__ == '__main__':
inputfile = 'neko.txt.mecab'
outputfile = 'neko.mecab_dic.txt'
f = open(inputfile, 'r')
g = open(outputfile, 'w')
sentences = mecab_reader(f)
for s in sentences:
# print str(s).decode("string-escape")
g.write(str(s).decode("string-escape") + "\n")
f.close()
g.close()
Si le type de dictionnaire «s» comprenant le japonais est simplement «print s», le japonais ne peut pas être affiché tel quel.
Par conséquent, cela correspond à pouvoir afficher le japonais sous la forme str (s) .decode (" string-escape ").
Extraire toutes les formes de surface du verbe.
# -*- coding: utf-8 -
__author__ = 'todoroki'
import problem30
def extract_verb(sentences):
res = []
for sentence in sentences:
for morpheme in sentence:
if morpheme['pos'] == 'verbe':
res.append(morpheme['surface'])
return res
if __name__ == "__main__":
inputfile = 'neko.txt.mecab'
outputfile = 'neko.mecab_verb.txt'
f = open(inputfile, "r")
g = open(outputfile, "w")
sentences = problem30.mecab_reader(f)
verbs = extract_verb(sentences)
for verb in verbs:
# print verb
g.write(verb + '\n')
f.close()
g.close()
Extraire toutes les formes originales du verbe.
# -*- coding: utf-8 -
__author__ = 'todoroki'
import problem30
def extract_verb_base(sentences):
res = []
for sentence in sentences:
for morpheme in sentence:
if morpheme['pos'] == 'verbe':
res.append(morpheme['base'])
return res
if __name__ == "__main__":
inputfile = 'neko.txt.mecab'
outputfile = 'neko.mecab_verb_base.txt'
f = open(inputfile, "r")
g = open(outputfile, "w")
sentences = problem30.mecab_reader(f)
verb_bases = extract_verb_base(sentences)
for verb in verb_bases:
# print verb
g.write(verb + '\n')
f.close()
g.close()
Extraire toute la nomenclature de la connexion.
# -*- coding: utf-8 -
__author__ = 'todoroki'
import problem30
def extract_sahen(sentences):
res = []
for sentence in sentences:
for morpheme in sentence:
if morpheme['pos1'] == 'Changer de connexion':
res.append(morpheme['surface'])
return res
if __name__ == "__main__":
inputfile = 'neko.txt.mecab'
outputfile = 'neko.mecab_sahen.txt'
f = open(inputfile, "r")
g = open(outputfile, "w")
sentences = problem30.mecab_reader(f)
sahens = extract_sahen(sentences)
for sahen in sahens:
# print sahen
g.write(sahen + '\n')
f.close()
g.close()
Extraire la nomenclature dans laquelle deux nomenclatures sont reliées par "non".
# -*- coding: utf-8 -
__author__ = 'todoroki'
import problem30
def extract_AofB(sentences):
res = []
for sentence in sentences:
for k in xrange(len(sentence)-3):
triple = sentence[k:k+3]
b1 = triple[0]['pos'] == 'nom'
b2 = triple[1]['surface'] == 'de'
b3 = triple[2]['pos'] == 'nom'
if b1 and b2 and b3:
res.append(t['surface'] for t in triple)
return res
if __name__ == "__main__":
inputfile = 'neko.txt.mecab'
outputfile = 'neko.mecab_AofB.txt'
f = open(inputfile, "r")
g = open(outputfile, "w")
sentences = problem30.mecab_reader(f)
res = extract_AofB(sentences)
for r in res:
# print "".join(r)
g.write("".join(r) + '\n')
f.close()
g.close()