100 Language Processing Knock-33 (en utilisant des pandas): nom sahen
Traitement du langage 100 coups 2015 ["Chapitre 4: Analyse morphologique"](http: //www.cl.ecei.tohoku) Il s'agit d'un enregistrement du 33ème "nom sahénien" de .ac.jp / nlp100 / # ch4). Comme la dernière fois, c'est très simple, il suffit de changer les conditions d'extraction.
Lien de référence
| Lien | Remarques |
|---|---|
| 033.Sahen substantif.ipynb | Lien GitHub du programme de réponse |
| 100 coups de traitement du langage amateur:33 | Copiez et collez la source de nombreuses pièces source |
| Officiel MeCab | Page MeCab à regarder en premier |
environnement
| type | version | Contenu |
|---|---|---|
| OS | Ubuntu18.04.01 LTS | Il fonctionne virtuellement |
| pyenv | 1.2.16 | J'utilise pyenv car j'utilise parfois plusieurs environnements Python |
| Python | 3.8.1 | python3 sur pyenv.8.J'utilise 1 Les packages sont gérés à l'aide de venv |
| Mecab | 0.996-5 | apt-Installer avec get |
Dans l'environnement ci-dessus, j'utilise les packages Python supplémentaires suivants. Installez simplement avec pip ordinaire.
| type | version |
|---|---|
| pandas | 1.0.1 |
Chapitre 4: Analyse morphologique
contenu de l'étude
Appliquer l'analyseur morphologique MeCab au roman «Je suis un chat» de Natsume Soseki et obtenir les statistiques des mots du roman.
Analyse morphologique, MeCab, paroles de partie, fréquence d'occurrence, loi de Zipf, matplotlib, Gnuplot
Contenu frappé
Utilisation de MeCab pour le texte (neko.txt) du roman de Natsume Soseki "Je suis un chat" Effectuez une analyse morphologique et enregistrez le résultat dans un fichier appelé neko.txt.mecab. Utilisez ce fichier pour implémenter un programme qui répond aux questions suivantes.
Pour les problèmes 37, 38 et 39, utilisez matplotlib ou Gnuplot.
33. Nom Sahen
Extraire toute la nomenclature de la connexion.
Répondre
Programme de réponse [033. A7% A3% E6% 9E% 90 / 033.% E3% 82% B5% E5% A4% 89% E5% 90% 8D% E8% A9% 9E.ipynb)
import pandas as pd
def read_text():
# 0:Type de surface(surface)
# 1:Partie(pos)
# 2:Sous-classification des paroles des parties 1(pos1)
# 7:Forme basique(base)
df = pd.read_table('./neko.txt.mecab', sep='\t|,', header=None,
usecols=[0, 1, 2, 7], names=['surface', 'pos', 'pos1', 'base'],
skiprows=4, skipfooter=1 ,engine='python')
return df[(df['pos'] != 'Vide') & (df['surface'] != 'EOS') & (df['pos'] != 'symbole')]
df = read_text()
df[(df['pos'] == 'nom') & (df['pos1'] == 'Changer de connexion')]
Répondre au commentaire
La phrase suivante est différente de la dernière fois. Ce n'est pas grave.
python
df[(df['pos'] == 'nom') & (df['pos1'] == 'Changer de connexion')]
Résultat de sortie (résultat de l'exécution)
Lorsque le programme est exécuté, les résultats suivants sont affichés. 75 "oui" n'est-il pas une erreur dans MeCab?
Recommended Posts