100 traitements linguistiques knock-37 (utilisant des pandas): Top 10 des mots les plus fréquents

Traitement du langage 100 coups 2015 ["Chapitre 4: Analyse morphologique"](http: //www.cl.ecei.tohoku) .ac.jp / nlp100 / # ch4) 37e "Top 10 des mots les plus fréquents" record. Cette fois, nous utiliserons matplotlib pour l'affichage des graphiques. Il semble que tout le monde tombera dans matplotlib " Tofu problem " (japonais Correspond au phénomène selon lequel les caractères de type tofu affichés sont affichés sur le graphique).

Lien de référence

environnement

Dans l'environnement ci-dessus, j'utilise les packages Python supplémentaires suivants. Installez simplement avec pip ordinaire.

Chapitre 4: Analyse morphologique

contenu de l'étude

Appliquer l'analyseur morphologique MeCab au roman «Je suis un chat» de Natsume Soseki et obtenir les statistiques des mots du roman.

Analyse morphologique, MeCab, paroles de partie, fréquence d'occurrence, loi de Zipf, matplotlib, Gnuplot

Contenu frappé

Utilisation de MeCab pour le texte (neko.txt) du roman de Natsume Soseki "Je suis un chat" Analysez la morphologie et enregistrez le résultat dans un fichier appelé neko.txt.mecab. Utilisez ce fichier pour implémenter un programme qui répond aux questions suivantes.

Pour les problèmes 37, 38, 39, utilisez matplotlib ou Gnuplot.

37. Top 10 des mots les plus fréquents

Affichez les 10 mots les plus fréquents et leur fréquence d'apparition dans un graphique (par exemple, un graphique à barres).

Répondre

Programme de réponse [037. Top 10 des mots les plus fréquemment utilisés.ipynb](https://github.com/YoheiFukuhara/nlp100/blob/master/04.%E5%BD%A2%E6%85%8B%E7%B4%A0% E8% A7% A3% E6% 9E% 90 / 037.% 20% E9% A0% BB% E5% BA% A6% E4% B8% 8A% E4% BD% 8D10% E8% AA% 9E.ipynb)

import pandas as pd
import matplotlib.pyplot as plt

plt.rcParams['font.family'] = 'IPAexGothic'

def read_text():
    # 0:Type de surface(surface)
    # 1:Partie(pos)
    # 2:Sous-classification des paroles des parties 1(pos1)
    # 7:Forme basique(base)
    df = pd.read_table('./neko.txt.mecab', sep='\t|,', header=None, 
                       usecols=[0, 1, 2, 7], names=['surface', 'pos', 'pos1', 'base'], 
                       skiprows=4, skipfooter=1 ,engine='python')
    return df[(df['pos'] != 'Vide') & (df['surface'] != 'EOS') & (df['pos'] != 'symbole')]

df = read_text()

df['surface'].value_counts()[:10].plot.bar()

#Exclure les mots auxiliaires et les verbes auxiliaires
df[~df['pos'].str.startswith('Aider')]['surface'].value_counts()[:10].plot.bar()

Répondre au commentaire

Compatible avec le tofu (correspondant aux caractères graphiques déformés)

Reportez-vous à l'article suivant pour prendre en charge le tofu (correspondant aux caractères graphiques déformés). Veuillez noter que la méthode de support dépend fortement de l'environnement OS et Python (comme l'utilisation de pyenv).

• [Résoudre les caractères japonais brouillés dans matplotlib](https://qiita.com/katuemon/items/5c4db01997ad9dc343e0#%E3%83%95%E3%82%A9%E3%83%B3%E3%83% 88% E3% 82% AD% E3% 83% A3% E3% 83% 83% E3% 82% B7% E3% 83% A5% E3% 81% AE% E5% 89% 8A% E9% 99% A4)
• À propos des caractères japonais déformés dans matplotlib

1. Installation des polices

Installer les polices avec ʻapt-get`

apt-get install fonts-ipaexfont

2. Supprimer le cache

Supprimez physiquement les fichiers suivants qui sont le cache de polices de matplotlib. Je ne connais pas la différence entre les deux, mais je l'ai supprimé avec le sentiment que "le cache peut être effacé".

• / Utilisateurs / nom d'utilisateur / .cache / matplotlib / fontlist-v300.json
• / Utilisateurs / nom d'utilisateur / .cache / matplotlib / fontlist-v310.json

3. Spécifiez la police en Python

Spécifiez la police pour générer le graphique avec les paramètres suivants sur Python. Ceci complète le support "tofu".

python

plt.rcParams['font.family'] = 'IPAexGothic'

Sortie graphique

pandas est très pratique car il peut être affiché comme il utilise plot.

python

df['surface'].value_counts()[:10].plot.bar()

#Exclure les mots auxiliaires et les verbes auxiliaires
df[~df['pos'].str.startswith('Aider')]['surface'].value_counts()[:10].plot.bar()

Résultat de sortie (résultat de l'exécution)

Lorsque le programme est exécuté, les résultats suivants sont affichés. Après tout, il est plus facile de comprendre si vous le graphez plutôt que de simplement regarder les chiffres.

Tous les mots

Mots à l'exclusion des mots auxiliaires et des verbes auxiliaires