Traitement de 100 langues knock-98 (en utilisant des pandas): Clustering par méthode Ward

Il s'agit de l'enregistrement de la 98e «classification par la méthode Ward» de 100 language processing knock 2015. Contrairement au clustering non hiérarchique précédent, le clustering hiérarchique est effectué. Le résultat est sous la forme ci-dessous dans laquelle les clusters sont hiérarchisés (grands car il y a 238 pays ...).

Lien de référence

environnement

Dans l'environnement ci-dessus, j'utilise les packages Python supplémentaires suivants. Installez simplement avec pip ordinaire.

Tâche

Chapitre 10: Méthode de l'espace vectoriel (II)

Au chapitre 10, nous continuerons à travailler sur l'apprentissage des vecteurs de mots du chapitre précédent.

98. Regroupement des quartiers

Effectuez un regroupement hiérarchique par la méthode Ward sur> 96 vecteurs de mots De plus, visualisez le résultat du regroupement sous forme de dendrogramme.

Supplément de tâche (K-Means)

Cette fois, il s'agit d'un clustering hiérarchique. Les détails étaient très faciles à comprendre dans Link. Le nombre de clusters peut être fixé arbitrairement en divisant par la hiérarchie supérieure.

Répondre

Programme de réponse [098. Clustering by Ward method.ipynb](https://github.com/YoheiFukuhara/nlp100/blob/master/10.%E3%83%99%E3%82%AF%E3%83%88% E3% 83% AB% E7% A9% BA% E9% 96% 93% E6% B3% 95% 20 (II) /098.Ward%E6%B3%95%E3%81%AB%E3%82%88 % E3% 82% 8B% E3% 82% AF% E3% 83% A9% E3% 82% B9% E3% 82% BF% E3% 83% AA% E3% 83% B3% E3% 82% B0.ipynb )

import matplotlib.pyplot as plt
import pandas as pd
from scipy.cluster.hierarchy import dendrogram, linkage

country_vec = pd.read_pickle('./096.country_vector.zip')
print(country_vec.info())

clustered = linkage(country_vec, method='ward')

plt.figure(figsize=(20, 50), dpi=100, facecolor='c')
_ = dendrogram(clustered, labels=list(country_vec.index), leaf_font_size=8, orientation='right')
plt.show()

Répondre au commentaire

En général, je me réfère à l'article "A propos de la création d'un dendrogramme avec Python et les éléments de liaison". Cluster utilisant la fonction linkage. En définissant le paramètre «method» sur «ward», le clustering est effectué par la méthode Ward.

clustered = linkage(country_vec, method='ward')

Après cela, le résultat s'affiche. Le dendrogramme affiché (diagramme en arbre) est placé en haut. J'ai volontairement défini la couleur d'arrière-plan sur c (cyan) car le blanc par défaut n'était pas visible lorsque l'étiquette a été transformée en fichier image.

plt.figure(figsize=(20, 50), dpi=100, facecolor='c')
_ = dendrogram(clustered, labels=list(country_vec.index), leaf_font_size=8, orientation='right')
plt.show()

Je ne regarderai qu'en haut. Contrairement aux K-Means, il est bon de connaître le degré de similitude entre les pays individuels. Si vous pensez que les nations marines sont alignées, le Japon et la Chine sont proches l'un de l'autre. Je me demande pourquoi. L'Irak, l'Afghanistan et Israël sont proches en termes de distance physique, mais ont-ils le même sens?