C'est un record de défi de 100 langues de traitement knock 2015. L'environnement est Ubuntu 16.04 LTS + Python 3.5.2 : : Anaconda 4.1.1 (64 bits). Cliquez ici pour une liste des coups passés (http://qiita.com/segavvy/items/fb50ba8097d59475f760).
enwiki-20150112-400-r10-105752.txt.bz2 Le texte de 105 752 articles est-il échantillonné au hasard au 1/10 des articles composés d'environ 400 mots ou plus parmi les articles de Wikipedia anglais au 12 janvier 2015, compressé au format bzip2. y a-t-il. En utilisant ce texte comme corpus, je souhaite apprendre un vecteur (expression distribuée) qui exprime le sens d'un mot. Dans la première moitié du chapitre 9, le processus d'apprentissage du vecteur de mot est mis en œuvre en le divisant en plusieurs processus en appliquant l'analyse en composantes principales à la matrice de cooccurrence de contexte de mot créée à partir du corpus. Dans la seconde moitié du chapitre 9, le vecteur de mots (300 dimensions) obtenu par apprentissage est utilisé pour calculer la similitude des mots et analyser (analogique).
Notez que si le problème 83 est implémenté de manière obéissante, une grande quantité (environ 7 Go) de stockage principal sera nécessaire. Si vous manquez de mémoire, concevez un processus ou un corpus d'échantillonnage 1/100 enwiki-20150112-400-r100-10576.txt.bz2 Utilisez /nlp100/data/enwiki-20150112-400-r100-10576.txt.bz2).
Lisez le mot signifiant vecteur obtenu en> 85 et calculez la similitude cosinus entre «États-Unis» et «États-Unis». Cependant, notez que «U.S.
main.py
# coding: utf-8
import pickle
from collections import OrderedDict
from scipy import io
import numpy as np
fname_dict_index_t = 'dict_index_t'
fname_matrix_x300 = 'matrix_x300'
def cos_sim(vec_a, vec_b):
'''Calcul de la similitude cosinus
Vecteur vec_a、vec_Trouver la similitude cosinus de b
Valeur de retour:
Similitude cosinus
'''
norm_ab = np.linalg.norm(vec_a) * np.linalg.norm(vec_b)
if norm_ab != 0:
return np.dot(vec_a, vec_b) / norm_ab
else:
#La valeur la plus basse car il n'est même pas possible de juger si la norme vectorielle est similaire à 0
return -1
#Lire le dictionnaire
with open(fname_dict_index_t, 'rb') as data_file:
dict_index_t = pickle.load(data_file)
#Lecture de la matrice
matrix_x300 = io.loadmat(fname_matrix_x300)['matrix_x300']
# 'United States'Quand'U.S'Affichage de similarité cosinus
vec_a = matrix_x300[dict_index_t['United_States']]
vec_b = matrix_x300[dict_index_t['U.S']]
print(cos_sim(vec_a, vec_b))
Résultat d'exécution
0.832760703627
La similarité cosinus est une mesure de la façon dont deux vecteurs sont orientés dans la même direction. Il n'est pas possible de déterminer si les mots sont similaires tels qu'ils sont, mais grâce à la vectorisation des mots, il est maintenant possible de déterminer s'ils sont similaires en examinant la similitude cosinus.
La similitude cosinus des vecteurs $ \ boldsymbol {A} $ et $ \ boldsymbol {B} $ peut être calculée par la formule suivante.
Au fait$ |\boldsymbol{A}| numpy.linalg.norm()Est requis à.
La similitude cosinus maximale est de 1 et plus la valeur est élevée, plus elle est similaire. Le résultat de cette exécution était d'environ 0,83, donc je suppose que «États-Unis» et «États-Unis» sont des mots assez similaires. C'est assez étonnant de deviner que «États-Unis» et «États-Unis» sont des mots proches rien qu'en se nourrissant de l'article de Wikipédia.
Pour plus d'informations sur la similarité cosinus, essayez google pour la "similarité cosinus".
C'est tout pour le 88e coup. Si vous avez des erreurs, je vous serais reconnaissant de bien vouloir les signaler.
Recommended Posts