C'est un record de défi de 100 langues de traitement knock 2015. L'environnement est Ubuntu 16.04 LTS + Python 3.5.2 : : Anaconda 4.1.1 (64 bits). Cliquez ici pour une liste des coups passés (http://qiita.com/segavvy/items/fb50ba8097d59475f760).
enwiki-20150112-400-r10-105752.txt.bz2 Le texte de 105 752 articles est-il échantillonné au hasard au 1/10 des articles composés d'environ 400 mots ou plus parmi les articles de Wikipédia en anglais au 12 janvier 2015, compressé au format bzip2. y a-t-il. En utilisant ce texte comme corpus, je souhaite apprendre un vecteur (expression distribuée) qui exprime le sens d'un mot. Dans la première moitié du chapitre 9, le processus d'apprentissage du vecteur de mot est mis en œuvre en le divisant en plusieurs processus en appliquant l'analyse en composantes principales à la matrice de cooccurrence de contexte de mot créée à partir du corpus. Dans la seconde moitié du chapitre 9, le vecteur de mots (300 dimensions) obtenu par apprentissage est utilisé pour calculer la similitude des mots et analyser (analogique).
Notez que si le problème 83 est implémenté de manière obéissante, une grande quantité (environ 7 Go) de stockage principal sera nécessaire. Si vous manquez de mémoire, concevez un processus ou un corpus d'échantillonnage 1/100 enwiki-20150112-400-r100-10576.txt.bz2 Utilisez /nlp100/data/enwiki-20150112-400-r100-10576.txt.bz2).
Lisez le vecteur de signification du mot obtenu en> 85, calculez vec ("Espagne") --vec ("Madrid") + vec ("Athènes"), et calculez 10 mots avec une grande similitude avec ce vecteur et leur similitude. Sortez-le.
main.py
# coding: utf-8
import pickle
from collections import OrderedDict
from scipy import io
import numpy as np
fname_dict_index_t = 'dict_index_t'
fname_matrix_x300 = 'matrix_x300'
def cos_sim(vec_a, vec_b):
'''Calcul de la similitude cosinus
Vecteur vec_a、vec_Trouver la similitude cosinus de b
Valeur de retour:
Similitude cosinus
'''
norm_ab = np.linalg.norm(vec_a) * np.linalg.norm(vec_b)
if norm_ab != 0:
return np.dot(vec_a, vec_b) / norm_ab
else:
#La valeur la plus basse car il n'est même pas possible de juger si la norme vectorielle est similaire à 0
return -1
#Lire le dictionnaire
with open(fname_dict_index_t, 'rb') as data_file:
dict_index_t = pickle.load(data_file)
#Lecture de la matrice
matrix_x300 = io.loadmat(fname_matrix_x300)['matrix_x300']
# vec("Spain") - vec("Madrid") + vec("Athens")Calcul de similarité cosinus avec
vec = matrix_x300[dict_index_t['Spain']] \
- matrix_x300[dict_index_t['Madrid']] \
+ matrix_x300[dict_index_t['Athens']]
distances = [cos_sim(vec, matrix_x300[i])
for i in range(0, len(dict_index_t))]
#Afficher le top 10
index_sorted = np.argsort(distances)
keys = list(dict_index_t.keys())
for index in index_sorted[:-11:-1]:
print('{}\t{}'.format(keys[index], distances[index]))
Résultat d'exécution
Spain 0.8915792748600528
Sweden 0.8719563254078373
Italy 0.8157221349558227
Austria 0.8086425542832402
Netherlands 0.7820356485764023
Denmark 0.7785976171354217
Belgium 0.7654520863664993
Greece 0.7513058649568729
Norway 0.749115358268825
France 0.7441934553247148
La constructivité additive signifie apparemment que la signification peut être calculée en ajoutant ou en soustrayant des vecteurs. Une analogie est une analogie, et ici elle semble se référer à deviner une relation qui a déjà été confirmée en l'appliquant à autre chose.
Puisque le vecteur créé dans Problème 85 a une constructivité additive, la relation entre les mots peut être extraite en calculant la différence. Par exemple, si vous soustrayez "Madrid" de "Espagne" comme dans le problème, vous pouvez obtenir le sens de "un mot qui est utilisé comme la relation entre le pays et la capitale". Le problème cette fois est d'utiliser cela pour déduire le pays de la capitale "Athènes".
vec("Spain") - vec("Madrid") $ \fallingdotseq $ vec("？") - vec("Athens")
En raison de l'hypothèse que cette relation tient, si la formule est transformée
vec("？") $ \fallingdotseq $ vec("Spain") - vec("Madrid") + vec("Athens")
Ce sera. Vous pouvez calculer ce côté droit et rechercher des mots proches de ce vecteur comme dans Problème 88.
Si c'est la relation entre le pays et la capitale, la bonne réponse est «Grèce», mais le résultat était 8e. Cependant, puisque seuls les pays européens sont alignés dans les résultats, on peut dire que l'analogie est à peu près celle attendue. Il y a une limite car il n'est vectorisé que par l'information des mots environnants, mais c'est assez intéressant.
C'est tout pour le 90e coup. Si vous avez des erreurs, je vous serais reconnaissant de bien vouloir les signaler.
Recommended Posts