100 traitement du langage knock-93 (en utilisant des pandas): calcul du taux de précision de la tâche d'analogie

Il s'agit de l'enregistrement de la 93e "Calcul du taux de précision de la tâche d'analogie" de Traitement du langage 100 knock 2015. Il est facile de gagner simplement en calculant le taux de réponse correct pour le résultat de frappe précédent. Le résultat du programme auto-conçu est d'environ 25% et le résultat lors de l'utilisation de Gensim est de 58%, ce qui est une grande différence (il y a un doute sur la façon de calculer le taux de réponse correct).

Lien de référence

environnement

Dans l'environnement ci-dessus, j'utilise les packages Python supplémentaires suivants. Installez simplement avec pip ordinaire.

Tâche

Chapitre 10: Méthode de l'espace vectoriel (II)

Au chapitre 10, nous continuerons à travailler sur l'apprentissage des vecteurs de mots du chapitre précédent.

93. Calcul du taux d'exactitude de la tâche d'analogie

Utilisez les données créées dans> 92 pour trouver le taux de réponse correct pour la tâche d'analogie de chaque modèle.

Répondre

Programme de réponse [093. Calcul du taux de précision de l'analogie task.ipynb](https://github.com/YoheiFukuhara/nlp100/blob/master/10.%E3%83%99%E3%82%AF%E3%83 % 88% E3% 83% AB% E7% A9% BA% E9% 96% 93% E6% B3% 95% 20 (II) /093.%E3%82%A2%E3%83%8A%E3%83 % AD% E3% 82% B8% E3% 83% BC% E3% 82% BF% E3% 82% B9% E3% 82% AF% E3% 81% AE% E6% AD% A3% E8% A7% A3 % E7% 8E% 87% E3% 81% AE% E8% A8% 88% E7% AE% 97.ipynb)

import pandas as pd

def calc_accuracy(file):
    df = pd.read_table(file, header=None, usecols=[3, 4, 5], names=['word4', 'result', 'similarity'])
    print(df.info())
    print('Total records:', len(df))
    print('Available records:', (df['similarity'] != -1).sum())
    print('Correct records:', (df['word4'] == df['result']).sum())
    print('Accuracy', (df['word4'] == df['result']).sum() / (df['similarity'] != -1).sum())

calc_accuracy('092.analogy_word2vec_1.txt')

calc_accuracy('092.analogy_word2vec_2.txt')

Répondre au commentaire

Je pense qu'il existe une manière plus intelligente de l'écrire, mais je ne me concentre pas vraiment sur le temps. Le fichier est lu et le taux de précision est calculé. Je ne savais pas quoi faire du dénominateur, mais si je ne trouvais pas un mot dans le corpus, je l'excluais du dénominateur.

df = pd.read_table(file, header=None, usecols=[3, 4, 5], names=['word4', 'result', 'similarity'])
print(df.info())
print('Total records:', len(df))
print('Available records:', (df['similarity'] != -1).sum())
print('Correct records:', (df['word4'] == df['result']).sum())
print('Accuracy', (df['word4'] == df['result']).sum() / (df['similarity'] != -1).sum())

C'est le résultat de mon propre programme.

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 506 entries, 0 to 505
Data columns (total 3 columns):
word4         506 non-null object
result        462 non-null object
similarity    504 non-null float64
dtypes: float64(1), object(2)
memory usage: 12.0+ KB
None
Total records: 506
Available records: 462
Correct records: 114
Accuracy 0.24675324675324675

C'est le résultat lors de l'utilisation de Gensim. Je crains que les «enregistrements disponibles» diminuent. Certes Gensim semble avoir la logique que Word2Vec ne cible pas quand il est peu fréquent ...

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 506 entries, 0 to 505
Data columns (total 3 columns):
word4         506 non-null object
result        400 non-null object
similarity    506 non-null float64
dtypes: float64(1), object(2)
memory usage: 12.0+ KB
None
Total records: 506
Available records: 400
Correct records: 231
Accuracy 0.5775