Que présenter dans cet article

L'histoire de la création d'un package de support pour KNP
La vitesse de traitement légèrement (1,6 à 2 fois) est améliorée [^ 1]
La combinaison de Juman ++ et KNP est près de 10 fois plus rapide.

Qu'est-ce que KNP?

C'est un "analyseur de syntaxe japonaise". Tu peux le faire.

--Analyse de cas

Analyse --Extraction d'expression unique

Eh bien, RNN va bien, n'est-ce pas?

Vous vous demandez peut-être: "Êtes-vous toujours en train d'analyser?" En fait, il a déjà été montré que le RNN conçu donne la plus grande précision dans la tâche de deviner la note (http://www.slideshare.net/hirokiouchi5/ss-70436298). En fait, le code source est également ouvert au public, donc je pense que c'est correct d'aller ici.

Cependant, [KNP est toujours la cible la plus analysée](http://nlp.ist.i.kyoto-u.ac.jp/nl-resource/corpus/KyotoCorpus4.0/doc/rel_guideline. pdf) et KNP est un outil facile à utiliser car il affiche non seulement une analyse de cas, mais également des informations de syntaxe à partir d'informations morphologiques.

Un petit problème avec KNP

La vitesse d'analyse n'est pas très rapide. ~~ Certaines personnes disent que la vitesse d'analyse de Mecab et Cabocha est tout simplement trop rapide ~~

Je m'en fiche quand il n'y a qu'une petite quantité de données d'entrée, mais à mesure que la quantité de données augmente, j'aimerais en concevoir un peu.

Cependant, je ne veux pas toucher au contenu.

Ensuite, le package présenté dans cet article est une idée simple de __ "Il est normal de décentraliser" __.

J'ai créé un package qui décentralisera le traitement des appels KNP

Installation

Maintenant que vous vous êtes enregistré avec Pypi, vous pouvez l'installer avec pip.

pip install knp-utils

Fonctionnalité

Plus rapide qu'un seul thread (évidemment)
La consommation de mémoire est faible pour le traitement parallèle. Convivial à la machine. --Préparation d'une interface simple pour obtenir les résultats d'analyse KNP
Puisqu'il a une interface de ligne de commande / application Web, il peut être utilisé par des personnes qui ne sont pas liées à Python.
Fonctionne avec Python 2.x / 3.x --Pour ceux qui souhaitent utiliser pyknp [par ici](https://github.com/Kensuke-Mitsuzawa/knp-utils-py/search?utf8=%E2%9C%93&q=pyknp_parsed_result+%3D+knp_obj.result% 28input_str% 3Dknp_parsed_obj.parsed_result% 29), cela fonctionne.

Comparaison de vitesse (Juman & KNP)

C'est plus rapide. La différence a tendance à augmenter à mesure que le nombre de documents d'entrée augmente. Les chiffres ci-dessous sont des comparaisons pour 40 documents.

Au fait, pexpect, ʻeverytimeest un nom de mode qui gère les processus humains et KNP dans le multithreading. pexpect laisse le processus Human & KNP en cours d'exécution. ʻEverytime lance Human & KNP pour chaque texte d'entrée.

pexpect mode, finished with :44.13979196548462[sec]
everytime mode, finished with :38.31942701339722[sec]
pyknp, finished with :64.74086809158325[sec]

Comparaison de vitesse (Juman ++ & KNP)

Comparaison du temps lors de la combinaison Juman ++ & KNP. On dit que Juman ++ (1.02) est "lent, qu'est-ce que c'est?" En effet, le chargement du fichier modèle prend du temps au démarrage du processus.

Donc, si vous laissez le processus en cours d'exécution, il sera plus rapide. C'est une histoire simple.

pexpect mode, finished with :48.096940994262695[sec]
everytime mode, finished with :64.07872700691223[sec]
pyknp, finished with : 602.032340992232452[sec]

Contenu de l'opération

Il répète simplement le processus suivant.

Stocker le document d'entrée dans sqlite3 DB --Appels humains et KNP distribués avec plusieurs threads [^ 2] --Enregistrer le résultat de l'analyse dans sqlite3 DB

finalement

Ayez une vie d'analyse syntaxique rapide, facile et amusante!

[^ 1]: 40 Différences entre les documents. Plus vous entrez de documents, plus vite ce sera. [^ 2]: le multiprocessus est plus rapide, mais j'ai eu une erreur et cela n'a pas fonctionné (´ ・ ω ・ `)

L'histoire de la création d'un package qui accélère le fonctionnement de Juman (Juman ++) & KNP