Analyseur morphologique janome enfin [prend en charge le dictionnaire NElogd](https://medium.com/@mocobeta/neologd-%E8%BE%9E%E6% 9B% B8% E5% 86% 85% E5% 8C% 85% E3% 81% AE-janome-% E3% 83% 91% E3% 83% 83% E3% 82% B1% E3% 83% BC% E3 % 82% B8% E3% 81% AE% E3% 83% 80% E3% 82% A6% E3% 83% B3% E3% 83% AD% E3% 83% BC% E3% 83% 89% E3% 81 % A7% E3% 81% 8D% E3% 82% 8B% E3% 82% 88% E3% 81% 86% E3% 81% AB% E3% 81% 97% E3% 81% BE% E3% 81% 97 % E3% 81% 9F-% E4% B8% 8D% E5% AE% 9A% E6% 9C% 9F% E6% 9B% B4% E6% 96% B0-71611ab66415) et l'a essayé. Je l'ai eu légèrement avec pip install`.
Le système d'exploitation est Lubuntu14.04 et j'utilise le python3.5 d'Anaconda.
Déposez le fichier depuis here (google drive) et créez-le comme dans README
$ pip install Janome-0.3.5.neologd20170814.tar.gz --no-compile
Cependant, j'ai eu l'erreur suivante.
OSError: [Errno 28] No space left on device
Après examen, cette erreur semble se produire pour diverses raisons. Il semble que cela soit dû à la capacité du disque ou au nombre de fichiers. Dans ce cas, il semble que cela soit dû à la capacité.
$ df -h
Filesystem Size Used Avail Use% Mounted on
...(Omis)
/dev/zram1 1.5G 1.4G 4.0K 100% /tmp
...(Omis)
Et ainsi de suite, le répertoire tmp est plein. Puisque ce janome gère un gros fichier de dictionnaire, j'imagine qu'il a dépassé la limite.
Pour contourner ce problème, il semble facile de spécifier temporairement le répertoire tmp puis de l'installer.
$ mkdir $HOME/tmp
$ export TMPDIR=$HOME/tmp
$ pip install Janome-0.3.5.neologd20170814.tar.gz --no-compile
Le répertoire tmp est spécifié par la commande ʻexport TMPDIR = $ HOME / tmp`. Cette spécification est temporaire et sera supprimée à la fermeture de la session.
après ça,
>>> from janome.tokenizer import Tokenizer
>>> t = Tokenizer(mmap=True)
>>> for x in t.tokenize("Le premier ministre Abe mangeant du pain au melon"): print(x)
#Pain au melon,Nomenclature propriétaire,Général,*,*,*,Pain au melon,Pain au melon,Pain au melon
#Auxiliaire,Assistant de cas,Général,*,*,*,À,Wo,Wo
#Eat verbe,Indépendance,*,*,Un pas,Forme basique,manger,Tabel,Tabel
#Nomenclature du Premier ministre Abe,Nomenclature propriétaire,Général,*,*,*,Premier ministre Abe,Abesouri,Avesori
Recommended Posts