Apprendre la catégorisation de documents japonais avec spaCy / GiNZA (échec)

Cet article est l'article du 9ème jour de Calendrier de l'Avent 2019 Unique Vision Co., Ltd..

introduction

Cet article est une suite de Apprendre la catégorisation des documents avec spaCy CLI. La dernière fois, nous avons traité des documents anglais, mais dans cet article, nous étudierons la catégorisation à l'aide de la CLI de spaCy pour les documents japonais.

Conditions préalables

Comme la dernière fois, j'utilise le GPU de google Colab comme environnement d'exécution, et le GPU est Tesla P100. De plus, la version de la bibliothèque est

est. GiNZA est installé selon la procédure suivante.

$ pip install "https://github.com/megagonlabs/ginza/releases/download/latest/ginza-latest.tar.gz"

Cette fois, nous l'exécuterons sur Google Colab, nous allons donc également exécuter la magie suivante.

import pkg_resources, imp
imp.reload(pkg_resources)

Utilisez le Livedoor News Corpus pour l'ensemble de données. Téléchargez les données à l'avance comme suit.

$ wget https://www.rondhuit.com/download/ldcc-20140209.tar.gz
$ tar -xvf ldcc-20140209.tar.gz

Préparation des données

La structure des données est la même que la dernière fois, donc le processus de sauvegarde reste le même.

import spacy
import srsly
from spacy.gold import docs_to_json

def save_to_json(model, data, targets, target_names, output_file, n_texts=0):
  def get_categories(target):
    return dict([(key, int(target == i)) for i, key in enumerate(target_names)])

  nlp = spacy.load(model)
  nlp.disable_pipes(*nlp.pipe_names)
  sentencizer = nlp.create_pipe("sentencizer")
  nlp.add_pipe(sentencizer, first=True)

  docs = []
  count = 0
  for i, doc in enumerate(nlp.pipe(data)):
    doc.cats = get_categories(targets[i])
    docs.append(doc)

    if n_texts > 0 and count == n_texts:
      break
    count += 1

  srsly.write_json(output_file, [docs_to_json(docs)])
  return count

Chargez les données pour que cette fonction puisse être utilisée.

from pathlib import Path

data = []
targets = []
target_names = []

for target, target_name in enumerate([p for p in Path('text').iterdir() if p.is_dir()]):
  target_names.append(target_name.name)
  for news in target_name.iterdir():
    if 'LICENSE' in news.name:
      continue
    with open(news) as f:
      s = '\n'.join(f.read().splitlines()[2:])
    data.append(s)
    targets.append(target)

Enregistrez-le dans le fichier comme suit.

from sklearn.model_selection import train_test_split

X_train, X_dev, y_train, y_dev = train_test_split(data, targets, test_size=0.20, random_state=42)

save_to_json(
    'ja_ginza',
    X_train,
    y_train,
    target_names,
    'train.json'
)

save_to_json(
    'ja_ginza',
    X_dev,
    y_dev,
    target_names,
    'dev.json'
)

Notez que contrairement à l'article précédent, nous avons spécifié ja_ginza pour le modèle. Si vous créez un fichier JSON par cette méthode, les caractères non ASCII seront échappés en Unicode et sortis, mais il n'y a pas de problème car cela facilitera la lecture.

Apprentissage

Si vous essayez d'apprendre de la même manière que la dernière fois, vous obtiendrez l'erreur suivante.

$ !time python -m spacy train ja output train.json dev.json -v ja_ginza -p textcat -ta simple_cnn -g 0
Training pipeline: ['textcat']
Starting with blank model 'ja'
Loading vector from model 'ja_ginza'
Traceback (most recent call last):
  File "/usr/lib/python3.6/runpy.py", line 193, in _run_module_as_main
    "__main__", mod_spec)
  File "/usr/lib/python3.6/runpy.py", line 85, in _run_code
    exec(code, run_globals)
  File "/usr/local/lib/python3.6/dist-packages/spacy/__main__.py", line 33, in <module>
    plac.call(commands[command], sys.argv[1:])
  File "/usr/local/lib/python3.6/dist-packages/plac_core.py", line 328, in call
    cmd, result = parser.consume(arglist)
  File "/usr/local/lib/python3.6/dist-packages/plac_core.py", line 207, in consume
    return cmd, self.func(*(args + varargs + extraopts), **kwargs)
  File "/usr/local/lib/python3.6/dist-packages/spacy/cli/train.py", line 213, in train
    _load_vectors(nlp, vectors)
  File "/usr/local/lib/python3.6/dist-packages/spacy/cli/train.py", line 530, in _load_vectors
    util.load_model(vectors, vocab=nlp.vocab)
  File "/usr/local/lib/python3.6/dist-packages/spacy/util.py", line 162, in load_model
    return load_model_from_link(name, **overrides)
  File "/usr/local/lib/python3.6/dist-packages/spacy/util.py", line 179, in load_model_from_link
    return cls.load(**overrides)
  File "/usr/local/lib/python3.6/dist-packages/spacy/data/ja_ginza/__init__.py", line 12, in load
    return load_model_from_init_py(__file__, **overrides)
  File "/usr/local/lib/python3.6/dist-packages/spacy/util.py", line 228, in load_model_from_init_py
    return load_model_from_path(data_path, meta, **overrides)
  File "/usr/local/lib/python3.6/dist-packages/spacy/util.py", line 211, in load_model_from_path
    return nlp.from_disk(model_path)
  File "/usr/local/lib/python3.6/dist-packages/spacy/language.py", line 941, in from_disk
    util.from_disk(path, deserializers, exclude)
  File "/usr/local/lib/python3.6/dist-packages/spacy/util.py", line 654, in from_disk
    reader(path / key)
  File "/usr/local/lib/python3.6/dist-packages/spacy/language.py", line 936, in <lambda>
    p, exclude=["vocab"]
  File "nn_parser.pyx", line 665, in spacy.syntax.nn_parser.Parser.from_disk
  File "nn_parser.pyx", line 77, in spacy.syntax.nn_parser.Parser.Model
  File "/usr/local/lib/python3.6/dist-packages/spacy/_ml.py", line 323, in Tok2Vec
    return _legacy_tok2vec.Tok2Vec(width, embed_size, **kwargs)
  File "/usr/local/lib/python3.6/dist-packages/spacy/ml/_legacy_tok2vec.py", line 44, in Tok2Vec
    glove = StaticVectors(pretrained_vectors, width, column=cols.index(ID))
  File "/usr/local/lib/python3.6/dist-packages/thinc/neural/_classes/static_vectors.py", line 43, in __init__
    vectors = self.get_vectors()
  File "/usr/local/lib/python3.6/dist-packages/thinc/neural/_classes/static_vectors.py", line 55, in get_vectors
    return get_vectors(self.ops, self.lang)
  File "/usr/local/lib/python3.6/dist-packages/thinc/extra/load_nlp.py", line 26, in get_vectors
    nlp = get_spacy(lang)
  File "/usr/local/lib/python3.6/dist-packages/thinc/extra/load_nlp.py", line 14, in get_spacy
    SPACY_MODELS[lang] = spacy.load(lang, **kwargs)
  File "/usr/local/lib/python3.6/dist-packages/spacy/__init__.py", line 30, in load
    return util.load_model(name, **overrides)
  File "/usr/local/lib/python3.6/dist-packages/spacy/util.py", line 169, in load_model
    raise IOError(Errors.E050.format(name=name))
OSError: [E050] Can't find model 'ja_nopn.vectors'. It doesn't seem to be a shortcut link, a Python package or a valid path to a data directory.

real	0m1.610s
user	0m1.299s
sys	0m0.394s

Quand je lis le message d'erreur, il semble qu'il y ait un problème avec _load_vectors, donc je vais essayer de reproduire la situation avec le code suivant.

from spacy.util import get_lang_class, load_model
lang_cls = get_lang_class('ja')
nlp = lang_cls()
load_model('ja_ginza', vocab=nlp.vocab)

Ensuite, cela réussira. Je suis un peu épuisé ici, alors je vais commencer à apprendre d'un modèle vide.

Apprendre à partir d'un modèle vide

Supprimez simplement -v ja_ginza de la commande ci-dessus.

$ !time python -m spacy train ja output train.json dev.json -p textcat -ta simple_cnn -g 0
Training pipeline: ['textcat']
Starting with blank model 'ja'
Counting training words (limit=0)
tcmalloc: large alloc 2128887808 bytes == 0x629bc000 @  0x7f7744def1e7 0x5acd6b 0x7f773a41a5db 0x7f773a41abf0 0x7f773a41ae36 0x7f773a4185c1 0x50ac25 0x50c5b9 0x7f76e032ab20 0x7f76e032f98f 0x7f76e03226c5 0x7f76e0371c47 0x7f76e31d372a 0x7f76e035efce 0x7f76e31d372a 0x7f76e038b1e7 0x7f76e31d372a 0x7f76e0352148 0x7f76e035c24b 0x59509c 0x54a8a5 0x551b81 0x5aa6ec 0x50abb3 0x50d390 0x508245 0x589471 0x5a067e 0x50d966 0x508245 0x50a080
Textcat evaluation score: F1-score macro-averaged across the labels 'peachy,
smax, it-life-hack, sports-watch, movie-enter, livedoor-homme, dokujo-tsushin,
kaden-channel, topic-news'

Itn  Textcat Loss  Textcat  Token %  CPU WPS  GPU WPS
---  ------------  -------  -------  -------  -------
  1      1312.086   84.850   99.995    32519   119886
  2       181.481   89.898   99.995    32879   119157
  3       119.681   91.490   99.995    32741   122003
  4        87.429   92.677   99.995    32618   119988
  5        66.618   92.674   99.995    32005   122189
  6        45.137   92.484   99.995    32293   113857

Apparemment, je peux apprendre, mais c'est très lourd par rapport à en. C'est un niveau de poids qui n'a pas envie de vous laisser apprendre par hasard.

Résumé

J'ai essayé de classer les documents japonais en utilisant la CLI de spaCy. L'essentiel est l'échec.

Tout d'abord, je pense que nous devons charger le modèle de base et résoudre le gros problème.

Recommended Posts

Apprendre la catégorisation de documents japonais avec spaCy / GiNZA (échec)
Apprendre la catégorisation de documents avec la CLI spaCy
[PyTorch] Introduction à la classification des documents japonais à l'aide de BERT
Effectuer une analyse d'entité à l'aide de spaCy / GiNZA en Python
[Échec] Développement de TTS japonais en utilisant Tacotron2 ~ 2e travail ~