[Traitement du langage naturel / PNL] Comment effectuer facilement une traduction arrière par traduction automatique avec Python
Avez-vous déjà voulu faire de la ** traduction inverse ** en Python pour ** l'augmentation des données **, comme dans un concours de PNL?
Par exemple, le «défi de classification des commentaires toxiques» de Kaggle utilise cette technique pour la solution de première place. https://www.kaggle.com/c/jigsaw-toxic-comment-classification-challenge/discussion/52557
Dans cet article, je vais vous expliquer comment inverser facilement la traduction à l'aide de la ** traduction automatique ** en Python.
Exemple de traduction inversée par traduction automatique Citation: https://amitness.com/2020/05/data-augmentation-for-nlp/
Aperçu
Avec ** googletrans **, vous pouvez facilement inverser la traduction sans avoir besoin d'une clé API.
Installez googletrans
L'environnement suppose Python3.
$pip install googletrans
Programme de traduction inversée
from googletrans import Translator
def BackTranslation(text, original_lang, via_lang):
translator = Translator()
return translator.translate(translator.translate(text, dest=original_lang).text, dest=via_lang).text
Dans le texte de l'argument, spécifiez le texte d'origine, dans original_lang, spécifiez la langue d'origine, et dans via_lang, spécifiez la langue que vous souhaitez utiliser.
Pour les langues qui peuvent être spécifiées pour lang, reportez-vous à la documentation googletrans suivante. https://py-googletrans.readthedocs.io/en/latest/
Exemple d'utilisation
「The destiny of man is in his own soul.」 J'essaierai d'inverser la traduction de la phrase anglaise qui dit via le japonais.
text = "The destiny of man is in his own soul."
BackTranslation(text, "en", "ja")
La valeur de retour (résultat de la traduction inverse) est la suivante.
Résultats de la traduction inverse
'The fate of man lies in his own soul.'
De plus, si vous sortez la langue relayée (japonais), ce sera comme suit.
Langue relayée
Le destin humain réside dans sa propre âme.
Les références
A Visual Survey of Data Augmentation in NLP https://amitness.com/2020/05/data-augmentation-for-nlp/
Googletrans: Free and Unlimited Google translate API for Python https://py-googletrans.readthedocs.io/en/latest/
La traduction inversée est-elle un alchimiste de la traduction automatique? http://deeplearning.hatenablog.com/entry/back_translation
Recommended Posts