Encodage de caractères lors du traitement de fichiers en Python 3

Aperçu

• Dans Python3, le codage de caractères par défaut lors de la gestion de fichiers avec ʻopenetc. dépend du système d'exploitation. --Dans la série Unix (Linux), cela dépend delocale (LC_CTYPE). --Si vous lisez ou écrivez un fichier sans y penser, vous pouvez rencontrer ʻUnicodeDecodeError etc. selon l'environnement.

Vérification

• Vérifiez le fonctionnement avec votre macOS --Par exemple, supposons que vous ayez un fichier texte utf-8 avec du japonais écrit dessus. Ouvrez ce fichier pour obtenir le contenu ​

with open('utf-8.txt', mode='r') as fp:
    text = fp.read()

• Vous pouvez l'ouvrir sans aucune erreur et obtenir le contenu du fichier.
• Ceci est dû au fait que macOS utilise par défaut le codage de caractères UTF-8
• Vous pouvez vérifier l'encodage des caractères réellement utilisé avec locale.getpreferredencoding. ​

>> import locale
>> locale.getpreferredencoding() 
UTF-8

--Parce que getpreferredencoding est ʻUTF-8`, le texte de utf-8 peut être lu sans erreur.

• Modifiez réellement LC_CTYPE et vérifiez qu'une erreur se produit --Utilisez setlocale pour modifier temporairement LC_CTYPE ​

import locale
​
locale.setlocale(locale.LC_CTYPE, ('C')) 
print(locale.getpreferredencoding(False)) # => US-Devenez ASCII
​
with open('hoge.txt') as fp:
    text = fp.read()

Résultat

US-ASCII
Traceback (most recent call last):
  File "test.py", line 7, in <module>
    text = fp.read()
  File "/path/to/encodings/ascii.py", line 26, in decode
    return codecs.ascii_decode(input, self.errors)[0]
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe3 in position 0: ordinal not in range(128)

• En définissant LC_CTYPE sur C, le codage des caractères devient US-ASCII.
• En conséquence, j'ai eu ʻUnicodeDecodeError` en lisant le texte de uff-8.

Note
-LC sans setloacale_Le même comportement peut être confirmé en modifiant directement la variable d'environnement CTYPE.
- getpreferredencoding(do_setloacal=False)Sinon, le codage temporairement modifié ne pourrait pas être obtenu avec setlocale.

Correspondance

• En gros, lorsqu'il s'agit de fichiers, il est préférable de spécifier le codage des caractères
• En Python3, ʻopen peut maintenant accepter les arguments ʻencoding, donc vous pouvez l'utiliser (= vous pouvez gérer les fichiers indépendamment de LC_CTYPE).

with open('utf-8.txt', encoding='utf-8') as fp:
    text = fp.read()

• Si vous voulez écrire une bibliothèque qui fonctionne à la fois avec python2 et python3, il est préférable de l'ouvrir en mode binaire puis de la définir sur utf-8 ou d'utiliser le module codecs.

#! -*- coding:utf-8 -*-
import locale
import codecs
import six
​
locale.setlocale(locale.LC_CTYPE, ('C'))
​
with open('utf-8.txt', 'rb') as fp:
    text1 = fp.read()
    text1 = six.text_type(text1, 'utf-8')
​
with codecs.open('utf-8.txt', 'r', encoding='utf-8') as fp:
    text2 = fp.read()
​
assert text1 == text2

Résumé

--Python3 détermine le codage de caractères par défaut lors de la gestion des fichiers en fonction du système d'exploitation et de locale (LC_CTYPE)

• Fondamentalement, il est préférable de gérer le fichier après avoir spécifié le codage des caractères. Sinon, vous rencontrerez un problème involontaire. «Je suis désolé d'avoir fait ce genre de chose ces derniers temps.
• https://github.com/zengin-code/zengin-py/pull/4

référence

• http://qiita.com/methane/items/6e294ef5a1fad4afa843
• http://qiita.com/methane/items/dac75ef5019b311a0f10
• https://docs.python.jp/3/library/locale.html#locale.setlocale
• https://docs.python.jp/3/library/locale.html#locale.getpreferredencoding