Quels sont tous les caractères d'espaces blancs japonais?

Question

Je dois diviser une chaîne et extraire les mots séparés par des caractères d'espacement. La source peut être en anglais ou en japonais. Les caractères d'espaces blancs anglais incluent l'onglet et l'espace, et le texte japonais les utilise également. (IIRC, tous les jeux de caractères japonais largement utilisés sont des surensembles de US-ASCII.)

Donc l'ensemble de caractères que j'ai besoin d'utiliser pour séparer ma chaîne comprend un espace ASCII normal et une tabulation. Mais, en japonais, il existe un autre caractère d'espace, communément appelé «espace pleine largeur». Selon l'utilitaire Character Viewer de mon Mac, c'est U + 3000 "IDEOGRAPHIC SPACE". C'est (généralement) ce qui se passe lorsqu'un utilisateur appuie sur la barre d'espace tout en tapant en mode de saisie japonais.

Y a-t-il d'autres caractères à prendre en compte?

Je suis en train de traiter des données textuelles soumises par des utilisateurs à qui on a demandé de "séparer les entrées avec des espaces". Cependant, les utilisateurs utilisent une grande variété de systèmes d'exploitation pour ordinateurs et téléphones mobiles pour soumettre ces textes. Nous avons déjà vu que les utilisateurs peuvent ne pas savoir s'ils sont en mode de saisie japonais ou anglais lors de la saisie de ces données. En outre, le comportement de la clé spatiale diffère entre plates-formes et applications même en mode japonais (par exemple, Windows 7 insérera un espace idéographique mais iOS insérera un espace ASCII). Donc ce que je veux, c'est fondamentalement "l'ensemble de tous les caractères qui ressemblent visuellement à un espace et qui peuvent être générés lorsque l'utilisateur appuie sur la touche espace, ou sur la touche tabulation car de nombreux utilisateurs ne connaissent pas la différence un onglet, en japonais et/ou en anglais ".

Y a-t-il une réponse faisant autorité à une telle question?

Answer 1

Vous avez besoin de l'onglet ASCII, de l'espace et de l'espace insécable (U + 00A0) et de l'espace pleine largeur, que vous avez correctement identifié comme U + 3000. Vous pourriez éventuellement vouloir des caractères de nouvelle ligne et des espaces verticaux. Si votre entrée est en Unicode (pas Shift-JIS, etc.) alors c'est tout ce dont vous aurez besoin. Il existe d'autres caractères (de contrôle) tels que \ 0 NULL qui sont parfois utilisés comme délimiteurs d'informations, mais ils ne seront pas rendus en tant qu'espace dans le texte d'Asie orientale, c'est-à-dire qu'ils n'apparaîtront pas en tant qu'espace blanc. : Matt Ball a un bon point dans son commentaire, mais, comme son exemple l'illustre, de nombreuses implémentations regex ne traitent pas bien la ponctuation en Asie de l'Est sur toute la largeur. À cet égard, il vaut la peine de mentionner que le string.whitespace de Python ne coupera pas non plus la moutarde.

Answer 2

Je viens de trouver votre message. C'est une excellente explication sur la normalisation des caractères Unicode.

http://en.wikipedia.org/wiki/Unicode_equivalence

Je trouve que beaucoup de langages de programmation, comme Python, ont des modules qui peuvent mettre en œuvre ces règles de normalisation des normes Unicode. Pour mes besoins, j'ai trouvé que le code python suivant fonctionne très bien. Il convertit toutes les variantes d'unicode d'espaces blancs dans la plage ASCII. Après la normalisation, une commande regex peut convertir tous les espaces à ascii \ x32: Module

import unicodedata 
# import re 

ucode = u'大変、 よろしくお願い申し上げます。' 

normalized = unicodedata.normalize('NFKC', ucode) 

# old code 
# utf8text = re.sub('\s+', ' ', normalized).encode('utf-8') 

# new code 
utf8text = ' '.join(normalized.encode('utf-8').split()) 

Depuis la première écriture, j'ai appris regex de Python (re) itentifies mal ces caractères blancs et peut provoquer un plantage si rencontré. Il s'avère une méthode plus rapide et plus fiable pour utiliser la fonction .split().