Comment puis-je détecter les messages de spam russes avec Perl?

Question

J'ai un site de forum en anglais écrit en perl qui est continuellement bombardé de spam en russe. Existe-t-il un moyen d'utiliser Perl et regex pour détecter le texte russe afin que je puisse le bloquer?

Answer 1

Vous pouvez utiliser les éléments suivants pour détecter Cyrillic caractères (utilisé en russe):

[\u0400-\u04FF]+ 

Si vous voulez vraiment que les caractères russes, vous pouvez jeter un oeil sur le document mentionné ci-dessus, qui contient la gamme exacte utilisée pour l'alphabet russe de base qui est [\u0410-\u044F]. Bien sûr, vous devez également prendre en compte les caractères cyrilliques d'extension utilisés exclusivement en russe, également mentionnés dans le document.

Answer 2

en utilisant le jeu de caractères cyrillic unicode comme suggéré par JG est très bien si tout est codé en tant que tel. Cependant, il s'agit de spam et, pour la plupart, les choses ne le sont pas. En outre, les spammeurs utiliseront très souvent un mélange de jeux de caractères dans les spams, ce qui irrite encore plus cette approche.

je trouve que la meilleure façon (ou au moins l'étape préliminaire dans le processus) de détection du spam russe est à grep pour les jeux de caractères les plus couramment utilisés:

koi8-r 
windows-1251 
iso-8859-5 

étape suivante après cela d'essayer quelques algorithmes de détection de la langue sur ce qui reste. Si c'est un problème assez important, utilisez un service payant tel que google translate (qui détecte aussi) ou xerox. Ces services fournissent à l'OMI la meilleure détection linguistique possible.