Éclate une chaîne en phrases

Question

J'ai écrit ce morceau de code qui divise une chaîne et la stocke dans un tableau de chaînes: -

String[] sSentence = sResult.split("[a-z]\\.\\s+"); 

Cependant, j'ai ajouté le [az] parce que je voulais traiter une partie du problème d'abréviation. Mais mon résultat apparaît comme si: -

De plus, lorsque Everett a essayé de les instruire en mathématiques de base elles se sont avérées unresponsiv

Je vois que je perds le motif spécifié dans la fonction split. Je peux perdre la période, mais perdre la dernière lettre du mot perturbe sa signification.

Quelqu'un pourrait m'aider avec cela, et en outre, quelqu'un pourrait m'aider à traiter avec des abréviations? Par exemple, parce que je divise la chaîne en fonction des périodes, je ne veux pas perdre les abréviations.

Answer 1

L'analyse de phrases est loin d'être une tâche triviale, même pour les langues latines comme l'anglais. Une approche naïve comme celle que vous avez esquissée dans votre question échouera assez souvent pour que cela se révèle inutile dans la pratique.

Une meilleure approche consiste à utiliser un BreakIterator configuré avec les paramètres régionaux appropriés.

BreakIterator iterator = BreakIterator.getSentenceInstance(Locale.US); 
String source = "This is a test. This is a T.L.A. test. Now with a Dr. in it."; 
iterator.setText(source); 
int start = iterator.first(); 
for (int end = iterator.next(); 
    end != BreakIterator.DONE; 
    start = end, end = iterator.next()) { 
    System.out.println(source.substring(start,end)); 
} 

donne le résultat suivant:

1. Ceci est un test.
2. Ceci est un T.L.A. tester.
3. Maintenant avec un Dr. en elle.

Answer 2

Il sera difficile d'obtenir une expression régulière pour travailler dans tous les cas, mais pour résoudre votre problème immédiat, vous pouvez utiliser un lookbehind:

String sResult = "This is a test. This is a T.L.A. test."; 
String[] sSentence = sResult.split("(?<=[a-z])\\.\\s+"); 

Résultat:

This is a test 
This is a T.L.A. test. 

Notez qu'il existe sont des abréviations qui ne se terminent pas par des majuscules, comme abbrev., Mr., etc ... Et il y a aussi des phrases qui ne se terminent pas en périodes!

Answer 3

Si vous le pouvez, utilisez un outil de traitement du langage naturel, tel que LingPipe. Il y a beaucoup de subtilités qui seront très difficiles à attraper en utilisant des expressions régulières, par exemple, (par exemple :-)), M., abréviations, points de suspension (...), et ainsi de suite .

Il est très facile de suivre le tutoriel sur Sentence Detection sur le site Web de LingPipe.