ambiguïté de pypars

Question

Le problème est que j'ai des noms qui peuvent contenir des espaces blancs. Donc, ma contribution pourrait ressembler à ceci. Tout d'abord, une liste de noms:

Joe 
bob 
Jimmy X 
grjiaer-rreaijgr Y 

Ensuite, les choses qu'ils font:

Joe A 
bob B 
Jimmy X C 

le problème est bien sûr qu'une chose qu'ils font peut être la même que la fin du nom:

Comment est-ce que je peux créer un analyseur pour les lignes d'action?

Jimmy X X 
grjiaer-rreaijgr Y Y 

Comment est-ce que je peux créer un analyseur pour les lignes d'action? La sortie de l'analyse Joe A doit être [Joe, A]. La sortie de l'analyse Jimmy X C doit être [Jimmy X, C], de Jimmy X X - [Jimmy X, X]. C'est, [name, action] paires.

Si je crée mon analyseur de nom naïvement, ce qui signifie quelque chose comme OneOrMore(RegEx("\S*")), il correspondra à la ligne entière me donner [Jimmy X X] suivie d'une erreur d'analyse pour ne pas voir une action (car il était déjà consommé par l'analyseur de nom).

NOTE: Désolé pour le phrasé ambigu précédemment fait que cela ressemble à une question de la PNL.

Answer 1

Amusez-vous:

from pyparsing import Regex, oneOf 

THE_NAMES = \ 
"""Joe 
bob 
Jimmy X 
grjiaer-rreaijgr Y 
""" 

THE_THINGS_THEY_DO = \ 
"""Joe A 
bob B 
Jimmy X C 
Jimmy X X 
grjiaer-rreaijgr Y Y 
""" 

ACTION = Regex('.*') 
NAMES = THE_NAMES.splitlines() 
print NAMES 
GRAMMAR = oneOf(NAMES) + ACTION  
for line in THE_THINGS_THEY_DO.splitlines(): 
    print GRAMMAR.parseString(line) 

Answer 2

Vous avez besoin de beaucoup plus qu'un simple analyseur. Les analyseurs utilisent les symboles d'une chaîne pour définir quelles parties de la chaîne représentent différents éléments d'une grammaire. C'est pourquoi FM a demandé un indice pour savoir comment vous savez quelle partie est le nom et quelle partie est le reste de la phrase. Si vous pouvez dire que les noms sont composés d'un ou de plusieurs mots en majuscules, alors l'analyseur sait quand le nom s'arrête et le reste de la phrase commence.

Mais un nom comme "jimmy foo décide"? Comment l'analyseur peut-il savoir juste en regardant les symboles dans "décide" si "décide" est ou ne fait pas partie du nom? Même un humain lisant votre phrase "décide de manger" aurait du mal à déterminer où le nom commence ou s'arrête, et s'il s'agissait d'une sorte de faute de frappe.

Si votre entrée est vraiment imprévisible, vous devez utiliser un outil tel que le NLTK (Natural Language Toolkit). Je ne l'ai pas utilisé moi-même, mais il aborde ce problème du point de vue de l'analyse des phrases dans une langue, par opposition à essayer d'analyser des données structurées ou des formats mathématiques.

Je ne recommanderais pas pyparsing pour ce genre d'interprétation de la langue.

Answer 3

On dirait que vous avez besoin de nltk, pas de pyparsing. On dirait que vous avez besoin d'un problème traitable pour travailler. Comment savez-vous comment analyser «jimmy foo décide décide de manger»? Quelles règles utilisez-vous pour déduire (contrairement à ce que la plupart des gens supposeraient) que "décide décide" n'est pas une faute de frappe? Re "noms qui peuvent contenir des espaces": Premièrement, j'espère que vous normaliser cela dans un espace. Deuxièmement: c'est inattendu? Troisièmement: les noms peuvent contenir des apostrophes et des traits d'union (O'Brien, Montagu-Douglas-Scott) et peuvent avoir des composantes qui ne sont pas capitalisées, par ex. Georg von und zu Hohenlohe) et nous ne mentionnerons pas Unicode.