RegExp de style UNIX Remplacer s'exécutant extrêmement lentement sous Windows. Aidez-moi? EDIT: Affirmation de lookahead négatif impact sur les performances

Question

J'essaie d'exécuter un regEXP unix sur chaque fichier journal dans un répertoire de 1,12 Go, puis remplacez le motif correspondant par ''. Test exécuté sur un fichier de 4 meg a pris environ 10 minutes, mais a fonctionné. Évidemment, quelque chose nuit à la performance de plusieurs ordres de grandeur. MISE À JOUR: Je remarque que la recherche de^(155 [0-2]). * $ Prend ~ 7 secondes dans un fichier de 5,6 Mo avec 77 correspondances. Ajout de l'assertion de Lookahead négative,?!, De sorte que le regExp devient^(?! 155 [0-2]). * $ Amène à prendre au moins 5-10 minutes; accordé, il y aura des milliers et des milliers de matches.

Est-ce que l'assertion de lookahead négative devrait être extrêmement préjudiciable à la performance quand il y a beaucoup de correspondances?

Answer 1

Si vous pouvez vous débarrasser de ce .* au début, cela aiderait. Que peut-il y avoir avant, juste des espaces? Si oui, essayez:

^(?!\s*155[0-2][0-9]{4}\s).*$ 

Si elle peut vraiment être quelque chose, essayez de faire ce non gourmand:

^(?!.*?155[0-2][0-9]{4}\s).*$ 

Note: dans les deux exemples, j'ai enlevé la deuxième .*, puisque le troisième serait correspondre la même chose aussi bien.

Il est utile de penser à ce que le moteur regex va réellement faire.

1. Correspondance ^ (début de ligne). Aucun problème. Essayez de faire correspondre l'assertion anticipée négative
2. Saisissez autant que possible avec .*. Cela signifie qu'il saisit toute la ligne.
3. Le caractère suivant est-il 1? Si ce n'est pas le cas, faites correspondre .* un caractère de moins et répétez jusqu'à ce qu'il corresponde à 1.

Vous pouvez voir que cela signifie que pour chaque ligne qui ne correspond pas, elle fera marche arrière sur toute la ligne. Maintenant, si vous utilisez simplement \s* au début, alors seulement saisir les espaces, pas toute la ligne. Si cela peut vraiment être quelque chose, .*? sera plus rapide sur les lignes qui correspondent au modèle 155, et ce sera à peu près la même chose sur les lignes qui ne le font pas. Fondamentalement: L'implémentation d'expressions rationnelles que vous utilisez est non-linéaire et ne peut traiter qu'avec un sous-ensemble de la ligne régulière (.* jusqu'à ce qu'elle ait saisi la ligne entière.)

Answer 2

langage d'expression avec toute efficacité. Voyez ma question au sujet d'un regex implementation that can handle machine generated regexes efficacement pour plus de fond.

Si vous pouvez sélectionner une autre implémentation, vous avez de la chance; Quand je regardais, ils étaient rares. Deux options raisonnables sont RE2 et TRE, mais les deux sont des bibliothèques et non des exécutables autonomes.

Une autre option consiste à utiliser l'utilitaire unix (grep?) Que vous avez utilisé dans le passé; grep a certainement un port Windows comme beaucoup d'autres utilitaires UNIX.