1
est il y a une bibliothèque pour vérifier robots.txt ou bien comment puis-je droit en C++ avec regex boost s'il vous plaît expliquer quelques exemples ....l'analyse du fichier robots.txt en utilisant C++
A
Répondre
2
Vérifiez la examples en la bibliothèque Boost Regex. Si vous éditez votre question pour donner une meilleure idée de ce que vous recherchez dans votre fichier robots.txt, quelqu'un peut vous aider avec la syntaxe de Regex. Par exemple, si vous essayez de trouver les noms de tous les agents utilisateur dans le fichier, vous pouvez utiliser une expression comme celle-ci.
boost::regex expression("^User-agent:\s*(.*)");
Besoin de plus de détails: Quel est le format et la disposition de robots.txt? Est-ce que vous vous demandez comment écrire en utilisant des expressions régulières ou comment lire? –
"Robots.txt" est le mécanisme d'exclusion pour les robots d'exploration Web. Voir par exemple http://www.robotstxt.org/robotstxt.html. C'est un format trivial. – MSalters
Je ne sais pas pourquoi les gens votent pour fermer cela comme n'étant pas une vraie question. Peut-être que c'est un doublon de http://stackoverflow.com/questions/3751387/what-is-wrong-with-this-boost-c-regex-code, cependant. – Brian