configuration robots.txt

Question

J'ai quelques doutes sur ce fichier robots.

User-agent: * 
Disallow: /administrator/ 
Disallow: /css/ 
Disallow: /func/ 
Disallow: /images/ 
Disallow: /inc/ 
Disallow: /js/ 
Disallow: /login/ 
Disallow: /recover/ 
Disallow: /Scripts/ 
Disallow: /store/com-handler/ 
Disallow: /store/img/ 
Disallow: /store/theme/ 
Disallow: /store/StoreSys.swf 
Disallow: config.php 

Cela va désactiver les robots d'exploration pour tous les fichiers dans chaque dossier droit? Ou dois-je ajouter un astérisque à la fin de chaque nom de dossier?

Je pense que cela devrait le faire. Mais je ne suis pas sûr si je dois ajouter Allow: / juste après User-agent je suppose que ce n'est pas nécessaire.

Quelque chose ne va pas dans ce fichier robots? PS: Si quelqu'un peut suggérer une application de validation pour une utilisation locale, je serais heureux.

Merci.

Answer 1

C'est bien comme ça, si je comprends ce que vous voulez. Par exemple.

/administrator/ 
/css/subpage 

sont tous deux bloqués, mais

/foo 

est autorisé. Notez que Allow est une extension moins prise en charge conçue uniquement pour contrer un Disallow précédent. Vous pouvez l'utiliser si, par exemple, malgré votre

Disallow: /images/ 

vous décidez que vous souhaitez autoriser une image particulière. Ainsi,

Allow: /images/ok_image 

Toutes les autres images restent bloquées. Vous pouvez voir http://www.searchtools.com/robots/robots-txt.html pour plus d'informations, y compris une liste de vérificateurs.