Je souhaite empêcher les robots d'accéder aux URL qui se terminent par /new. Je en train de modifier mon dossier robots.txt comme suit:fichier robots.txt dissallow option
Disallow: /*/new
Est-ce le modèle correct d'utiliser pour interdire l'accès à tous les urls se terminant par /new?
Oui semble compatible avec Google cette
Essayez https://www.google.com/webmasters "Configuration du site> Accès Crawler" pour tester votre fichier robots.txt pour les URL données
Voici le résultat de cet outil
http://www.***.com/new/asdasd
Allowed by line 6: Allow:/
http://www.***.com/asdasd/new/
Blocked by line 8: Disallow: /*/new
Detected as a directory; specific files may have different restrictions
http://www.***.com/asdasd/new
Blocked by line 8: Disallow: /*/new
Disallow: /new$
va vérifier pour les URL se terminant par /new