2
Dans le fichier robots.txt, je suis sur le point d'interdire certaines sections de mon site. Par exemple, je ne veux pas que mes termes et conditions soient indexés par les moteurs de recherche.robots.txt et Mod Rewrite dans .htaccess
User-agent: *
Disallow: /terms
Le chemin réel du fichier est en fait
/data/terms_and_conditions.html
Mais j'ai utilisé .htaccess pour réécrire l'URL.
Maintenant à mon Q, dois-je spécifier l'URL réécrite dans le fichier robots.txt ou l'URL réelle?
Question de suivi: Dois-je aussi avoir une ligne "Autoriser", ou est-ce que les moteurs de recherche supposent que tout autre qui n'est pas dans le fichier robots.txt est autorisé?
Merci