Je voulais juste savoir s'il est possible d'interdire tout le site pour les robots d'exploration et de ne permettre que des pages ou des sections spécifiques? Est-ce que "allow" est supporté par les crawlers comme FAST et Ultraseek?Robots.txt pour interdire tout et autoriser uniquement certaines parties du site/des pages. Est-ce que "allow" est supporté par les robots comme Ultraseek et FAST?
4
A
Répondre
7
Il y a un Allow Directive mais il n'y a aucune garantie qu'un bot particulier le supporte (tout comme il n'y a aucune garantie qu'un bot verra même votre fichier robots.txt pour commencer). Vous pourriez probablement dire en examinant vos weblogs si des robots spécifiques indexaient seulement les parties de votre site Web que vous autorisez.
Le format pour permettre juste une page ou une section particulière de votre site pourrait ressembler à:
Allow: /public/section1/
Disallow:/
Ce (devrait) empêcher les robots d'explorer ou d'indexer quoi que ce soit, sauf pour le contenu sous/public/Section1
Est-ce que 'Disallow: *' fonctionnerait aussi? – Geremia