2008-12-26 13 views

Répondre

7

Il y a un Allow Directive mais il n'y a aucune garantie qu'un bot particulier le supporte (tout comme il n'y a aucune garantie qu'un bot verra même votre fichier robots.txt pour commencer). Vous pourriez probablement dire en examinant vos weblogs si des robots spécifiques indexaient seulement les parties de votre site Web que vous autorisez.

Le format pour permettre juste une page ou une section particulière de votre site pourrait ressembler à:

Allow: /public/section1/ 
Disallow:/

Ce (devrait) empêcher les robots d'explorer ou d'indexer quoi que ce soit, sauf pour le contenu sous/public/Section1

+0

Est-ce que 'Disallow: *' fonctionnerait aussi? – Geremia