Comment autoriser les robots d'indexation à index.php uniquement, en utilisant robots.txt?

Question

Si je veux autoriser uniquement les robots d'indexation à accéder à index.php, cela fonctionnera-t-il?

User-agent: * 
Disallow:/
Allow: /index.php 

Answer 1

Vous pouvez utiliser le Google Robots tool pour passer à la caisse. Je ne mettrais jamais de répertoires secrets dans le fichier robots car je devinerais qu'une ligne comme ci-dessous serait aussi chérie pour certaines araignées.

Disallow: /secret 

Answer 2

Essayez d'échanger l'ordre de Disallow/Allow:

User-agent: * 
Allow: /index.php 
Disallow:/

Voir cette info de wikipedia:

« Cependant, afin d'être compatible avec tous les robots, si vous vous souhaitez autoriser les fichiers à l'intérieur d'un répertoire non autorisé, vous devez d'abord placer la ou les directives Allow , suivies du Disallow, par exemple: »

http://en.wikipedia.org/wiki/Robots.txt

Cependant, je ne m'y attendais pas à travailler trop systématiquement

Answer 3

Oui, cela fonctionnera. Voici le résultat du test du Google Webmaster Tool.

Url 
http://www.example.org/index.php 

Googlebot 
Allowed by line 3: Allow: /index.php 

Googlebot-Mobile 
Allowed by line 3: Allow: /index.php 

Cependant, rappelez-vous que cette configuration de votre page d'accueil du site ne sera pas rampé à moins que la page est accessible avec le chemin complet qualifié. En d'autres termes, http://www.example.org/ est interdit alors que http://www.example.org/index.php est autorisé.

Si vous voulez que votre page d'accueil soit accessible, voici une meilleure version de votre fichier.

User-agent: * 
Disallow:/
Allow: /index.php 
Allow: /$ 

Answer 4

User-agent: * 

Allow: /index.php 
Disallow:/

Answer 5

User-agent: * 
Allow: /$ 
Allow: /index.php 
Allow: /sitemap.xml 
Allow: /robots.txt 
Disallow:/

Sitemap: http://www.your-site-name.com/sitemap.xml