Je veux que mon robot.txt permette l'indexation de seulement mon fichier d'index dans google. Comment cela ressemble-t-il?

Je veux que mon robot.txt permette d'indexer uniquement mon fichier d'index dans google. Comment cela ressemble-t-il? Est-ce que ce qui suit fera l'affaire?Je veux que mon robot.txt permette l'indexation de seulement mon fichier d'index dans google. Comment cela ressemble-t-il?

User-agent: Google 
Disallow: /_/ 
Disallow: /library/ 
Disallow: /media/ 
Disallow: /www/ 

User-agent: * 
Disallow:/

2010-09-22 Wilson

Essayez cette

User-agent: Google 
    Disallow:/
    Allow: /index.php 
    Allow: /$ #this will allow your homepage as well**

** mais son mieux d'utiliser redirect htaccess pour rediriger example.com à example.com/index.php. Pour éviter la duplication d'URL.

2010-09-22 00:40:39

Qu'en est-il de refuser tous les autres robots sauf google? – Wilson

En outre, google index http://example.com/ ou http://example.com/index.php ou les deux? – Wilson

cela fonctionnera seulement pour index.php qui est la meilleure pratique, parce que vous évitez la duplication. vérifier l'édité maintenant –

Répondre