Aidez à créer correctement des robots.txt

Question

J'ai des URL dynamiques de telle sorte que.

mydomain.com/?pg=login
mydomain.com/?pg=reguser
mydomain.com/?pg=aboutus
mydomain.com/?pg=termsofuse

Lorsque la page est demandé pour ex. mydomainname.com/?pg=login index.php contient le fichier login.php.

certains des urls sont converties en URL statique comme mydomain.com/aboutus.html mydomain.com/termsofuse.html

Je dois permettre mydomainname.com/aboutus.html d'index, mydomainname.com /termsofuse.html et interdire mydomainname.com/?pg=login, mydomainname.com/?pg=reguser, veuillez m'aider à gérer mon fichier robots.txt.

J'ai aussi mydomainname.com/posted.php?details=50 (les détails peuvent avoir n'importe quel nombre) que j'ai converti en mydomainname.com/details/50.html Je dois également permettre tout ce type d'URL.

Answer 1

Si vous souhaitez seulement indexer vos pages statiques, vous pouvez utiliser ceci:

Disallow: /*? 

Cela désavouer toutes les URL qui contiennent un point d'interrogation. ?

Si vous souhaitez conserver l'indexation posted.php détails = 50 URL, et vous avez un ensemble de params vous souhaitez désavouer, vous pouvez créer une entrée de disallow pour chacun, comme fini ceci:

Disallow: /?pg=login 

Ou tout simplement empêcher tout ce qui commence par /?

Disallow: /?* 

Vous pouvez utiliser un outil comme celui-ci pour tester un échantillon d'URL pour voir si elles correspondent ou non.

http://tools.seobook.com/robots-txt/analyzer/