va googlebot indexer mon site?

Question

dans mon fichier robots.txt, j'ai la ligne suivante

User-agent: Googlebot-Mobile Disallow:/

User-agent: Googlebot Disallow:/

Plan du site: http://mydomain.com/sitemapindex.xml

Je sais que si je mets les 4 premières lignes, googlebot n'indexera pas les sites, mais si je mets la dernière ligne Sitemap: http://mydomain.com/sitemapindex.xml, googlebot sera en mesure de dex le site?

Merci,

Answer 1

Non, je ne pense pas que Google le fera. C'est en fait une question de bon bot et de mauvais bot. Même si vous ajoutez un fichier robots.txt pour restreindre certaines zones, les robots peuvent toujours explorer. C'est en fait une question de Oui ou Non. Robots.txt est juste comme un tableau d'avertissement et non un mur de sécurité.

Answer 2

J'ai testé votre fichier robots.txt par rapport à mon propre domaine (qui contient une entrée sitemap pour chaque page) et Googlebot et Googlebot-Mobile ont renvoyé l'accès refusé. Sur cette base - je dirais que le fichier robots.txt a la priorité sur tous les sitemaps. Plus, en termes logiques - si vous bloquez l'ensemble du domaine, le bot est interdit d'accès au sitemap. L'entrée de sitemap indique simplement aux robots d'exploration où trouver votre sitemap - et non leur autorisation d'accès.

Même si vous avez autorisé le sitemap, je ne pense pas que les robots exploreraient votre site. Les sitemaps sont conçus pour indiquer au robot la fréquence d'exploration de votre site, et non ce qu'il est autorisé à explorer.

Answer 3

Googlebot même ne pas être en mesure de toucher la sitemapindex.xml

• robots.txt est une directive sur chenilles.
• Le fichier sitemap.xml est récupéré via le robot googlebot.
• Googlebot pas accéder au sitemapindex.xml
• pas de couverture sanitaire, pas d'indexation, pas SERP liste

vous pouvez le tester avec des outils webmaster google outil de vérification robots.txt et comme Googlebot (dans le section de laboratoires).