robots.txt

3La chaleur

2Répondre

Limiter l'accès du robot pour les valeurs (spécifiques) de la chaîne de requête (paramètre)?

L'utilisation de robot.txt permet-elle de restreindre l'accès du robot aux valeurs (spécifiques) de la chaîne de requête (spécifique)? -à-dire http://www.url.com/default.aspx #allow http://www.url.co

3La chaleur

1Répondre

Robots.txt bloque l'accès à toutes les pages https: //

Quelle serait la syntaxe pour bloquer tout accès aux bots vers les pages https: //? J'ai un ancien site qui n'a pas de SSL et je veux bloquer l'accès à tous les https: // pages

7La chaleur

2Répondre

comment désavouer toutes les urls dynamiques robots.txt

comment interdire tous les urls dynamiques robots.txt Disallow: /?q=admin/ Disallow: /?q=aggregator/ Disallow: /?q=comment/reply/ Disallow: /?q=contact/ Disallow: /?q=logout/ Disallow: /?q=node/a

1La chaleur

3Répondre

robots.txt et générique à la fin désavouer od

je dois interdire l'indexation de 2 pages, un d'entre eux dynamique: site.com/news.php site.com/news.php?id=__ site.com/news-all.php Que dois-je écrire dans le fichier robots.txt: User-agent: * Disal

3La chaleur

3Répondre

Comment interdire les pages de recherche de robots.txt

Je dois interdire l'indexation des pages de recherche http://example.com/startup?page=2. Je veux http://example.com/startup pour être indexé mais pas http://example.com/startup?page=2 et page3 et ains

3La chaleur

1Répondre

robots.txt: bots Disallow pour accéder à une "profondeur url" donnée

J'ai des liens avec cette structure: http://www.example.com/tags/bla http://www.example.com/tags/blubb http://www.example.com/tags/bla/blubb (pour tous les articles correspondant aux DEUX balises) Je

3La chaleur

3Répondre

va googlebot indexer mon site?

dans mon fichier robots.txt, j'ai la ligne suivante User-agent: Googlebot-Mobile Disallow:/ User-agent: Googlebot Disallow:/ Plan du site: http://mydomain.com/sitemapindex.xml Je sais que si je mets l

9La chaleur

5Répondre

Comment autoriser les robots d'indexation à index.php uniquement, en utilisant robots.txt?

Si je veux autoriser uniquement les robots d'indexation à accéder à index.php, cela fonctionnera-t-il? User-agent: * Disallow:/ Allow: /index.php

0La chaleur

2Répondre

liens bloqués dans sitemap

J'utilise un online sitemap generator tool qui génère des liens même pour lesquels sont bloqués dans robots.txt. Ces liens bloqués affectent-ils site classement? . Y at-il de toute façon pour le surmo

1La chaleur

1Répondre

configuration robots.txt

J'ai quelques doutes sur ce fichier robots. User-agent: * Disallow: /administrator/ Disallow: /css/ Disallow: /func/ Disallow: /images/ Disallow: /inc/ Disallow: /js/ Disallow: /login/ Disallo