robots.txt

1La chaleur

2Répondre

Je fais affaire avec certains clients qui utilisent des serveurs Windows et, à ce titre, ne prennent pas en charge les fichiers .htaccess. Ce n'est pas une grosse affaire, mais mon souci est le suivan

1La chaleur

1Répondre

Comment exclure des dossiers spécifiques via robots.txt

Je souhaite exclure tous les sous-dossiers nommés "ajax" dans n'importe quel dossier d'indexation par les moteurs de recherche. Exemples: .com/a/ajax .com/b/ajax .com/c/ajax Est-ce possible via ro

5La chaleur

3Répondre

Quel est le meilleur langage de programmation pour écrire un bot web?

Je veux savoir quel langage de programmation fournit un bon nombre de bibliothèques pour programmer un bot Web? Quelque chose comme l'exploration d'une page Web pour les données. Dites que je veux che

2La chaleur

1Répondre

robots.txt et Mod Rewrite dans .htaccess

Dans le fichier robots.txt, je suis sur le point d'interdire certaines sections de mon site. Par exemple, je ne veux pas que mes termes et conditions soient indexés par les moteurs de recherche. User-

2La chaleur

3Répondre

Comment peut robots.txt interdire toutes les URL, à l'exception des URL qui sont

plan du site je dois avoir le contrôle sur ce que les URL sont autorisés à indexer. Pour ce faire, je souhaite autoriser Google à indexer uniquement les URL répertoriées dans mes sitemap (s), et inter

4La chaleur

1Répondre

Comment empêcher les moteurs de recherche d'indexer toutes les URL commençant par origin.domainname.com

J'ai www.domainname.com, origin.domainname.com pointant vers la même base de code. Y at-il un moyen, je peux empêcher toutes les URL du nom de base origin.domainname.com d'être indexé. Y at-il une règ

0La chaleur

1Répondre

Pourquoi google indexer cela?

Possible en double: Why google index this ? Dans cette page: http://www.alvolante.it/news/pompe_benzina_%E2%80%9Ctruccate%E2%80%9D_autostrada-308391044 il y a cette image: http://immagini.alvolante.it

1La chaleur

1Répondre

Différents contenus robots.txt pour différents noms de domaine liés au même dossier racine

J'ai deux noms de domaine liés à une même racine. Comment puis-je faire pour que le fichier robots.txt ait un contenu différent selon le nom de domaine?

4La chaleur

2Répondre

Comment bloquer les utilisateurs de la barre d'outils Alexa?

Des idées comment je peux bloquer les utilisateurs Alexa Barre d'outils? Je ne veux pas apparaître dans le classement alors que nous sommes en version bêta ... Je vois que vous pouvez bloquer leur mot

3La chaleur

2Répondre

Correct façon d'ajouter robots.txt et le cacher?

J'ai un dossier secret sur mon hébergement, qui peut ne pas être vu par les visiteurs. J'ai ajouté un robots.txt à htdocs: User-agent: * Disallow: /super-private/ Cependant, si un visiteur se rend