robots.txt

0La chaleur

1Répondre

Définition des variables dans le fichier robots.txt

Ma structure d'URL est mis en place dans deux parallèles (deux mènent au même endroit): www.example.com/subname www.example.com/123 Le problème est que est, les araignées rampent dans des choses comme

1La chaleur

1Répondre

Autoriser et interdire dans le fichier robots.txt

Je souhaite interdire l'accès à tous les fichiers et dossiers de mon site à partir des robots SE, à l'exception d'un dossier et de fichiers spéciaux. Puis-je utiliser ces lignes dans un fichier robots

1La chaleur

5Répondre

Comment s'Indexé à nouveau après l'enlèvement de Robot.txt

Alors que la construction d'un Webiste, j'ai créé un robots.txt sur le serveur, pour empêcher l'application encore inachevée d'entrer dans l'index Google ... Maintenant que je Je me suis fait avec le

19La chaleur

9Répondre

Meta tag vs robots.txt

Vaut-il mieux utiliser les métabalises * ou le fichier robots.txt pour informer les robots d'indexation/exploration afin d'inclure ou d'exclure une page? Y a-t-il des problèmes lors de l'utilisation d

-1La chaleur

3Répondre

SEO Aide avec les pages indexées par Google

Je travaille sur l'optimisation de mon site pour le moteur de recherche de Google, et récemment, j'ai remarqué que lorsque je fais une requête "site: www.joemajewski.com", j'obtiens des résultats pour

1La chaleur

1Répondre

Comment puis-je regrouper tous les liens sur un site sans contenu?

Je voudrais obtenir toutes les URLs vers un site vers (sur le même domaine) sans télécharger tout le contenu avec quelque chose comme wget. Existe-t-il un moyen de dire à wget de lister simplement les

4La chaleur

4Répondre

Analyse de lignes individuelles dans un fichier robots.txt avec C#

Travail sur une application pour analyser robots.txt. Je me suis écrit une méthode qui a tiré le fichier d'un serveur Web, et a jeté la sortie dans une zone de texte. Je voudrais que la sortie affiche

0La chaleur

2Répondre

fichier robots.txt dissallow option

Je souhaite empêcher les robots d'accéder aux URL qui se terminent par /new. Je en train de modifier mon dossier robots.txt comme suit: Disallow: /*/new Est-ce le modèle correct d'utiliser pour inte

1La chaleur

2Répondre

Comment maximiser la visibilité d'un site web plurilingue?

On m'a dit de comprendre comment maximiser la visibilité d'une application Web à venir qui est initialement disponible en plusieurs langues, en particulier le français et l'anglais. Je suis curieux de

1La chaleur

2Répondre

Comment interdire un dossier dans le fichier robots.txt mais à l'exception de certains fichiers?

J'ai une situation où je veux interdire l'exploration de certaines pages dans un répertoire. Ce répertoire contient un grand nombre de fichiers mais il y a quelques fichiers dont j'ai besoin pour être