Définition des variables dans le fichier robots.txt

Question

Ma structure d'URL est mis en place dans deux parallèles (deux mènent au même endroit):

• www.example.com/subname
• www.example.com/123

Le problème est que est, les araignées rampent dans des choses comme:

• www.example.com/subname/default_media_function
• www.example.com/subname/map_function

Notez que le nom « subname » représente des milliers de pages sur mon site que tous ont la même fonction.

Et ils jettent des erreurs parce que ces liens sont strictement à des fins JSON ou AJAX et non des liens réels. Je voudrais les empêcher d'accéder à ces pages, mais comment le ferais-je si l'URL contient une variable?

Cela fonctionnerait-il dans le fichier robots.txt?

Disallow: /map_function 

Answer 1

Vous allez devoir faire

Disallow: /subname/map_function 

Les robots chercher le robots.txt au niveau des racines. Là aussi, ils évaluent les URL de gauche à droite sans caractères génériques. Par conséquent, vous devrez soit créer un emplacement pour toutes les fonctions map_function et les exclure, soit exclure tous les emplacements.