Notre équipe de référencement aimerait ouvrir notre page de résultats de recherche dynamique principale aux araignées et supprimer le 'nofollow' des balises meta. Il est actuellement accessible aux araignées en autorisant le chemin dans robots.txt, mais avec une clause 'nofollow' dans la balise meta qui empêche les araignées d'aller au-delà de la première page.Est-il possible d'empêcher les robots des moteurs de recherche d'explorer à l'infini les liens de radiomessagerie dans les résultats de recherche?
<meta name="robots" content="index,nofollow">
Je crains que si nous enlevons le « nofollow », l'impact sur notre système de recherche sera catastrophique, comme les araignées commenceront à ramper à travers toutes les pages du jeu de résultats. J'apprécierais des conseils quant à:
1) Est-il possible de supprimer le 'nofollow' de la balise meta, mais empêcher les araignées de suivre seulement certains liens sur la page? J'ai lu des opinions mitigées sur rel = "nofollow", est-ce une option viable?
<a rel="nofollow" href="http://www.mysite.com/paginglink" >Next Page</a>
2) Y at-il un moyen de contrôler la « profondeur » de savoir jusqu'où ira les araignées? Ce ne serait pas si mal s'ils frappaient quelques pages, puis s'arrêtaient.
3) Nos pages de résultats de recherche ont les liens standard suivant/précédent, ce qui en théorie amènerait les araignées à frapper des pages récursivement à l'infini, quel en est l'effet sur le référencement? Je comprends que les différentes araignées se comportent différemment, mais je suis principalement concerné par les gros joueurs, tels que Google, Yahoo, MSN. Les pages de résultats de recherche et les liens de pagination ne sont pas adaptés aux robots, en ce sens qu'ils ne sont pas réécrits et ont une chaîne de requête? Name = value, mais d'après ce que j'ai vu, les araignées n'abandonnent plus quand ils voient le '?' comme les pages de résultats sont indexées avec un rang de page décent.