Il existe un moyen d'exclure les pages complètes de l'indexation de google. Mais existe-t-il un moyen d'exclure spécifiquement certaines parties d'une page Web de l'exploration de google? Par exemple, exclure la barre latérale qui contient généralement des contenus non liés?Comment exclure une partie d'une page Web de l'indexation de google?
Vous pouvez inclure avec un tag IFRAME la partie de la page que vous souhaitez masquer dans Googlebot et bloquer l'indexation du fichier inclus dans le fichier robots.txt.
ajouter l'iframe pour inclure la barre latérale dans votre page
<iframe src ="sidebar.asp" width="100%" height="300">
</iframe>
ici les règles à ajouter dans le fichier robots.txt pour bloquer l'araignée
user-agent: *
disallow: sidebar.asp
Si vous effectuez cette opération pour AdSense, here's an article sur comment exclure le contenu du scraper. Si vous ne souhaitez pas que Google suive les liens, vous pouvez leur attribuer un attribut rel="nofollow". Sinon, je crains que vous n'ayez pas de chance ici.
autre chose que vous pu faire, mais je ne recommanderais pas nécessairement faire, est la détection de l'agent utilisateur avant de rendre votre page, et si elle est une araignée ou un robot, ne pas montrer les parties de votre page que vous voulez exclure .
c'est généralement un bon mécanisme, mais peut avoir des inconvénients pour les utilisateurs normaux. – Jason
cela semble bien, mais mon sidebar est dynamique et difficile à séparer. – bryantsai
On dirait que si Google ne le supporte pas explicitement, comme celui pris en charge par AdSense, c'est le seul moyen ... – bryantsai