Il existe de nombreuses façons de prétendre être un être humain. Alors, quelles sont les meilleures méthodes pour le voir?Les méthodes les meilleures et les plus efficaces de détection des robots d'exploration Web
La méthode la plus efficace est Captha mais peut rendre votre site Web moins convivial. Ainsi, la meilleure approche est d'analyser votre programme de trafic et dès que votre code détecte quelque chose d'inhabituel, il suffit de demander à l'utilisateur de répondre au captha dans une ligne de temps stricte.
Comprenez simplement le principe de base. Personne n'écrit un robot pour lire une seule page ou un seul article. Certains le veulent tous, d'autres le veulent rapidement tandis que d'autres le veulent régulièrement. Certains peuvent même frapper à partir de différentes adresses IP, mais ils frappent dans le même style avec le même décalage horaire. La plus grande différence entre un robot et un humain est que les robots sont disciplinés pour savoir quand frapper, les humains sont paresseux. Les crapauds sont assez efficaces pour atteindre de nombreux hits, les humains ne le sont pas et ainsi de suite. Tout ce qui sonne comme si un modèle dans votre journal de trafic n'est rien d'autre qu'un robot d'exploration.
Configurez votre serveur Web pour inclure un en-tête de réponse Voight-Kampff – paintcan
Voir http://stackoverflow.com/questions/233192/detecting-stealth-web-crawlers – Rob