Une URL secrète peut-elle être indexée par les moteurs de recherche?

Question

Mon patron est récemment venu à moi avec un problème de sécurité. Mon entreprise effectue des recherches et envoie ensuite un rapport au client (ce rapport est unique pour chaque client et contient des informations d'identification sur son activité).

Nous envoyons le rapport par e-mail au client, mais nous le téléchargeons également sur notre serveur et fournissons au client une URL contenant un hash qu'il peut utiliser pour accéder au rapport en ligne à tout moment. (Autrement dit, toute personne ayant le lien peut accéder au rapport) Le lien ressemble à:

• http://www.our_website.com/report_page.php?33355-fn347rhwfh83j3f (juste mettre chaîne aléatoire est la place du hachage ici)

Le code derrière le la page effectue les opérations suivantes:

• le hachage et explose utilise pour rechercher les informations du rapport dans la base de données
• vérifie que ce hachage est en effet valide une Selon le rapport de l'ID et du courrier électronique
• récupère le rapport pdf du serveur et l'affiche.

Si le hachage dans l'URL n'existe pas ou n'est pas valide, l'utilisateur reçoit un message "invalide".

Sa question est:

En cliquant sur le lien ouvre le rapport, cela signifie que Google peut indexer ces pages et ils peuvent apparaître dans les résultats de recherche de Google pour le monde entier pour voir?

Mon sentiment profond est que non, si un robot arriverait à report_page.php, tout ce qu'il serait si le message non valide, à moins qu'il avait en quelque sorte un hachage valide, mais je ne sais pas pour sûr, et après avoir cherché autour, je n'ai rien trouvé pour me prouver le bien (ou le faux).

Des pensées? Merci!

Answer 1

Si l'URL est publiée sur une page accessible au public, les robots d'exploration Google la trouveront et la page sera indexée. D'après ce que vous dites, cela semble peu probable, alors vous devriez être en sécurité. Si votre client arrive à rendre l'URL publique, Google l'explorera et l'indexera. C'est semblable à un mot de passe: gardez-le privé et vous êtes en sécurité.

Answer 2

dans le fichier robots.txt vous pouvez désavouer Google et d'autres index du moteur de recherche votre url

par le moteur de recherche par défaut indexé votre URL si vous liez importe où

Answer 3

Il est certainement possible pour un robot Web à l'index de telles pages - beaucoup de sites utilisent de longs hachages opaques pour identifier les pages, ce qui ne fait aucune différence en ce qui concerne les moteurs de recherche.

Vous devez disposer d'un fichier robots.txt interdisant l'accès à ces URL, et ajouter les en-têtes et balises META appropriés pour indiquer clairement que les crawlers ne doivent pas les indexer. En outre, s'il s'agit de données privées, la transaction doit être chiffrée avec SSL. Vous pouvez également envisager que les hachages ne soient utilisables qu'une seule fois, c'est-à-dire exiger qu'un nouveau hachage soit envoyé par courrier électronique chaque fois que le client souhaite le télécharger.Cela empêcherait efficacement les robots d'exploration aléatoires (ou les personnes) de les lire. (bien qu'il y ait toujours une condition de concurrence entre le moment où l'email est envoyé et quand le client utilise le hachage joint)