Comment puis-je bloquer les crawlers mp3 de mon site Web sous Apache?

Existe-t-il un moyen de bloquer l'accès d'un référent en utilisant un fichier .htaccess ou similaire? Ma bande passante est dévorée par des personnes référencées depuis http://www.dizzler.com qui est un site basé sur Flash qui vous permet de parcourir une bibliothèque de mp3s disponibles au public.Comment puis-je bloquer les crawlers mp3 de mon site Web sous Apache?

Edit: Dizzler obtenait encore (probablement n'indiquait pas referrer dans tous les cas) de sorte qu'au lieu je me suis déplacé tous mes fichiers MP3 dans un nouveau dossier, la navigation répertoire désactivé, et a créé un fichier robots.txt pour (espérons-le) le garder d'être indexé à nouveau. La réponse acceptée a changé pour refléter la futilité de ma précédente tentative: P

Source

2008-09-17 Luke

de toute évidence, il ne fonctionnera aussi longtemps que l'application flash signale le referrer, mais si elle continue à Dizzler qui est tout ce que je suis inquiet pour l'instant. – Luke

C'est comme dire que vous voulez arrêter le spam -les robots de collecte d'e-mails sur votre page visible publiquement - il est très difficile de faire la différence entre les utilisateurs et les robots sans forcer vos spectateurs à se connecter pour confirmer leur identité.

Vous pouvez utiliser robots.txt pour interdire les araignées qui suivent réellement ces règles, mais c'est de leur côté, pas de celui de votre serveur. Il y a une page qui explique comment attraper ceux qui enfreignent les règles et les bannit explicitement: Using Apache to stop bad robots [evolt.org]

Si vous voulez un moyen facile d'arrêter dizzler en particulier en utilisant le .htaccess, vous devriez être en mesure de pop ouvert et ajouter:

<Directory /directoryName/subDirectory> 
Order Allow,Deny 
Allow from all 
Deny from 66.232.150.219 
</Directory>

Source

2008-09-17 08:59:56

Je me dis que ça vaut la peine d'un coup de feu ... rendra compte si cela aide. – Luke

Voir modification à la question ci-dessus – Luke

Ce n'est pas une solution très élégante, mais vous pouvez bloquer le bot du robot du site, puis renommer vos fichiers mp3 pour casser les liens déjà sur le site.

Source

2008-09-17 08:52:50 perimosocordiae

De this site: (mettre dans votre fichier .htaccess)

RewriteEngine on 
RewriteCond %{HTTP_REFERER} ^http://((www\.)?dizzler\.com [NC] 
RewriteRule .* - [F]

Source

2008-09-17 08:53:15 Espo

Lorsque j'utilise cela et que j'essaie de visiter le dossier moi-même, j'obtiens une erreur interne du serveur 500. – Luke

Qu'est-ce que votre journal d'erreurs vous dit à propos de l'erreur? – Espo

Vous pouvez utiliser quelque chose comme

SetEnvIfNoCase Referer dizzler.com spammer=yes 

Order allow,deny 
allow from all 
deny from env=spammer

Source: http://codex.wordpress.org/Combating_Comment_Spam/Denying_Access

Source

2008-09-17 08:56:38

Comment puis-je bloquer les crawlers mp3 de mon site Web sous Apache?

Répondre

Questions connexes