`urllib2` de Python: Pourquoi ai-je l'erreur 403 quand j'optionne une page Wikipedia?

Question

J'ai un bug étrange en essayant de urlopen une certaine page de Wikipedia. Ceci est la page:

http://en.wikipedia.org/wiki/OpenCola_(drink)

Ceci est la session shell:

>>> f = urllib2.urlopen('http://en.wikipedia.org/wiki/OpenCola_(drink)') 
Traceback (most recent call last): 
    File "C:\Program Files\Wing IDE 4.0\src\debug\tserver\_sandbox.py", line 1, in <module> 
    # Used internally for debug sandbox under external interpreter 
    File "c:\Python26\Lib\urllib2.py", line 126, in urlopen 
    return _opener.open(url, data, timeout) 
    File "c:\Python26\Lib\urllib2.py", line 397, in open 
    response = meth(req, response) 
    File "c:\Python26\Lib\urllib2.py", line 510, in http_response 
    'http', request, response, code, msg, hdrs) 
    File "c:\Python26\Lib\urllib2.py", line 435, in error 
    return self._call_chain(*args) 
    File "c:\Python26\Lib\urllib2.py", line 369, in _call_chain 
    result = func(*args) 
    File "c:\Python26\Lib\urllib2.py", line 518, in http_error_default 
    raise HTTPError(req.get_full_url(), code, msg, hdrs, fp) 
urllib2.HTTPError: HTTP Error 403: Forbidden 

Ce qui est arrivé à moi sur deux systèmes différents dans les différents continents. Est-ce que quelqu'un a une idée de pourquoi cela se produit?

Answer 1

Wikipedias stance is:

Data retrieval: Bots may not be used to retrieve bulk content for any use not directly related to an approved bot task. This includes dynamically loading pages from another website, which may result in the website being blacklisted and permanently denied access. If you would like to download bulk content or mirror a project, please do so by downloading or hosting your own copy of our database.

C'est pourquoi Python est bloqué. Vous êtes censé download data dumps.

Quoi qu'il en soit, vous pouvez lire des pages comme celui-ci en Python 2:

req = urllib2.Request(url, headers={'User-Agent' : "Magic Browser"}) 
con = urllib2.urlopen(req) 
print con.read() 

Ou en Python 3:

import urllib 
req = urllib.request.Request(url, headers={'User-Agent' : "Magic Browser"}) 
con = urllib.request.urlopen(req) 
print con.read() 

Answer 2

Certains sites Web bloquent l'accès à partir des scripts pour éviter l'utilisation «inutile» de leurs serveurs en lisant les en-têtes urllib envoyés. Je ne sais pas et je ne peux pas m'imaginer pourquoi Wikipédia fait/ferait cela, mais avez-vous essayé de spoofing vos en-têtes?

Answer 3

Souvent, les sites Web filtrent l'accès en vérifiant s'ils sont accessibles par un agent utilisateur reconnu. Wikipedia traite simplement votre script comme un bot et le rejette. Essayez l'usurpation en tant que navigateur. Le lien suivant vous amène un article pour vous montrer comment.

http://wolfprojects.altervista.org/changeua.php

Answer 4

Pour déboguer cela, vous aurez besoin de piéger cette exception.

try: 
    f = urllib2.urlopen('http://en.wikipedia.org/wiki/OpenCola_(drink)') 
except urllib2.HTTPError, e: 
    print e.fp.read() 

Lorsque j'imprime le message résultant, il comprend le

suivant

"English

Our servers are currently experiencing a technical problem. This is probably temporary and should be fixed soon. Please try again in a few minutes. "

Answer 5

Comme Jochen Ritzel mentionné, les bots bloque Wikipedia. Cependant, les robots ne seront pas bloqués s'ils utilisent l'API PHP. Pour obtenir la page de Wikipédia intitulé « amour »:

http://en.wikipedia.org/w/api.php?format=json&action=query&titles=love&prop=revisions&rvprop=content

Answer 6

J'ai fait une solution de contournement pour cela en utilisant php qui n'est pas bloqué par le site dont je avais besoin.

il peut être consulté comme ceci:

path='http://phillippowers.com/redirects/get.php? 
file=http://website_you_need_to_load.com' 
req = urllib2.Request(path) 
response = urllib2.urlopen(req) 
vdata = response.read() 

Cela renverra le code html pour vous