Ouverture d'une URL WIKI par une virgule en utilisant `open-uri`

Question

Je courais pour OpenURI::HTTPError: 403 Forbidden erreur lorsque je tente de open une URL avec une virgule (ou d'autres caractères spéciaux comme .). Je suis capable d'ouvrir la même URL dans un navigateur.

require 'open-uri' 
url = "http://en.wikipedia.org/wiki/Thor_Industries,_Inc." 
f = open(url) 
# throws OpenURI::HTTPError: 403 Forbidden error 

Comment puis-je échapper une telle URL?

J'ai essayé d'échapper l'URL avec CGI::escape et j'obtiens la même erreur.

f = open(CGI::escape(url)) 

Answer 1

En règle générale, on pourrait simplement exiger le module cgi, puis utilisez CGI::escape(str).

require 'cgi' 
require 'open-uri' 
escaped_page = CGI::escape("Thor_Industries,_Inc.") 
url = "http://en.wikipedia.org/wiki/#{escaped_page}" 
f = open(url) 

Cependant, cela ne semble pas fonctionner pour votre cas particulier, et retourne encore 403. Je vais laisser ce ici pour référence, quel que soit.

---

Edit: Wikipédia refuse vos demandes car il soupçonne que vous êtes un bot. Il semblerait que certaines pages qui sont clairement le contenu vous sont accordées, mais ceux qui ne correspondent pas à son modèle «sûr» (par exemple ceux qui contiennent des points ou des virgules) sont soumis à son filtrage. Si vous avez réellement sortie le contenu (je l'ai fait avec Net::HTTP), vous obtenez les éléments suivants:

scripts doivent utiliser une chaîne Agent utilisateur informatif avec des informations de contact, ou ils peuvent être bloqués par IP sans préavis.

Fournir une chaîne de l'agent utilisateur, cependant, résout le problème:

open("http://en.wikipedia.org/wiki/Thor_Industries,_Inc.", 
    "User-Agent" => "Ruby/#{RUBY_VERSION}")