Télécharger une image via urllib et python

Question

J'essaie donc de créer un script Python qui télécharge les webcomics et les place dans un dossier sur mon bureau. J'ai trouvé quelques programmes similaires ici qui font quelque chose de similaire, mais rien de tel que ce dont j'ai besoin. Celui que j'ai trouvé le plus similaire est ici (http://bytes.com/topic/python/answers/850927-problem-using-urllib-download-images). J'ai essayé en utilisant ce code:

>>> import urllib 
>>> image = urllib.URLopener() 
>>> image.retrieve("http://www.gunnerkrigg.com//comics/00000001.jpg","00000001.jpg") 
('00000001.jpg', <httplib.HTTPMessage instance at 0x1457a80>) 

Je recherche alors mon ordinateur pour un fichier « 00000001.jpg », mais tout ce que je trouvais était l'image en cache de celui-ci. Je ne suis même pas sûr qu'il a enregistré le fichier sur mon ordinateur. Une fois que je comprends comment obtenir le fichier téléchargé, je pense que je sais comment gérer le reste. Pour l'essentiel, il suffit d'utiliser une boucle for et de diviser la chaîne au '00000000'. 'Jpg' et d'incrémenter le '00000000' jusqu'au plus grand nombre, ce que je devrais en quelque sorte déterminer. Des recommandations sur la meilleure façon de le faire ou comment télécharger le fichier correctement?

Merci!

EDIT 6/15/10

Voici le script terminé, il enregistre les fichiers dans un répertoire que vous choisissez. Pour une raison étrange, les fichiers ne téléchargeaient pas et ils ont juste fait. Toutes les suggestions sur la façon de le nettoyer serait très appréciée. Je travaille actuellement sur la façon de trouver de nombreuses bandes dessinées sur le site afin que je puisse obtenir le dernier, plutôt que de quitter le programme après un certain nombre d'exceptions.

import urllib 
import os 

comicCounter=len(os.listdir('/file'))+1 # reads the number of files in the folder to start downloading at the next comic 
errorCount=0 

def download_comic(url,comicName): 
    """ 
    download a comic in the form of 

    url = http://www.example.com 
    comicName = '00000000.jpg' 
    """ 
    image=urllib.URLopener() 
    image.retrieve(url,comicName) # download comicName at URL 

while comicCounter <= 1000: # not the most elegant solution 
    os.chdir('/file') # set where files download to 
     try: 
     if comicCounter < 10: # needed to break into 10^n segments because comic names are a set of zeros followed by a number 
      comicNumber=str('0000000'+str(comicCounter)) # string containing the eight digit comic number 
      comicName=str(comicNumber+".jpg") # string containing the file name 
      url=str("http://www.gunnerkrigg.com//comics/"+comicName) # creates the URL for the comic 
      comicCounter+=1 # increments the comic counter to go to the next comic, must be before the download in case the download raises an exception 
      download_comic(url,comicName) # uses the function defined above to download the comic 
      print url 
     if 10 <= comicCounter < 100: 
      comicNumber=str('000000'+str(comicCounter)) 
      comicName=str(comicNumber+".jpg") 
      url=str("http://www.gunnerkrigg.com//comics/"+comicName) 
      comicCounter+=1 
      download_comic(url,comicName) 
      print url 
     if 100 <= comicCounter < 1000: 
      comicNumber=str('00000'+str(comicCounter)) 
      comicName=str(comicNumber+".jpg") 
      url=str("http://www.gunnerkrigg.com//comics/"+comicName) 
      comicCounter+=1 
      download_comic(url,comicName) 
      print url 
     else: # quit the program if any number outside this range shows up 
      quit 
    except IOError: # urllib raises an IOError for a 404 error, when the comic doesn't exist 
     errorCount+=1 # add one to the error count 
     if errorCount>3: # if more than three errors occur during downloading, quit the program 
      break 
     else: 
      print str("comic"+ ' ' + str(comicCounter) + ' ' + "does not exist") # otherwise say that the certain comic number doesn't exist 
print "all comics are up to date" # prints if all comics are downloaded 

Answer 1

Il est plus facile de simplement utiliser .read() pour lire la réponse partielle ou totale, puis l'écrire dans un fichier que vous avez ouvert dans un bon emplacement connu.

Answer 2

En plus de suggérer que vous lisez les documents pour retrieve() soigneusement (http://docs.python.org/library/urllib.html#urllib.URLopener.retrieve), je suggère d'appeler effectivement read() sur le contenu de la réponse, et l'enregistrement puis dans un fichier de votre choix plutôt que de le laisser dans le fichier temporaire récupérer crée.

Answer 3

import urllib 
f = open('00000001.jpg','wb') 
f.write(urllib.urlopen('http://www.gunnerkrigg.com//comics/00000001.jpg').read()) 
f.close() 

Answer 4

En utilisant urllib.urlretrieve:

import urllib 
urllib.urlretrieve("http://www.gunnerkrigg.com//comics/00000001.jpg", "00000001.jpg") 

Answer 5

Juste pour l'enregistrement, en utilisant la bibliothèque de demandes.

import requests 
f = open('00000001.jpg','wb') 
f.write(requests.get('http://www.gunnerkrigg.com//comics/00000001.jpg').content) 
f.close() 

Bien qu'il devrait vérifier l'erreur requests.get().

Answer 6

J'ai trouvé ce answer et je modifier que plus fiable

def download_photo(self, img_url, filename): 
    try: 
     image_on_web = urllib.urlopen(img_url) 
     if image_on_web.headers.maintype == 'image': 
      buf = image_on_web.read() 
      path = os.getcwd() + DOWNLOADED_IMAGE_PATH 
      file_path = "%s%s" % (path, filename) 
      downloaded_image = file(file_path, "wb") 
      downloaded_image.write(buf) 
      downloaded_image.close() 
      image_on_web.close() 
     else: 
      return False  
    except: 
     return False 
    return True 

De cela, vous ne recevez jamais d'autres ressources ou exceptions pendant le téléchargement.

Answer 7

Python version 3 @ réponse de DiGMi:

from urllib import request 
f = open('00000001.jpg', 'wb') 
f.write(request.urlopen("http://www.gunnerkrigg.com/comics/00000001.jpg").read()) 
f.close() 

Answer 8

Peut-être que vous avez besoin 'User-Agent':

import urllib2 
opener = urllib2.build_opener() 
opener.addheaders = [('User-Agent', 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.137 Safari/537.36')] 
response = opener.open('http://google.com') 
htmlData = response.read() 
f = open('file.txt','w') 
f.write(htmlData) 
f.close() 

Answer 9

Tous les codes ci-dessus, ne permettent pas de conserver l'original nom de l'image, ce qui est parfois nécessaire. Cela vous aidera à enregistrer les images sur votre disque local, en préservant l'original nom de l'image

IMAGE = URL.rsplit('/',1)[1] 
    urllib.urlretrieve(URL, IMAGE) 

Try this pour plus de détails.

Answer 10

Qu'en est-ce:

import urllib, os 

def from_url(url, filename = None): 
    '''Store the url content to filename''' 
    if not filename: 
     filename = os.path.basename(os.path.realpath(url)) 

    req = urllib.request.Request(url) 
    try: 
     response = urllib.request.urlopen(req) 
    except urllib.error.URLError as e: 
     if hasattr(e, 'reason'): 
      print('Fail in reaching the server -> ', e.reason) 
      return False 
     elif hasattr(e, 'code'): 
      print('The server couldn\'t fulfill the request -> ', e.code) 
      return False 
    else: 
     with open(filename, 'wb') as fo: 
      fo.write(response.read()) 
      print('Url saved as %s' % filename) 
     return True 

## 

def main(): 
    test_url = 'http://cdn.sstatic.net/stackoverflow/img/favicon.ico' 

    from_url(test_url) 

if __name__ == '__main__': 
    main() 

Answer 11

Si vous savez que les fichiers sont situés dans le même répertoire dir du site site et ont le format suivant: filename_01.jpg, ..., puis filename_10.jpg télécharger tous:

import requests 

for x in range(1, 10): 
    str1 = 'filename_%2.2d.jpg' % (x) 
    str2 = 'http://site/dir/filename_%2.2d.jpg' % (x) 

    f = open(str1, 'wb') 
    f.write(requests.get(str2).content) 
    f.close() 

Answer 12

Une solution plus simple peut être (python 3):

import urllib.request 
import os 
os.chdir("D:\\comic") #your path 
i=1; 
s="00000000" 
while i<1000: 
    try: 
     urllib.request.urlretrieve("http://www.gunnerkrigg.com//comics/"+ s[:8-len(str(i))]+ str(i)+".jpg",str(i)+".jpg") 
    except: 
     print("not possible" + str(i)) 
    i+=1; 

Answer 13

Pour Python 3 vous devez importer import urllib.request:

import urllib.request 

urllib.request.urlretrieve(url, filename) 

pour plus d'informations consultez la link

Answer 14

Cela a fonctionné pour moi en utilisant python 3.

Il obtient une liste d'URL de la fichier csv et commence à les télécharger dans un dossier. Dans le cas où le contenu ou l'image n'existe pas, il prend cette exception et continue de faire sa magie.

import urllib.request 
import csv 
import os 

errorCount=0 

file_list = "/Users/$USER/Desktop/YOUR-FILE-TO-DOWNLOAD-IMAGES/image_{0}.jpg" 

# CSV file must separate by commas 
# urls.csv is set to your current working directory make sure your cd into or add the corresponding path 
with open ('urls.csv') as images: 
    images = csv.reader(images) 
    img_count = 1 
    print("Please Wait.. it will take some time") 
    for image in images: 
     try: 
      urllib.request.urlretrieve(image[0], 
      file_list.format(img_count)) 
      img_count += 1 
     except IOError: 
      errorCount+=1 
      # Stop in case you reach 100 errors downloading images 
      if errorCount>100: 
       break 
      else: 
       print ("File does not exist") 

print ("Done!") 

Answer 15

Si vous avez besoin d'aide proxy que vous pouvez faire ceci:

if needProxy == False: 
    returnCode, urlReturnResponse = urllib.urlretrieve(myUrl, fullJpegPathAndName) 
    else: 
    proxy_support = urllib2.ProxyHandler({"https":myHttpProxyAddress}) 
    opener = urllib2.build_opener(proxy_support) 
    urllib2.install_opener(opener) 
    urlReader = urllib2.urlopen(myUrl).read() 
    with open(fullJpegPathAndName, "w") as f: 
     f.write(urlReader)