Télécharger 3000+ images en utilisant C#?

Question

J'ai une liste d'environ 3000 URL d'images, où je dois les télécharger sur mon bureau. Je suis un web dev, donc naturellement écrit une petite méthode de téléchargement asp.net C# pour faire cela, mais le problème évident est arrivé et la page a expiré avant que je n'ai presque aucun d'entre eux. Je me demandais si quelqu'un d'autre savait d'une manière bonne, rapide et robuste de boucler toutes les URL de l'image et de les télécharger dans un dossier? Ouvert à toutes les suggestions, WinForms, fichier batch bien que je sois un novice à la fois.

Toute aide grandement appréciée

Answer 1

Qu'en est-il de wget? Il peut télécharger une liste d'URL spécifiée dans un fichier.

wget -i c:\list-of-urls.txt 

Answer 2

écrire une application de ligne de commande C# (ou Winforms, si c'est votre inclinaison), et utiliser la classe WebClient pour récupérer les fichiers.

Voici quelques tutoriels:

C# WebClient Tutorial

Using WebClient to Download a File

ou, just Google C# WebClient. Vous devrez soit fournir une liste de fichiers à télécharger et faire une boucle dans la liste, émettre une requête pour chaque fichier et enregistrer le résultat, soit émettre une requête pour la page d'index, en l'analysant à l'aide de HTML Agility Pack recherchez toutes les balises d'image, puis émettez une demande pour chaque image, en enregistrant le résultat quelque part sur votre disque local.

Modifier

Si vous voulez juste faire une fois (comme dans, et non dans le cadre d'une application), mbeckish's answer fait le plus de sens.

Answer 3

Vous pouvez utiliser un gestionnaire de téléchargement existant comme Orbit, plutôt que d'écrire votre propre programme à cette fin. (blasphème, je sais)

J'ai été plutôt satisfait d'Orbit. Il vous permet d'importer une liste de téléchargements à partir d'un fichier texte. Il va gérer les connexions, en téléchargeant des portions de chaque fichier en parallèle avec plusieurs connexions, pour augmenter la vitesse de chaque téléchargement. Cela prendra soin de réessayer si les connexions expirent, etc. Il semblerait que vous deviez faire beaucoup d'efforts pour construire ce genre de fonctionnalités à partir de zéro.

Answer 4

S'il s'agit d'un travail ponctuel, une solution simple consisterait à écrire une page HTML avec des balises img pointant vers les URL.

Ensuite, parcourez-le avec FireFox et utilisez une extension pour enregistrer toutes les images dans un dossier.

Answer 5

partant de l'hypothèse que c'est un hors course une fois le projet et que vous êtes un novice avec d'autres technologies je suggère ce qui suit:

Plutôt que d'essayer de télécharger toutes les 3000 images dans une requête web faire un image par demande. Lorsque le téléchargement de l'image est terminé, redirigez vers la même page en passant l'URL de l'image suivante pour obtenir un paramètre de chaîne de requête. Téléchargez-le et répétez jusqu'à ce que toutes les images soient téléchargées.

Ce n'est pas ce que j'appellerais une solution de "production", mais si mon hypothèse est correcte, c'est une solution qui vous permettra de vous mettre en marche en un rien de temps.

Une autre solution relativement simple consisterait à créer une application console C# simple qui utilise WebClient pour télécharger chacune des images. Le code suivant psuedo devrait vous donner assez pour y aller:

List<string> imageUrls = new List<string>(); 
imageUrls.Add(..... your urls from wherever .....) 

foreach(string imageUrl in imagesUrls) 
{ 
    using (WebClient client = new WebClient()) 
    { 
     byte[] raw = client.DownloadData(imageUrl); 

     .. write raw .. to file 
    } 
} 

Answer 6

J'ai écrit une application similaire dans WinForms qui boucle via des URL dans une feuille de calcul Excel et télécharge les fichiers d'image. Je pense que le problème que vous rencontrez avec cette implémentation en tant qu'application Web est que le serveur n'autorise l'exécution du processus que peu de temps avant l'expiration de la requête de votre navigateur. Vous pouvez soit augmenter cette durée dans le fichier web.config (changer l'attribut executionTimeout de l'élément httpRuntime), soit implémenter cette fonctionnalité en tant qu'application WinForms où la durée d'exécution longue ne sera pas un problème. Si c'est plus qu'une application jetable et que vous décidez d'aller sur la route WinForms, vous pouvez ajouter une barre de progression