Quelle bibliothèque/module est le meilleur à utiliser pour télécharger de gros fichiers de 500mb + en termes de vitesse, de mémoire, cpu? Je pensais aussi à l'aide de pycurl.meilleure façon de télécharger des fichiers volumineux avec python
Pour les tailles de 500 Mo + on doit se soucier de l'intégrité des données, et HTTP n'est pas conçu pour l'intégrité des données. Je préférerais utiliser les liaisons python pour rsync (si elles existent) ou même bittorrent, qui était initialement implémenté en python. Les deux rsync et bittorrent adressent le problème d'intégrité de données.
Question similaire: http://stackoverflow.com/questions/1517616/stream-large-binary-files-with-urllib2-to-file – sdolan
merci, donc il semble que je dois choisir entre mécaniser et pycurl –
.. .ou "non", si vous aimez ma réponse qui a été sélectionnée pour cette question ;-). Je suis sûr que l'un d'entre eux irait bien, mais ils sont surtout sur la négociation d'accès protégé - ils ne peuvent pas accélérer vos téléchargements! -) Vous pouvez essayer (directement ou via Twisted) obtenir le gros fichier en morceaux, si le serveur prend en charge ce type d'accès (c'est ce qu'un programme de gestionnaire de téléchargement ferait pour vous, et il pourrait être mieux optimisé et affiné que tout ce que vous allez coder ;-). –