Manière plus efficace de décaper une chaîne

Question

Le module de décapage semble utiliser des caractères d'échappement de chaîne lors du décapage; cela devient inefficace, par ex. sur des tableaux numpy. Considérez ce qui suit

z = numpy.zeros(1000, numpy.uint8) 
len(z.dumps()) 
len(cPickle.dumps(z.dumps())) 

Les longueurs sont 1133 caractères et 4249 caractères respectivement. Z.dumps() révèle quelque chose comme "\ x00 \ x00" (zéros réels dans la chaîne), mais pickle semble utiliser la fonction repr() de la chaîne, ce qui donne "'\ x00 \ x00'" (zéros étant zéros ascii).

ie ("0" dans z.dumps() == False) et ("0" dans cPickle.dumps (z.dumps()) == true)

Answer 1

Essayez d'utiliser une version ultérieure du protocole pickle avec le paramètre de protocole à pickle.dumps(). La valeur par défaut est 0 et est un format de texte ASCII. Unes supérieur à 1 (je vous suggère d'utiliser pickle.HIGHEST_PROTOCOL). Les formats de protocole 1 et 2 (et 3 mais pour py3k) sont binaires et devraient être plus conservateurs.

Answer 2

Solution:

import zlib, cPickle 

def zdumps(obj): 
    return zlib.compress(cPickle.dumps(obj,cPickle.HIGHEST_PROTOCOL),9) 

def zloads(zstr): 
    return cPickle.loads(zlib.decompress(zstr)) 

>>> len(zdumps(z)) 
128 

Answer 3

Une amélioration de la réponse de VarTec, qui semble un peu plus efficace de la mémoire (car il ne force pas tout en une chaîne):

def pickle(fname, obj): 
    import cPickle, gzip 
    cPickle.dump(obj=obj, file=gzip.open(fname, "wb", compresslevel=3), protocol=2) 

def unpickle(fname): 
    import cPickle, gzip 
    return cPickle.load(gzip.open(fname, "rb")) 

Answer 4

z.dumps() est déjà décaper chaîne c'est-à-dire, il peut être décoché en utilisant pickle.loads():

>>> z = numpy.zeros(1000, numpy.uint8) 
>>> s = z.dumps() 
>>> a = pickle.loads(s) 
>>> all(a == z) 
True