Tags très évolutifs sur Google App Engine (Python)

Question

J'ai beaucoup de messages (par exemple), marqués d'un ou de plusieurs tags. La publication peut être créée ou supprimée, et l'utilisateur peut également faire une requête de recherche pour une ou plusieurs étiquettes (combinées avec AND logique). idée d'abord qui est venu à mon esprit était un modèle simple

class Post(db.Model): 
    #blahblah 
    tags = db.StringListProperty() 

Mise en oeuvre de créer et supprimer des opérations est évidente. La recherche est plus complexe. Pour rechercher N tags, il fera N requêtes NQL comme "SELECT * FROM Post WHERE tags =: 1" et fusionner les résultats en utilisant les curseurs, et il a des performances terribles.

idée deuxième consiste à séparer les tags dans les différentes entités

class Post(db.Model): 
    #blahblah 
    tags = db.ListProperty(db.Key) # For fast access 

class Tag(db.Model): 
    name = db.StringProperty(name="key") 
    posts = db.ListProperty(db.Key) # List of posts that marked with tag 

Il faut Balises de db par clé (beaucoup plus rapide que de prendre par GQL) et fusionner en mémoire, je pense que cette mise en œuvre a une meilleure performance que le premier, mais très souvent, les balises utilisables peuvent dépasser la taille maximale autorisée pour un seul objet de banque de données. Et il y a un autre problème: le magasin de données peut modifier un seul objet seulement ~ 1/sec, donc pour les balises fréquemment utilisables, nous avons également un goulot d'étranglement avec la latence de modification.

Des suggestions?

Answer 1

Probablement une solution possible est de prendre votre deuxième exemple, et le modifier d'une manière qui permettrait des requêtes efficaces sur les plus grands ensembles. Une façon qui vient à l'esprit est d'utiliser plusieurs entités de base de données pour une seule étiquette, et les regrouper de telle sorte que vous auriez rarement besoin de plus de quelques groupes. Si l'ordre de tri par défaut (bien, nous l'appelons le seul autorisé) est par post-date, alors remplissez les entités du groupe de balises dans cet ordre.

class Tag(db.Model): 
    name = db.StringProperty(name="key") 
    posts = db.ListProperty(db.Key) # List of posts that marked with tag 
    firstpost = db.DateTimeProperty() 

Lors de l'ajout ou la suppression des balises à un groupe, vérifiez combien de postes sont dans ce groupe, si le poste que vous ajoutez ferait le poste ont plus que, disons 100 postes, il divisé en deux tag groupes. Si vous supprimez un post pour que le groupe contienne moins de 50 messages, dérobez des messages d'un groupe précédent ou suivant. Si l'un des groupes adjacents a également 50 messages, il suffit de les fusionner ensemble. Lors de la liste des publications par étiquette (dans l'ordre après la date), vous n'avez besoin que d'une poignée de groupes.

Cela ne résout pas vraiment le problème des étiquettes à forte demande. En pensant à cela, il pourrait être acceptable que les insertions soient un peu plus spéculatives. Obtenez les dernières entrées de groupe de balises, fusionnez-les et placez un nouveau groupe de balises. Le retard dans les transactions pourrait effectivement ne pas être un vrai problème.

Answer 2

Pour répondre aux questions de Nick. Si c'est un ET logique utilisant plusieurs balises dans la requête. Utilisez tags = tag1 AND tags = tag2 ... définir l'appartenance à une seule requête est l'une des caractéristiques brillantes du datastore. Vous pouvez obtenir votre résultat dans une requête.

http://code.google.com/appengine/docs/python/datastore/queriesandindexes.html#Properties_With_Multiple_Values