2010-05-31 8 views
1

J'ai une application GAE. Une nouvelle demande est d'avoir une énorme base de données pour stocker de nombreux éléments pour certaines fonctionnalités.GAE téléchargement vers la base de données - ou - comment créer un grand dictionnaire dans GAE?

La base de données doit être remplie chaque semaine - et la remplir en interrogeant de nombreux liens externes, ce qui prend environ 1 à 2 heures. Donc, le faire via GAE Cron est maintenant hors de question.

Une autre option que je pensais était de le créer dans un serveur externe, puis de le télécharger dans la base de données GAE. Est-il possible de télécharger directement les données créées à l'extérieur de GAE DB? La question est parce qu'il y aura près de 10 M éléments, donc ajouter des éléments individuellement à une base de données ne fonctionnera pas en raison de la limite de temps de 30 secondes.

Merci

K

Répondre

2

Il pourrait être possible d'utiliser le bulk loader pour votre tâche. Ou créez simplement votre propre méthode à partir de votre script cron externe pour remplir les nouvelles données

2

Vous pouvez utiliser task queues pour interroger vos sites externes et charger les données.