Mise à jour d'une base de données sqlite locale utilisée pour les métadonnées locales et la mise en cache d'un service?

Question

J'ai cherché sur le site et je n'ai pas trouvé de questions/réponses qui répondent à ma question, la plus proche que j'ai trouvée était: Syncing objects between two disparate systems best approach.

Pour commencer, parce qu'il n'y a pas de flux RSS disponibles, je suis l'écran de raclage d'une page Web, donc il fait une recherche puis il traverse la page Web pour éliminer toutes les informations qui m'intéresse et dumps cette information dans une base de données sqlite afin que je puisse interroger l'information à mon loisir sans faire de récupération répétée du site Web.

Cependant, je stocke également diverses métadonnées sur les données elles-mêmes qui sont stockées dans la sqlite db, telles que: ai-je regardé les données, est les données nouvelles/anciennes, signet à un morceau de données comme un ensemble de données non liées, et le signet est juste un pointeur vers où je suis dans le traitement/la lecture desdites données). En ce moment, mon problème actuel est de savoir comment mettre à jour la base de données sqlite locale avec de nouvelles données et/ou modifier les données du site Web d'une manière efficace et simple.

Voici mon idée actuelle:

1. Télécharger la page elle-même
2. Créer une table temporaire pour les données analysées pour aller dans
3. faire une comparaison entre le fonctionnaire et la table temporaire et copie des mises à jour et/ou de nouvelles informations à la table officielle

Ce processus semble assez compliqué parce que je devrais comprendre comment déterminer si les données dans le ta ble est nouveau, mis à jour ou inchangé. Je me demande donc s'il n'y a pas une meilleure approche ou si quelqu'un a des suggestions sur la façon d'architecture/structure d'un tel système?

Edit 1: Je ne suis pas sûr où mettre les informations supplémentaires, dans un commentaire ou une modification, donc je vais l'ajouter ici. Cela élargit un peu les métadonnées en ce qui concerne les signets, en gros la source de données peut créer de nouvelles données/addition aux données actuelles, donc une raison pour laquelle je pensais à faire l'idée de la table temporaire était que je serais capable de déterminer si une source de données qui a été "mise en signet" a de nouvelles données ou non.

Answer 1

Est-il vraiment important de déterminer si les données de la table temporaire sont nouvelles, mises à jour ou inchangées? Avez-vous vraiment besoin de garder un historique des changements? NON: n'utilisez pas la table temporaire mais marquez simplement vos anciens enregistrements, ne faites pas de mises à jour et insérez simplement vos nouvelles données. OUI: votre idée me semble correcte, mais tout dépend de la quantité de données à traiter à chaque fois; Je ne pense pas que ce soit faisable avec une grande quantité de données.