Quand les données sont-elles effacées de la base de données OLAP?

Question

Je suis nouveau à OLAP. Je comprends la structure de la table et le processus ETL.

Je ne comprends pas quand les données sont censées être supprimées de la table de faits. Dites que je crée une application de reporting pour les événements. chaque événement a la durée qu'il a fallu pour terminer, le code de sortie et le total des octets lus. Il y a plusieurs dimensions, par ex. heure et lieu. Disons que j'ai 1 million de nouveaux enregistrements prêts pour ma table de faits quotidienne, soit un total de 1 Go. Si mon processus ETL ajoute uniquement des données à ma table de faits, il se développe indéfiniment. Quand devrais-je supprimer des données de ma table de faits? Dois-je diviser les données en plusieurs tables de faits (par exemple des tables mensuelles)?

Existe-t-il une règle empirique?

Merci

Answer 1

Histoire ne doit jamais être supprimé.

Période. Cependant, certaines personnes craignent que 1 Gb par jour puisse se transformer en 1 To tous les 3 ans. Cela importe rarement, mais certaines personnes aiment toujours s'inquiéter du prix du stockage.

Votre temps passé à concevoir une purge de données peut être plus coûteux que le stockage que vous essayez d'enregistrer.

[J'ai trouvé 3 DBA et 2 programmeurs débattant des façons d'économiser quelques centaines de MB. J'ai dit que je les conduirais tous à Best Buy et achèterais un disque de 500Mb avec le changement de rechange sur le plancher de ma voiture. Le prix de 5 consultants qui marchaient simplement dans la pièce pour en discuter avait déjà dépassé le prix du stockage qu'ils essayaient de "sauver".]

La question de "pouvons-nous résumer?" est entièrement à la hauteur des utilisateurs. Parfois, vous ne pouvez pas résumer utilement, donc vous ne pouvez pas facilement supprimer n'importe quoi non plus. Certaines personnes diront que le cycle économique est de 20 ans ou quelque chose comme ça, et veulent des détails pour les 20 premières années (sur 7Tb), puis des résumés pour les périodes de temps avant cela.

Answer 2

Jamais. Vous pouvez utiliser le partitionnement pour gérer les anciens enregistrements et déplacer les partitions vers différents lecteurs. Si vous partitionnez les tables de faits par date (mois trimestre, année), alors pour la plupart des choses pratiques, vous accédez la plupart du temps à peu de partitions récentes. Gardez à l'esprit que DW appartient aux utilisateurs professionnels et non à l'informatique. Ne limitez pas (n'essayez pas de supposer) les questions qu'un analyste d'affaires peut vouloir demander - interroger le DW.