Quelles structures de données et quels algorithmes sont appliqués dans les cubes d'entrepôt de données?

Question

Je comprends que les cubes sont des structures de données optimisées pour agréger et "découper" de grandes quantités de données. Je ne sais pas comment ils sont implémentés.

Je peux imaginer qu'une grande partie de cette technologie est propriétaire, mais y a-t-il des ressources que je pourrais utiliser pour commencer à implémenter ma propre technologie de cube?

La théorie des ensembles et beaucoup de maths sont probablement impliqués (et bienvenus comme suggestions!), Mais je m'intéresse principalement aux implémentations: les structures de données et les algorithmes de requête.

Merci!

Answer 1

Il y a un livre fantastique qui décrit de nombreux détails internes de mise en œuvre SSAS, y compris les détails mécanisme de stockage et de recherche:

http://www.amazon.com/Microsoft-Server-Analysis-Services-Unleashed/dp/0672330016

Answer 2

Généralement, un entrepôt de données utilise une base de données relationnelle, mais les tables ne sont pas normalisées comme une base de données relationnelle opérationnelle.

Un entrepôt de données est orienté sur le sujet. Les tables de matières des entrepôts de données ont généralement les caractéristiques suivantes:

• De nombreux index.

• Aucune jointure, sauf pour rechercher des tables.

• Données dupliquées, la table objet est fortement dénormalisée.

• Contient des informations dérivées et agrégées.

Les tables de base de données dans un entrepôt de données sont organisées dans un schéma en étoile. Un schéma en étoile est essentiellement une table de sujet avec un tableau de tables de recherche. Les clés des tables de recherche sont des clés étrangères dans la table objet. Si vous dessinez un diagramme de relation d'entité de la table objet, les tables de recherche entourent la table en question comme des points étoiles.

En ce qui concerne les requêtes, cela dépend des tables sujet et du nombre de lignes. Généralement, attendez que les requêtes prennent beaucoup de temps (plusieurs minutes, parfois plusieurs heures).

Voici un article général pour vous aider à démarrer: Developing a Data Warehouse Architecture

Voici un aperçu de haut niveau de la conception d'un schéma en étoile: Designing the Star Schema Database

Answer 3

Dans une base de données étoile schéma, les faits sont généralement acquis et conservés à le grain le plus fin.

Prenons donc l'exemple SalesFact de la figure 10 dans http://www.ciobriefings.com/Publications/WhitePapers/DesigningtheStarSchemaDatabase/tabid/101/Default.aspx

En ce moment, le grain est produit, temps (à une granularité de jour), magasin. Supposons que vous vouliez que cela soit agrégé par mois, pré-agrégé (cet exemple particulier ne nécessite probablement pas de pré-agrégation, mais si les ventes ont été détaillées par client, par minute, une pré-agrégation peut être nécessaire).

Alors vous auriez un SalesFactMonthly (ou ajouteriez une discrimination de grain à la table de faits existante puisque les dimensions sont identiques - parfois dans l'agrégation, vous pourriez réellement perdre des dimensions juste comme vous pouvez perdre le grain par magasin et non par produit).

ProductID 
TimeID (only linking to DayOfMonth = 1) 
StoredID 
SalesDollars 

Et vous obtiendrez ceci en faisant:

INSERT INTO SalesFactMonthly (ProductID, TimeID, StoreID, SalesDollars) 
SELECT sf.ProductID 
    ,(SELECT TimeID FROM TimeDimension WHERE Year = td.Year AND Month = td.Month AND DayOfMonth = 1) -- One way to find the single month dimension row 
    ,sf.StoreID 
    ,SUM(sf.SalesDollars) 
FROM SalesFact AS sf 
INNER JOIN TimeDimension AS td 
    ON td.TimeID = sf.TimeID 
GROUP BY td.Year, td.Month 

Qu'est-ce qui se passe en cubes est que vous avez essentiellement étoiles à grains fins et pré-agrégats ensemble - mais chaque mise en œuvre est la propriété - parfois vous ne pourriez pas même avoir les données les plus fines dans le cube, donc il ne peut pas être signalé. Mais chaque façon dont vous pourriez vouloir découper les données doit être stockée à ce grain, sinon vous ne pouvez pas produire d'analyse de cette façon.