L'accélération de requête PostgreSQL où les données sont entre deux dates

Question

J'ai une grande table (> rows de 50m) qui a des données avec un ID et l'horodatage:

id, timestamp, data1, ..., dataN 

... avec un index à plusieurs colonnes sur (id, timestamp).

J'ai besoin d'interroger la table pour sélectionner toutes les lignes avec un certain ID où l'horodatage est entre deux dates, que je suis actuellement en train de faire en utilisant:

SELECT * FROM mytable WHERE id = x AND timestamp BETWEEN y AND z 

Cela prend actuellement plus de 2 minutes à une extrémité haute machine (2x Xeons dual-core 3Ghz avec HT, 16 Go de RAM, 2x lecteurs 1 To en RAID 0) et je voudrais vraiment accélérer.

J'ai trouvé this tip qui recommande d'utiliser un index spatial, mais l'exemple qu'il donne est pour les adresses IP. Cependant, l'augmentation de la vitesse (436s à 3s) est impressionnante. Comment puis-je l'utiliser avec les horodatages?

Answer 1

Assurez-vous que l'index est TableID + TableTimestamp, et vous faites une requête comme:

SELECT 
    .... 
    FROM YourTable 
    WHERE TableID=..YourID.. 
     AND TableTimestamp>=..startrange.. 
     AND TableTimestamp<=..endrange.. 

si vous appliquez des fonctions à la colonne TableTimestamp de la table dans WHERE, vous ne serez pas en mesure d'utiliser complètement l'index . Si vous effectuez déjà tout cela, il est possible que votre matériel ne soit pas à la hauteur de la tâche.

si vous utilisez la version 8.2 ou ultérieure, vous devriez essayer:

WHERE (TableID, TableTimestamp) >= (..YourID.., ..startrange..) 
    and (TableID, TableTimestamp) <= (..YourID.., ..endrange..) 

Answer 2

Cette astuce ne convient que lorsque vous avez deux colonnes A et B et utiliser des requêtes telles que:

where 'a' between A and B 

C'est non:

where A between 'a' and 'b' 

en utilisant l'index sur date(column) plutôt que column pourrait accélérer un peu.

Answer 3

Pourriez-vous EXPLAIN la requête pour nous? Ensuite, nous savons comment la base de données exécute votre requête. Et qu'en est-il de la configuration? Quels sont les paramètres pour shared_buffers et work_mem? Et quand avez-vous (ou votre système) le dernier vide et analysez-vous? Et dernière chose, quel OS et quelle version de pgSQL utilisez-vous?

Vous pouvez créer des index merveilleux, mais sans paramètres appropriés, la base de données ne peut pas les utiliser très efficace.