Je crée une application qui nécessite le stockage et l'interrogation de très grandes quantités de données horodatées. Plus précisément, il s'agit de données de type analytique dans lesquelles un "ensemble" particulier peut contenir jusqu'à 100 points de données distincts liés ensemble par un horodatage partagé. Ces données sont statiques, en ce sens qu'elles ne changeront jamais une fois stockées mais pourront être interrogées plusieurs fois avant d'être effacées de la base de données (nous ne stockons actuellement que 12 semaines de données).Meilleur moteur de stockage pour les données analytiques statiques à grand volume
Pour le moment, nous stockons ces données dans MySQL avec plusieurs tables d'environ 100 millions de lignes chacune (nous ajoutons environ 3 millions de lignes par jour). Cela ne pose aucun problème lorsque vous stockez et interrogez les données uniquement par horodatage, mais cela devient fastidieux lorsque vous effectuez des sélections avec des tris et en particulier lorsque vous essayez de supprimer des anciennes données obsolètes des tables. Une requête DELETE utilisant par exemple WHERE timestamp < $ 12weeksago prend souvent plusieurs heures à compléter.
Nous souhaitons également conserver certaines données au-delà de la période de 12 semaines, ce qui ajoute une autre clause WHERE à la commande DELETE par rapport à une autre colonne. Cela ralentit les choses plus loin.
Quel moteur de stockage recommanderiez-vous en fonction de ce cas d'utilisation, en tenant compte du volume élevé de lectures/écritures et des besoins d'interrogation?