Aide et recommandations CDC et ETL

Question

Voici l'arrière-plan.

Nous avons quelques clients différents, chacun avec une base de données source backend différente. Nous voulons être de retour pour ramasser les changements en temps réel à la base de données backend, puis transformer les données en un schéma cible dans notre base de données cible. Après cela, diffusez un message à d'autres applications alertant le changement. Pour ce faire, nous avons besoin du logiciel CDC pour la détection des modifications, puis d'un bon outil ETL pour transformer et charger les données dans la base de données cible. Jusqu'à présent, nous avons examiné les CDC d'IBM. La recherche en est encore aux étapes préliminaires, mais je voulais simplement obtenir l'avis d'autres personnes à ce sujet. Quels programmes recommandez-vous pour cela? Allons-nous même à propos de cela de la bonne façon ... ce qui signifie que le logiciel CDC est trop puissant?

Answer 1

La plupart des bases de données ont une sorte de mécanisme CDC intégré (Oracle le fait à coup sûr). J'envisagerais d'appliquer le modèle Pub/Sub et de faire de chaque base de données un éditeur et que la cible s'abonne à tous les changements. D'autres applications pourraient également s'abonner à d'autres notifications. NServiceBus est une bonne option pour ce type de communication. Si vous ne voulez pas utiliser un mécanisme CDC DB natif, vous pouvez faire quelque chose de primitif et créer quelque chose pour détecter les changements par fournisseur de BD (déclencheurs, inspection des journaux de restauration, etc.).