Nous avons une grande table d'environ 1 million de lignes et un fichier de données avec des millions de lignes. Nous devons fusionner régulièrement un sous-ensemble des données dans le fichier texte dans une table de base de données. La raison principale de cette lenteur est que les données dans le fichier ont des références à d'autres objets JPA, ce qui signifie que les autres objets jpa doivent être relus pour chaque ligne du fichier. Imaginez-à-dire que nous avons 100.000 personnes et 1000000 objets actifsFusionner une grande table avec un gros fichier texte en utilisant JPA?
objet Personne -> Liste des actifs
Notre application utilise actuellement JPA pur pour tous ses besoins de manipulation de données. Existe-t-il un moyen efficace de le faire en utilisant les méthodologies JPA/ORM ou vais-je avoir besoin de revenir aux commandes SQL et au fournisseur spécifiques?
Pouvez-vous donner plus de détails sur votre processus de fusion/exigences? Votre préoccupation au sujet de l'APP est-elle liée à la performance ou simplement «comment puis-je faire cela»? –
Oui la question est juste "comment puis-je faire cela". Évidemment, nous pourrions juste lire le fichier ligne par ligne, et essayer d'insérer des lignes qui n'existent pas déjà. Cela prend environ 9 heures en utilisant une base de données Oracle sur une connexion LAN assez rapide. –