Recommande un format de fichier indexé qui peut être mis à jour via un accès aléatoire en Java

Question

J'ai besoin d'un format de fichier indexé pouvant contenir quelques centaines de blobs binaires de taille variable.

Blobs sont autour 1-5MB et le fichier pourrait être aussi grand que 1 Go. Je dois être capable de trouver, lire, ajouter et supprimer rapidement des blobs sans recréer le fichier entier. Je n'ai pas besoin de compresser les blobs, mais si les blobs étaient enlevés, je voudrais récupérer ou réutiliser l'espace.

Idéalement, il y aurait une API Java.

Je suis en train de faire cela avec un format ZIP, mais il n'y a aucun moyen connu de mettre à jour un fichier ZIP sans recréer et la performance est mauvaise.

Je l'ai regardé dans SQLite, mais ses performances blob était lente, et son surpuissant pour mes besoins.

Des pensées, ou devrais-je rouler les miennes? Et si je lance moi-même des suggestions de livres ou de pages Web?

Answer 1

Vous avez besoin d'un système de fichiers virtuel. Notre SolFS est l'une des options mais nous avons seulement la couche JNI, car le moteur est écrit en C. Il existe une option de plus, CodeBase, mais comme ils ne fournissent pas une version d'évaluation de leur système de fichiers, j'en connais quelques-uns à propos de ça.

SolFS est idéalement adapté à votre tâche, car il vous permet d'avoir des flux alternatifs pour les fichiers et associé de recherche de métadonnées avec chaque fichier ou même flux alternatif.

Answer 2

Berkeley DB Java Edition fait ce que vous avez besoin. C'est gratuit.