Quelle est la meilleure façon de lire/écrire le contenu d'un tableau depuis/vers des fichiers binaires en C#?

Question

Je voudrais lire et écrire le contenu de grands fichiers de volume bruts (par exemple, des analyses IRM). Ces fichiers sont juste une séquence de par ex. 32 x 32 x 32 flotteurs afin qu'ils correspondent bien aux tableaux 1D. J'aimerais pouvoir lire le contenu des fichiers de volumes binaires dans des tableaux 1D, par ex. float ou ushort (en fonction du type de données des fichiers binaires) et exporte également les tableaux vers les fichiers de volume bruts.

Quelle est la meilleure façon de le faire avec C#? Les lire/écrire 1 élément à la fois avec BinaryReader/BinaryWriter? Lisez-les morceau par morceau dans des tableaux d'octets avec FileStream.Read, puis effectuez une System.Buffer.BlockCopy entre les tableaux? Ecrire mon propre lecteur/écrivain?

EDIT: Il semble qu'il est impossible de travailler avec> tableaux 2 Go, mais la question est toujours debout pour les petits réseaux (environ 256 Mo environ)

Answer 1

Vous ne vont pas pour obtenir des tableaux avec plus de 2 Go de données . D'après ce dont je me souviens, il y a une limite CLR de 1 Go par objet. C'est possible qui a été levé pour .NET 4 sur 64 bits, mais je n'en ai pas entendu parler.

EDIT: Selon this article la limite est de 2 Go, pas 1 Go - mais vous ne pourrez toujours pas gérer plus de 2 Go.

Avez-vous vraiment besoin d'avoir toutes les données en mémoire en même temps? Pouvez-vous travailler sur des morceaux à la fois?

EDIT: OK, il s'agit maintenant de lire un fichier dans une matrice flottante? Il est probablement plus simple de lire des morceaux (soit en utilisant BinaryReader.Read(byte[], int, int) ou BinaryReader.ReadBytes(int)) et ensuite d'utiliser Buffer.BlockCopy pour convertir efficacement des octets en flottants etc. Notez cependant que cela sera sensible à l'endian. Si vous voulez convertir plus solidement (de sorte que vous pouvez changer l'endianness plus tard, ou courir sur une plate-forme big-endian) vous voudrez probablement appeler ReadFloat() à plusieurs reprises. À quel point êtes-vous convaincu que vous avez réellement un problème de performance dans cette partie du code? Cela vaut la peine de faire la chose la plus simple qui fonctionne et de le profiler, pour commencer ...