Comment obtenir certaines lignes d'un fichier texte dans C#?

Question

Je travaille en C# et je me suis un gros fichier texte (75MB) Je veux sauver les lignes qui correspondent à une expression régulière

J'ai essayé de lire le fichier avec un StreamReader et ReadToEnd, mais il faut 400Mo de RAM

et lors d'une nouvelle utilisation crée une exception de mémoire insuffisante.

J'ai ensuite essayé d'utiliser File.ReadAllLines():

string[] lines = File.ReadAllLines("file"); 

StringBuilder specialLines = new StringBuilder(); 


foreach (string line in lines) 

if (match reg exp) 

    specialLines.append(line); 

cela est grand mais quand ma fonction se termine la mémoire utilisée ne marche pas clair et je suis parti avec 300 Mo de mémoire utilisée, uniquement lors du rappel la fonction et l'exécution de la ligne: string [] lines = File.ReadAllLines ("file"); Je vois la mémoire passer à 50 Mo donner ou prendre, puis ré-attribuer à 200 Mo

Comment puis-je effacer cette mémoire ou obtenir les lignes dont j'ai besoin d'une manière différente?

Answer 1

 var file = File.OpenRead("myfile.txt"); 
     var reader = new StreamReader(file); 
     while (!reader.EndOfStream) 
     { 
      string line = reader.ReadLine(); 
      //evaluate the line here. 
     } 
     reader.Dispose(); 
     file.Dispose(); 

Answer 2

Vous pouvez utiliser StreamReader#ReadLine lire ligne par ligne fichier et d'enregistrer ces lignes que vous avez besoin.

Answer 3

Vous devez diffuser le texte au lieu de charger le fichier entier en mémoire. Voici une façon de le faire, en utilisant une méthode d'extension et LINQ:

static class ExtensionMethods 
{ 
    public static IEnumerable<string> EnumerateLines(this TextReader reader) 
    { 
     string line; 
     while((line = reader.ReadLine()) != null) 
     { 
      yield return line; 
     } 
    } 
} 

... 

var regex = new Regex(..., RegexOptions.Compiled); 
using (var reader = new StreamReader(fileName)) 
{ 
    var specialLines = 
     reader.EnumerateLines() 
       .Where(line => regex.IsMatch(line)) 
       .Aggregate(new StringBuilder(), 
         (sb, line) => sb.AppendLine(line)); 
} 

Answer 4

Vous devez utiliser le modèle de recenseur pour garder votre empreinte mémoire faible dans le cas où votre fichier peut être énorme.