Séparation des fichiers journaux gzippés sans stocker les partitions non compressées sur le disque

Question

J'ai une tâche récurrente consistant à diviser un ensemble de grands fichiers journaux Apache gzippés en plusieurs parties (disons des blocs de 500 000 lignes). Les fichiers finaux doivent être gzippés à nouveau pour limiter l'utilisation du disque.

Sur Linux je normalement faire:

zcat biglogfile.gz | split -l500000 

Les fichiers fichiers seront nommés Xaa, xab, XAC, etc Je fais:

gzip x* 

L'effet de cette méthode est cela comme résultat intermédiaire ces énormes fichiers sont temporairement stockés sur le disque. Est-il possible d'éviter cette utilisation de disque intermédiaire? Puis-je (d'une manière similaire à xargs) diviser la sortie via une commande (comme gzip) et recomprimer la sortie à la volée? Ou est-ce que je regarde dans la mauvaise direction et y a-t-il une bien meilleure façon de faire cela?

Merci.

Answer 1

Vous pouvez utiliser l'option de --filter slpit comme expliqué dans the manual par exemple

zcat biglogfile.gz | split -l500000 --filter='gzip > $FILE.gz' 

Edit: pas au courant lorsque l'option --filter a été introduite, mais selon les commentaires, il ne fonctionne pas dans core utils 8.4.

Answer 2

zipsplit est utilisé, mais il utilise l'algorithme zip plutôt que l'algorithme gzip.

Answer 3

Un script du type suivant peut suffire.

#!/usr/bin/perl 
use PerlIO::gzip; 

$filename = 'out'; 
$limit = 500000; 

$fileno = 1; 
$line = 0; 

while (<>) { 
    if (!$fh || $line >= $limit) { 
     open $fh, '>:gzip', "$filename_$fileno"; 
     $fileno++; 
     $line = 0; 
    } 
    print $fh $_; $line++; 
}