Comment fusionner 2 fichiers bzip2'ed?

Question

Je souhaite fusionner 2 fichiers bzip2'ed. J'ai essayé d'ajouter l'un à l'autre: cat file1.bzip2 file2.bzip2 > out.bzip2 qui semble fonctionner (ce fichier décompressé correctement), mais je veux utiliser ce fichier comme un fichier d'entrée Hadoop, et je reçois des erreurs sur les blocs corrompus.

Quelle est la meilleure façon de fusionner 2 fichiers bzip2 sans les décompresser?

Answer 1

manutention bzip concaténé est fixé sur le tronc, ou devrait être: https://issues.apache.org/jira/browse/HADOOP-4012. Il existe des exemples qui fonctionnent: https://issues.apache.org/jira/browse/MAPREDUCE-477?focusedCommentId=12871993&page=com.atlassian.jira.plugin.system.issuetabpanels%3Acomment-tabpanel#action_12871993 Assurez-vous que vous utilisez une version récente de Hadoop et que tout devrait bien se passer.

Answer 2

Vous pouvez compresser (bien, magasin) les deux dans une nouvelle bz2? Cela signifierait que vous auriez à faire 3 décompressions pour obtenir le contenu des 2 archives, mais pourrait fonctionner avec votre scénario.

Answer 3

Vous ne voudriez pas nécessaire que de fusionner des fichiers pour les utiliser comme entrée Hadoop:

• considèrent file_name* - un modèle;
• file_name_1,file_name_2 - liste des entrées.

Et Hadoop va la traiter.

Sinon, vous pouvez utiliser le streaming de Hadoop pour les fusionner (avec décompression).

Vous pouvez produire la liste des fichiers par modèle comme:

FILES_LIST="'ls -m template*.bz2'"

INPUT_FILE="'echo $FILES_LIST | tr -d ' ' '"

' internes citations devraient être différentes. Vous pouvez passer $INPUT_FILE en tant que variable à votre script via CLI.

Voir également la classe CombineFileInputFormat comme InputFormat.