J'ai besoin de faire un grand répertoire avec plusieurs sous-répertoires portable

Question

J'ai un ensemble de données contenu dans un répertoire qui compte environ 30 000 sous-répertoires. Chacun de ces répertoires contient un fichier texte et un autre sous-répertoire. Ce sous-répertoire contient un certain nombre de fichiers texte (allant de 0 fichiers texte à des centaines). Beaucoup de mes collègues utilisent cet ensemble de données, mais il faut au moins 6 heures pour transférer l'ensemble de données d'un ordinateur/disque dur à un autre - non pas à cause de la taille de l'ensemble de données, mais à cause de la lourdeur format dans lequel il est stocké. Je voudrais créer des archives (telles que .tar.gz) pour stocker ces données de telle sorte qu'elles puissent être rapidement transférées entre les ordinateurs. Je voulais voir si quelqu'un a travaillé avec quelque chose comme ça avant et peut me dire le plus rapide, la meilleure façon de le faire? Je pense qu'un shell-script pourrait être plus rapide que de créer moi-même les archives.

Answer 1

Suggestion: NFS monte le répertoire. Ensuite, une boîte de Windows ou une boîte unix peut accéder au répertoire. Remarque: les structures de répertoires comme celles-ci sont de mauvaises nouvelles sur les inodes dans un système de fichiers, et augmentent également les temps de recherche.

Réponse: Cela fonctionne sur une boîte unix compatible POSIX, et suppose qu'il n'y a qu'un seul répertoire de base pour votre repository--

cd /path/to/archive; tar cvf mycharhive.tar ./archive_dir; gzip myarchive.tar 

Cela crée une archive tar de chemin relatif - ce qui signifie que vous pouvez déballer à un répertoire de bas niveau, au lieu de la racine.