hdfs

9La chaleur

5Répondre

Existe-t-il un système de fichiers distribué fonctionnant sous Windows, à l'exception de Hadoop?

Je suis désespéré de trouver un DFS qui prend en charge Windows. Le seul DFS de ce type est Hadoop HDFS, mais il est très difficile de déployer un autre grand nombre de machines Windows car il nécessi

1La chaleur

1Répondre

Hadoop safemode recovery - prendre beaucoup de temps

Nous utilisons notre cluster sur Amazon EC2. nous utilisons des scripts cloudera pour installer hadoop. Sur le nœud maître, nous démarrons en dessous des services. 609 $AS_HADOOP '"$HADOOP_HOME"/bin/h

3La chaleur

1Répondre

Comment écrire et lire des fichiers dans/depuis Hadoop HDFS en utilisant Ruby?

Existe-t-il un moyen de travailler avec HDFS Api en utilisant Ruby? Comme je peux le comprendre il n'y a pas de fichier multilingue Api et le seul moyen est d'utiliser Java Api natif. J'ai essayé d'ut

8La chaleur

1Répondre

Est-il possible d'exécuter Hadoop en mode Pseudo-Distribué sans HDFS?

J'explore les options pour exécuter une application hadoop sur un système local. Comme pour de nombreuses applications, les premières versions devraient pouvoir fonctionner sur un seul nœud, à conditi

2La chaleur

2Répondre

Hadoop télécharge des fichiers de la machine locale vers amazon s3

Je travaille sur une application Java MapReduce qui doit être en mesure de fournir un service de téléchargement pour certaines images de la machine locale de l'utilisateur vers un compartiment S3. La

6La chaleur

3Répondre

Quelle est la manière la plus simple de combiner de petits blocs HDFS?

Je collectionne les logs avec Flume sur le HDFS. Pour le cas de test, j'ai de petits fichiers (~ 300kB) parce que le processus de collecte de journaux a été mis à l'échelle pour l'utilisation réelle.

6La chaleur

1Répondre

Comment copier efficacement des fichiers de HDFS vers S3

Mon travail hadoop génère un grand nombre de fichiers sur HDFS et je veux écrire un fil séparé qui copiera ces fichiers de HDFS à S3. Est-ce que quelqu'un pourrait me diriger vers une API java qui le

27La chaleur

4Répondre

Où HDFS stocke les fichiers localement par défaut?

Je cours hadoop avec la configuration par défaut avec un cluster à un nœud, et je voudrais trouver où HDFS stocke les fichiers localement. Des idées? Merci.

6La chaleur

4Répondre

Hadoop dfs -ls renvoie la liste des fichiers dans mon hadoop/dir

J'ai configuré une configuration Hadoop sigle-noeud exécutée via cygwin sous Win7. Après avoir démarré Hadoop par bin/start-all.sh je cours bin/hadoop dfs -ls qui me renvoie une liste de fichiers dans