hadoop

8La chaleur

8Répondre

Hadoop Streaming - Impossible de trouver l'erreur de fichier

J'essaie d'exécuter un travail python hadoop-streaming. bin/hadoop jar contrib/streaming/hadoop-0.20.1-streaming.jar -D stream.non.zero.exit.is.failure=true -input /ixml -output /oxml -mapper scri

2La chaleur

2Répondre

Hadoop télécharge des fichiers de la machine locale vers amazon s3

Je travaille sur une application Java MapReduce qui doit être en mesure de fournir un service de téléchargement pour certaines images de la machine locale de l'utilisateur vers un compartiment S3. La

3La chaleur

1Répondre

Utilisation de Hadoop pour "sortir" des données avec une seule exécution

Est-il possible d'utiliser un Exécution d'un travail Hadoop pour sortir des données dans différents répertoires basés sur des clés? Mon cas d'utilisation est les journaux d'accès au serveur. Dites que

3La chaleur

3Répondre

Hadoop MapReduce InputFormat obsolète?

Je dois implémenter une source d'entrée personnalisée (service) pour une application Hadoop MapReduce. Je google'd et SO'd et a constaté qu'une manière de procéder est d'implémenter un InputFormat per

3La chaleur

1Répondre

Implémentation d'un ArrayWritable pour un type Hadoop personnalisé

Comment définir un ArrayWritable pour un type Hadoop personnalisé? Je suis en train de mettre en œuvre un index inversé dans Hadoop, avec mesure types Hadoop pour stocker les données J'ai un individue

6La chaleur

3Répondre

Convertir "3" en 3 avec PigLatin

Je lis dans un fichier csv qui contient des champs avec des nombres comme ça: "3". Puis-je convertir ces champs de "3" à 3 avec PigLatin? J'en ai besoin pour utiliser la fonction SUM(). Merci pour vot

1La chaleur

2Répondre

EOFException lancée par un programme de tuyaux Hadoop

Tout d'abord, je suis un débutant de Hadoop. J'ai un petit programme Hadoop pipes qui lance java.io.EOFException. Le programme prend en entrée un petit fichier texte et utilise hadoop.pipes.java.recor

6La chaleur

3Répondre

Quelle est la manière la plus simple de combiner de petits blocs HDFS?

Je collectionne les logs avec Flume sur le HDFS. Pour le cas de test, j'ai de petits fichiers (~ 300kB) parce que le processus de collecte de journaux a été mis à l'échelle pour l'utilisation réelle.

1La chaleur

2Répondre

Comment dois-je partitionner les données dans s3 pour les utiliser avec hadoop ruche?

J'ai un seau s3 contenant environ 300 Go de fichiers journaux dans aucun ordre particulier. Je souhaite partitionner ces données pour les utiliser dans hadoop-hive en utilisant un horodatage afin que