mapreduce

0La chaleur

1Répondre

Encoder l'image dans Jpeg2000 en utilisant l'informatique distribuée comme Hadoop

Je me demandais si quelqu'un avait fait/conscient de l'encodage/compression de grande image au format JPEG2000 en utilisant Hadoop? Il y a aussi cette http://code.google.com/p/matsu-project/ qui utili

7La chaleur

2Répondre

Lors de l'amorçage d'une carte élastique amazon, mon travail peut-il utiliser sudo?

J'ai besoin de: sudo apt-get install rubygems sudo gem install <lots of gems> ne l'action d'amorçage ont accès sudo?

8La chaleur

8Répondre

Hadoop Streaming - Impossible de trouver l'erreur de fichier

J'essaie d'exécuter un travail python hadoop-streaming. bin/hadoop jar contrib/streaming/hadoop-0.20.1-streaming.jar -D stream.non.zero.exit.is.failure=true -input /ixml -output /oxml -mapper scri

3La chaleur

1Répondre

Utilisation de Hadoop pour "sortir" des données avec une seule exécution

Est-il possible d'utiliser un Exécution d'un travail Hadoop pour sortir des données dans différents répertoires basés sur des clés? Mon cas d'utilisation est les journaux d'accès au serveur. Dites que

3La chaleur

3Répondre

Hadoop MapReduce InputFormat obsolète?

Je dois implémenter une source d'entrée personnalisée (service) pour une application Hadoop MapReduce. Je google'd et SO'd et a constaté qu'une manière de procéder est d'implémenter un InputFormat per

3La chaleur

1Répondre

Implémentation d'un ArrayWritable pour un type Hadoop personnalisé

Comment définir un ArrayWritable pour un type Hadoop personnalisé? Je suis en train de mettre en œuvre un index inversé dans Hadoop, avec mesure types Hadoop pour stocker les données J'ai un individue

0La chaleur

2Répondre

couchdb - problèmes de regroupement des collections

J'ai des problèmes pour essayer de trouver une collection de types avec le nombre de fois qu'une compétence est trouvée dans ce type de document. Il existe un certain nombre de types de document qui o

0La chaleur

2Répondre

Cela ressemble à un travail pour MapReduce ... mais je ne peux pas le comprendre

Je me bats avec cela depuis environ 2 jours maintenant, et toute aide serait grandement appréciée. J'ai actuellement une très grande collection MongoDB (plus de 100 millions de documents) dans le form

12La chaleur

1Répondre

Réduire la carte avec les agents F #

Après avoir joué avec des agents F #, j'ai essayé de faire une carte en les utilisant. La structure de base que j'utilise est: superviseur carte qui fait la queue tout le travail à faire dans son état

1La chaleur

2Répondre

Comment dois-je partitionner les données dans s3 pour les utiliser avec hadoop ruche?

J'ai un seau s3 contenant environ 300 Go de fichiers journaux dans aucun ordre particulier. Je souhaite partitionner ces données pour les utiliser dans hadoop-hive en utilisant un horodatage afin que