2009-12-31 13 views
9

Je suis en train de créer un travail de mappeur uniquement via AWS (un travail de streaming). Le champ réducteur est requis, donc je donne un exécutable fictif, et en ajoutant -jobconf mapred.map.tasks = 0 à la boîte Extra Args. Dans l'environnement hadoop (version 0.20) que j'ai installé, aucun travail réducteur ne sera lancé, mais dans AWS, l'exécutable factice se lance et échoue.Amazon MapReduce aucun travail de réduction

Comment exécuter un travail non réducteur/mappeur uniquement dans AWS?

Répondre

11

Vous pouvez également utiliser cat ou NONE comme argument réducteur.

+0

AUCUN n'est exactement ce que je cherchais. Merci! – sagie

0

Il n'existe aucun moyen de créer un travail de mappeur uniquement dans Amazon M/R. J'utilise le réducteur d'identité (org.apache.hadoop.mapred.lib.IdentityReducer) à la place.