mapreduce

1La chaleur

2Répondre

Hadoop/Elastic Map Réduire avec un exécutable binaire?

J'écris et distribue l'application de traitement d'image en utilisant hadoop streaming, python, matlab, et réduire la carte élastique. J'ai compilé un exécutable binaire de mon code matlab en utilisan

8La chaleur

2Répondre

Hadoop Streaming: Mapper 'encapsulant' un exécutable binaire

J'ai un pipeline que je dirige actuellement sur un grand cluster d'ordinateurs universitaires. À des fins de publication, je voudrais le convertir en format mapreduce afin qu'il puisse être utilisé pa

6La chaleur

1Répondre

Comment faire pour supprimer des collections temporaires MapReduce dans mongoDB

Y at-il de toute façon que je peux supprimer toutes les collections temporaires de réduire la carte? Je read vous pouvez passer un paramètre booléen, pour conserver ou supprimer les collections. Le pa

4La chaleur

3Répondre

Carte Hadoop/Réduire le chaînage

Je souhaite chaîner 2 travaux de mappage/réduction. J'essaie d'utiliser JobControl pour atteindre la même chose. Mon problème est - JobControl a besoin de org.apache.hadoop.mapred.jobcontrol.Job qui à

3La chaleur

2Répondre

Hadoop: Comment trouver l'ID_partition dans l'étape de réduction à l'aide de l'objet Contexte

Dans Hadoop API ver. 0.20 et au-dessus de l'objet Context a été introduit à la place JobConf. Je dois trouver à l'aide d'objet Contexte: le id_partition pour Réducteur courant le dossier de sortie En

2La chaleur

2Répondre

données agrégées MongoDB pour générer « dernière activité »

J'ai une collection de MongoDB qui a des documents comme ceux ci-dessous: [ { :event => {:type => 'comment_created'}, :item => {:id => 10}, :created_at => {:t => '11:19:03 +0100 20

18La chaleur

3Répondre

Façon rapide de trouver des doublons sur une colonne indexée en mongodb

J'ai une collection de md5 dans mongodb. J'aimerais trouver tous les doublons. La colonne md5 est indexée. Savez-vous un moyen rapide de le faire en utilisant la carte réduire. Ou devrais-je simplemen

0La chaleur

2Répondre

Est-il possible de faire un appel REST à partir d'une fonction MongoDB Map/Reduce et de traiter les résultats?

Je me demande s'il est possible de faire une requête REST depuis une fonction Map-Reduce ou system.js. Je voudrais être en mesure d'appeler un service externe, et à partir des résultats JSON retournés

3La chaleur

1Répondre

fonction en python combinateur Hadoop le streaming

J'ai un mappeur qui sort clé et la valeur, qui est trié et canalisé dans reducer.py, Comme les clés sont déjà triées, avant de passer à réducteur, je veux écrire un combineur qui itère dans la liste t

7La chaleur

2Répondre

Vues CouchDB: supprimer les doublons * et * commander par temps

Basé sur une bonne réponse à mon previous question, j'ai partiellement résolu un problème que j'ai avec CouchDB. Cela a abouti à a new view. Maintenant, la prochaine chose que je dois faire est de sup