mapreduce

5La chaleur

3Répondre

Hadoop ou Hadoop Streaming pour MapReduce sur AWS

Je suis sur le point de démarrer un projet mapreduce qui sera exécuté sur AWS et je suis invité à utiliser Java ou C++. Je comprends que l'écriture du projet en Java me donnerait plus de fonctionnalit

6La chaleur

1Répondre

Hadoop mapreduce en streaming à partir de HBase

Je construis un travail maado de Hadoop (0.20.1) qui utilise HBase (0.20.1) comme source de données et puits de données. Je voudrais écrire le travail en Python qui m'a demandé d'utiliser hadoop-0.20.

2La chaleur

3Répondre

Trier les valeurs avant qu'elles ne soient envoyées au réducteur

Je pense à la construction d'une petite application de test dans hadoop pour maîtriser le système. L'application que j'ai à l'esprit sera dans le domaine de la statistique. Je veux avoir "Les 10 pires

3La chaleur

3Répondre

Vues CouchDB: created_at supérieure à une valeur passée

Je suis en train d'écrire une vue CouchDB qui prend un horodatage created_at dans un format sortable (2009/05/07 21:40:17 +0000) et retourne tous les documents qui ont une plus grande valeur created_a

4La chaleur

2Répondre

Paralléliser les réducteurs Ruby dans Hadoop?

Un réducteur de wordcount simple Ruby ressemble à ceci: #!/usr/bin/env ruby wordcount = Hash.new STDIN.each_line do |line| keyval = line.split("|") wordcount[keyval[0]] = wordcount[keyval[0]].to_i

0La chaleur

1Répondre

CouchDB- question de groupe de base

J'ai un document utilisateur qui a un champ de groupe. Ce champ est un tableau d'identifiants de groupe. Je voudrais écrire une vue qui renvoie (groupid comme clé) -> (tableau de documents utilisateur

1La chaleur

1Répondre

Travail Hadoop MapReduce dans un fichier contenant des balises HTML

J'ai plusieurs fichiers HTML volumineux et je souhaite exécuter un travail Hadoop MapReduce pour trouver les mots les plus fréquemment utilisés. J'ai écrit mon mapper et réducteur en Python et j'ai ut

6La chaleur

2Répondre

Comment contrôler le nom et le contenu des fichiers de sortie d'un travail de diffusion Hadoop?

Existe-t-il un moyen de contrôler les noms de fichier de sortie d'un travail Hadoop Streaming? Spécifiquement, je voudrais que le contenu et le nom des fichiers de sortie de mon travail soient organis

0La chaleur

2Répondre

Puis-je exécuter une application .NET (ou une méthode à partir de .NET dll) dans Amazon Elastic MapReduce?

Ce dont j'ai besoin, c'est d'une machine puissante qui exécutera mon code .NET une heure par jour. Je ne peux pas utiliser EC2 parce qu'il perdra toutes mes données à l'arrêt. J'ai besoin d'un PC virt

0La chaleur

2Répondre

Combinaison d'enregistrements parallélisés - appariement sur plusieurs clés

J'ai envisagé d'utiliser MapReduce pour créer un système de combinaison d'enregistrements parallélisés. La langue n'a pas d'importance, je peux utiliser une bibliothèque préexistante telle que Hadoop