hadoop

2La chaleur

1Répondre

Comment s'assurer que les tâches MapReduce sont indépendantes les unes des autres?

Je suis curieux, mais comment MapReduce, Hadoop, etc., décomposent-ils une partie des données en tâches indépendantes? J'ai du mal à imaginer comment cela peut être, étant donné qu'il est courant d'av

1La chaleur

2Répondre

Noeuds dynamiques dans Hadoop

Est-il possible d'ajouter de nouveaux noeuds à Hadoop après son démarrage? Je sais que vous pouvez supprimer des nœuds (car le maître a tendance à garder un œil sur l'état du nœud).

22La chaleur

5Répondre

Exécution d'un travail Hadoop sans utiliser JobConf

Je ne trouve pas un seul exemple de soumission d'un travail Hadoop qui n'utilise pas la classe obsolète JobConf. JobClient, qui n'a pas été déprécié, prend toujours en charge uniquement les méthodes q

0La chaleur

4Répondre

programmation cornac

quelle est la procédure étape par étape pour exécuter un programme dans cornac

0La chaleur

2Répondre

Mot clé STREAM dans un script cochon qui s'exécute dans Amazon Mapreduce

J'ai un script cochon qui active un autre programme python. J'ai été capable de le faire dans mon propre environnement hadoop, mais j'échoue toujours lorsque je lance mon script dans Amazon map. Le jo

2La chaleur

3Répondre

Hadoop rechercher des mots d'un fichier dans un autre fichier

Je veux construire une application hadoop qui peut lire les mots d'un fichier et chercher dans un autre fichier. Si le mot existe - il doit écrire dans un fichier de sortie Si le mot n'existe pas - il

1La chaleur

1Répondre

Utilisation de types de données set/list pour les clés intermédiaires dans Hadoop

Dans un programme de réduction de mappage Apache Hadoop, quelles sont les options d'utilisation des ensembles/listes en tant que clés dans la sortie du mappeur? Mon idée initiale était d'utiliser Arra

4La chaleur

2Répondre

Génération de plusieurs fichiers de sortie avec Hadoop 0.20+

J'essaie d'afficher les résultats de mon réducteur dans plusieurs fichiers. Les résultats de données sont tous contenus dans un fichier, et le reste des résultats sont répartis en fonction d'une catég

4La chaleur

2Répondre

Trouver des lignes correspondantes avec Hadoop/MapReduce

Je joue avec Hadoop et j'ai mis en place un cluster à deux nœuds sur Ubuntu. L'exemple WordCount fonctionne très bien. Maintenant, je voudrais écrire mon propre programme MapReduce pour analyser des d

2La chaleur

1Répondre

Hadoop: Inconvénients d'utiliser seulement 2 machines?

Je veux faire l'analyse du journal d'énormes quantités de données et recueillir des informations analytiques. Cependant, toutes les données proviennent de sources externes et je n'ai que 2 machines à