Dois-je préférer hadoop vs condor lorsque je travaille avec R?

Question

Je cherche des façons d'envoyer des travaux pour plusieurs ordinateurs sur ma grille informatique universitaire.

Actuellement, il fonctionne Condor et offre également Hadoop.

Ma question est donc, devrais-je essayer et l'interface avec R à Hadoop ou au Conder pour mes projets?

Pour la discussion, supposons que nous parlons de tâches embarrassantes parallèles.

p.s: J'ai vu les ressources décrites dans le CRAN task views.

Answer 1

Vous pouvez faire les deux.

Vous pouvez utiliser HDFS pour vos ensembles de données et Condor pour la planification de vos travaux. Utilisation de Condor pour placer les exécuteurs sur les machines et les fonctions HDFS + Hadoops Map-Reduce pour traiter vos données (en supposant que votre problème soit mappable map-reduce). Ensuite, vous utilisez l'outil le plus approprié pour le travail: Condor est un planificateur de tâches et, en tant que tel, fonctionne mieux que Hadoop. Et le framework HDFS et M-R de Hadoop sont des choses que Condor n'a pas (mais sont vraiment utiles pour les travaux en cours sur Condor).

Je regarderais personnellement à HDFS pour partager des données entre les travaux qui fonctionnent discrètement comme des travaux Condor. Surtout dans un environnement universitaire, où les ressources informatiques partagées ne sont pas fiables à 100% et peuvent aller et venir à volonté, la résilience de Condor dans ce type de configuration va faciliter le travail.