JVM (embarrasingly) bibliothèques/outils de traitement parallèle

Question

Je cherche quelque chose qui facilitera l'exécution (codage correct) d'un code JVM parallèle embarrassant sur un cluster (pour que je puisse utiliser Clojure + Incanter). J'ai déjà utilisé Parallel Python dans le passé pour cela. Nous avons un nouveau cluster PBS et notre administrateur va bientôt mettre en place des nœuds IPython qui utilisent PBS comme backend. Ces deux systèmes rendent pratiquement impossible l'exécution de certains types de code dans une grappe. J'ai fait l'erreur d'utiliser Hadoop dans le passé (Hadoop ne convient tout simplement pas au type de données que j'utilise) - la latence, même les petites séries, s'exécute pendant 1-2 minutes.

Est-ce que JPPF ou Gridgain est meilleur pour ce dont j'ai besoin? Est-ce que quelqu'un ici a une expérience avec l'un ou l'autre? Y at-il autre chose que vous pouvez recommander?

Answer 1

Clojure est présenté au travail sur Terracotta, sous réserve de certaines patcher.

Answer 2

Regardez Skandium

Edit:

lien ci-dessus est plus direct, afin d'ajouter le lien github

https://github.com/mleyton/Skandium

Answer 3

Check out cascalog - http://github.com/nathanmarz/cascalog

Answer 4

Je vous suggère de regarder Skandium, les licences alternatives à GPL peut être négocié avec les développeurs sur demande.