Quel est le moyen le plus simple de parallélisation sur un cluster avec SSH et NFS?

Question

J'ai beaucoup de calculs trivialement parallélisables et beaucoup (100s) de cœurs distribués sur le réseau SSH + NFS. Quelle est la manière la plus simple de paralléliser. Le problème est que je ne sais pas combien de temps chaque tâche prendra donc j'ai besoin d'une sorte de file d'attente. Y at-il quelque chose qui est très facile à utiliser?

Answer 1

Mincemeat.py est une implémentation Python légère de MapReduce conçue à cet effet. Il n'y a pas de moyen facile de lancer tous les processus (sauf si vous avez quelque chose comme Condor sur le cluster), mais sinon cela devrait répondre à vos besoins.

Answer 2

Vous pouvez également jeter un oeil à mpssh & autossh.

http://www.mynitor.com/2010/08/16/top-50-ssh-helper-tools-omg/