Exécution de tâches R dans un environnement de calcul en grille

Question

Je suis en train d'exécuter des modèles de régression de grande taille dans R dans un environnement de calcul en grille. Pour autant que je sache, la grille me donne juste plus de mémoire et de processeurs plus rapides, donc je pense que cette question s'appliquerait aussi à ceux qui utilisent R sur un ordinateur puissant. Les modèles de régression que je cours ont beaucoup d'observations, et plusieurs variables de facteur qui ont beaucoup (10s ou 100s) de niveaux chacun. Par conséquent, la régression peut devenir très coûteuse. J'ai remarqué que lorsque j'aligne 3 régressions dans un script et que je les soumets à la grille, il se ferme (se bloque) en raison de contraintes de mémoire. Cependant, si je l'exécute comme 3 scripts différents, ça fonctionne bien. Je fais du nettoyage, donc après l'exécution de chaque modèle, j'enregistre l'objet modèle dans un fichier séparé, rm (list = ls()) pour effacer toute la mémoire, puis lance gc() avant le prochain modèle est exécuté. Pourtant, courir tous les trois dans un script semble s'écraser, mais briser le travail semble être bien.

L'administrateur de sys dit que la rupture est importante, mais je ne vois pas pourquoi, si je nettoie après chaque exécution. 3 dans un script les exécute en séquence de toute façon. Quelqu'un a-t-il une idée de l'exécution de trois scripts individuels, mais l'exécution de tous les modèles dans un script entraînerait des problèmes de mémoire pour R?

merci! EXL

Answer 1

Des questions similaires qui méritent d'être lus par: Forcing garbage collection to run in R with the gc() command Memory Usage in R

Mon expérience a été que R n'est pas superbe à la gestion de la mémoire. Vous pouvez essayer de placer chaque régression dans une fonction dans l'espoir que laisser les variables sortir du cadre fonctionne mieux que gc(), mais je ne retiens pas votre souffle. Y at-il une raison particulière pour laquelle vous ne pouvez pas exécuter chacun dans son propre lot? Plus d'informations, comme Joris l'a demandé, aideraient aussi.