Rediriger stdout de plusieurs processus vers le module de journalisation python

Question

J'ai un script python qui lance un certain nombre de processus utilisateur en utilisant subprocess.Popen. Chaque processus stdout est redirigé vers un fichier unique. Par exemple, le je lance chaque processus comme suit

proc = my_proc 
for p in range(1, max_p, 1): 
    log_file = proc + "_" + str(p) + ".log" 
    log = open(log_file, "w+") 
    subprocess.Popen([my_proc, p], shell = False, stdout = log) 

Je voudrais tourner ces fichiers quand ils deviennent trop gros. Quelle serait la meilleure façon de le faire? Je voudrais utiliser le module d'enregistrement mais je ne pense pas que c'est son utilisation prévue

Merci

Answer 1

Que diriez-vous logging.handlers.RotatingFileHandler?

Answer 2

Pas une solution pythonique; mais sur les systèmes Linux, je préfère utiliser logrotate pour faire pivoter automatiquement mes journaux. Vérifiez si c'est installé sur votre système (Sur Ubuntu dire qu'il y a un répertoire appelé /etc/logrotate.d/ avec des fichiers lancés automatiquement via cron). Cela peut être préférable ou non à la rotation du journal à partir de l'application.

Il est très configurable, par exemple, permet la compression de fichiers plus anciens conserve N fichiers via rotation commande N, tourne lorsque le cron sur "taille 100k", et en regardant man logrotate, son très simple à configurer.

De la page de manuel est ici un exemple de fichier

# sample logrotate configuration file 
    compress 

    /var/log/messages { 
     rotate 5 
     weekly 
     postrotate 
      /usr/bin/killall -HUP syslogd 
     endscript 
    } 

    "/var/log/httpd/access.log" /var/log/httpd/error.log { 
     rotate 5 
     mail www@my.org 
     size 100k 
     sharedscripts 
     postrotate 
      /usr/bin/killall -HUP httpd 
     endscript 
    }