Je collectionne les logs avec Flume sur le HDFS. Pour le cas de test, j'ai de petits fichiers (~ 300kB) parce que le processus de collecte de journaux a été mis à l'échelle pour l'utilisation réelle.
Je veux des journaux de la console avec flume, je commence flume avec la commande suivante: process_which_generates_the_log | flume node_nowatch -1 -n node -c 'node : console | agentBESink("localhost"
Je dispose d'un service mobile réparti sur 7 serveurs, chacun effectuant une tâche spécifique. Je souhaite enregistrer des informations auprès d'eux et en tirer ensuite des informations commerciales.