Je dispose d'un service mobile réparti sur 7 serveurs, chacun effectuant une tâche spécifique. Je souhaite enregistrer des informations auprès d'eux et en tirer ensuite des informations commerciales. Je l'ai arrondi à Flume. Comment puis-je l'utiliser pour recueillir des informations? Mon système est écrit en PHP. Est-ce que le canal fonctionne sur PHP?Enregistrement distribué avec canal
Les agents Flume peuvent s'asseoir sur divers systèmes d'exploitation, y compris Windows et Linux. Donc, en bref, si vous hébergez sur l'un de ces systèmes d'exploitation, il n'y a aucune raison pour laquelle vous ne pouvez pas utiliser le canal pour agréger vos journaux à partir de plusieurs boîtes.
Cela dépend de vos besoins et de l'environnement de votre serveur. Une chose que je peux vous dire est que Flume n'a pas d'intégration directe avec PHP. Cependant, il y a d'autres façons de contourner cela. J'exécute des serveurs hébergés dans Amazon EC2 exécutant une combinaison de rsyslog + flume. Dans ma configuration, je collecte des journaux Web à partir de mes serveurs exécutant nginx sur des serveurs Linux. Les serveurs nginx émettent des journaux de requêtes Web en tant que messages syslog dans rsyslog; rsyslog envoie une requête tcp à mon collecteur de canaux central; le collecteur de canaux écoute ces messages avec le collecteur syslogTcp; le collecteur de canal transmet les messages dans Amazon S3. J'analyse ensuite les fichiers journaux avec Amazon EMR à un moment ultérieur.
Dans votre situation, PHP peut également être configuré pour écrire dans syslog (http://php.net/manual/en/function.syslog.php); par conséquent, vous pouvez avoir une configuration similaire et demander au syslog de transmettre les journaux à un nœud collecteur de canal central.
Si vous ne souhaitez pas compter sur les messages Syslog, vous pouvez également faire en sorte que les clients Flume soient exécutés sur vos serveurs. Les clients du canal peuvent être configurés pour mettre fin aux fichiers journaux locaux à l'aide du suiveur de canal ou vous pouvez placer tous les fichiers journaux dans un répertoire spécifié avec le récepteur tailDir de flume et les transmettre à un collecteur de canaux. Un bon avantage de flume est que vous pouvez le configurer pour avoir des messages livrés avec une très bonne probabilité qu'il atteigne sa destination pour les messages importants, tandis que d'autres messages peuvent être envoyés avec des exigences de livraison inférieures.
Le guide d'utilisation est votre meilleur flume endroit pour obtenir des informations plus détaillées: http://flume.apache.org/FlumeUserGuide.html
Un autre bon endroit pour chercher est de sauter sur freenode et rejoindre le canal #flume.
Quelqu'un a-t-il travaillé avec le canal ???? –