Analyser les pages html et stocker le contenu (titre, texte et etc) dans la base de données

Question

Est-ce que quelqu'un connaît quelques outils open source pour analyser les pages html, filtrer les annonces, JS et etc pour obtenir le titre, le texte. La partie avant de mon application est basée sur LAMP. J'ai donc besoin d'analyser les pages html et de les stocker dans Mysql. Et peupler les premières pages avec ces données.

Je connais quelques outils: Heritrix, Nutch. Mais il semble qu'ils sont des robots.

Merci. Joseph

Answer 1

Cela dépend de ce que vous entendez par "texte" de la page Web. J'ai fait une chose similaire en saisissant une page Web en utilisant les bibliothèques apache HttpClient, puis dom4j pour rechercher une balise particulière pour extraire le texte. Mais vous avez en effet besoin du même type de robot que les moteurs de recherche comme google. Vous émulez les étapes de base qu'ils effectuent lorsqu'ils explorent un site Web. Extraire l'information Il serait utile que vous ayez un peu plus de détails sur le type d'information que vous voulez récupérer dans les pages.