web-crawler

0La chaleur

2Répondre

Est-il possible de découvrir des disques branchés à partir de Java?

J'écris un crawler de disque et si l'utilisateur ne fournit pas un chemin existant le programme devrait rechercher tous les disques qui sont disponibles. Est-ce que quelqu'un sait est-ce possible et s

0La chaleur

2Répondre

Comment, en utilisant .NET RegEx, j'analyse un fichier HTML et trouve 1. Liens externes. 2. Liens internes

Je suis en train d'écrire un programme qui m'aidera à trouver des sites auxquels mes concurrents se connectent. Pour ce faire, j'écris un programme qui analysera un fichier HTML et produira 2 listes:

5La chaleur

2Répondre

Développer un moteur de recherche vertical et un grattoir

Je dois développer un moteur de recherche vertical dans le cadre du site Web. Les données pour le moteur de recherche proviennent de sites Web de catégorie spécifique. Je suppose que pour cela, j'ai b

3La chaleur

3Répondre

MP3 link Crawler

J'ai cherché un bon moyen d'implémenter ceci. Je travaille sur un simple crawler de site Web qui ira autour d'un ensemble spécifique de sites Web et explorera tous les liens mp3 dans la base de donnée

5La chaleur

4Répondre

Téléchargement automatique de fichiers avec WebBrowser sans URL

J'ai travaillé sur un WebCrawler écrit en C# à l'aide de System.Windows.Forms.WebBrowser. J'essaie de télécharger un fichier sur un site Web et de l'enregistrer sur une machine locale. Plus important

2La chaleur

2Répondre

php détection de chenilles

J'essaie d'écrire un sitemap.php qui agit différemment en fonction de qui cherche. Je veux rediriger les robots vers mon sitemap.xml, car ce sera la page la plus mise à jour et contiendra toutes les i

2La chaleur

2Répondre

Comment puis-je résoudre le contenu d'une page Web?

J'écris une application spéciale de type robot qui doit récupérer le contenu principal de diverses pages. Juste pour clarifier: Je dois le vrai « viande » de la page (à condition qu'il y en a un, natu

1La chaleur

2Répondre

Deux balises charset sur une page, que prendre?

Je travaille sur des pages d'exploration pour plus d'informations, et j'ai rencontré de nombreux problèmes avec l'analyse des pages dans Groovy. J'ai fait demi-solution qui fonctionne la plupart du te

14La chaleur

5Répondre

Tout le monde connaît un bon robot d'indexation open source?

Le robot d'exploration doit avoir une architecture extensible pour permettre la modification du processus interne, comme la mise en œuvre de nouvelles étapes (pré-analyseur, analyseur, etc ...) J'ai t

2La chaleur

3Répondre

Comment obtenir la liste des URL pour un domaine

Je voudrais générer une liste d'URL pour un domaine mais je préfère économiser de la bande passante en n'abordant pas le domaine moi-même. Alors, existe-t-il un moyen d'utiliser les données crawlées e