web-crawler

2La chaleur

5Répondre

Existe-t-il une bibliothèque de robots Web pour PHP ou Ruby?

Existe-t-il une bibliothèque de robots d'indexation disponible pour PHP ou Ruby? une librairie qui peut le faire d'abord en profondeur ou en largeur ... et gérer les liens même quand href = "../ relat

4La chaleur

4Répondre

Comment rendre cette fonction d'exploration récursive itérative?

Pour des raisons académiques et de performance, compte tenu de cette fonction d'exploration Web récursive (qui explore uniquement dans le domaine donné), quelle serait la meilleure approche pour la fa

2La chaleur

1Répondre

Informations sur les techniques d'exploration Web

Je suis en train de créer un petit robot d'exploration Web et je me demandais si quelqu'un avait des informations intéressantes sur l'implémentation réelle (ramper, pas de recherche, pas de classement

0La chaleur

4Répondre

Comment migrer des ressources depuis un CMS propriétaire?

J'ai besoin de migrer notre site Web à partir d'un CMS propriétaire qui utilise des pages de serveur actives. Existe-t-il un outil ou une technique permettant de télécharger les ressources du site exi

19La chaleur

8Répondre

HTTPWebResponse + StreamReader Très lent

J'essaie d'implémenter un moteur de balayage Web limité en C# (pour quelques centaines de sites seulement) en utilisant HttpWebResponse.GetResponse() et Streamreader.ReadToEnd(), également essayé en u

1La chaleur

4Répondre

Site Web Spidering Auto Detection

Est-il possible d'écrire du code pour détecter si un site Web est en train de spider le contenu?

4La chaleur

2Répondre

Meilleur moyen de trouver automatiquement des liens vers votre contenu?

Donc, voici la tâche à laquelle je me suis retrouvé. Prétendre un instant, que j'ai un large contenu. Je veux voir quels sites Web sont liés à mon contenu. Je sais que je pourrais regarder dans TrackB

0La chaleur

5Répondre

Web Crawling et évaluation de lien

Je sais que cURL téléchargera un fichier complet. Ce que je veux vraiment, c'est prendre tous les liens sur une page et évaluer par rapport à mes critères spécifiques, l'emplacement du lien, etc et dé

1La chaleur

3Répondre

WebBrowser.Refresh problème dans VB.Net

Je travaille sur un webcrawler dans VB.net, et en utilisant l'objet System.Forms.WebBrowser pour gérer la navigation sur les sites qui utilisent javascript ou des messages de formulaire, mais j'ai un

0La chaleur

2Répondre

Utilisation des boutons sur les pages Web. Est-ce que Google va indexer leurs liens?

Je veux utiliser l'apparence des boutons standard sur ma page, mais je veux que les robots d'exploration les suivent comme s'ils étaient des liens. Google et d'autres robots d'indexation indexeront-il