web-crawler

11La chaleur

2Répondre

Bonne bibliothèque de grattage Web gratuite et payante en C# .NET qui gère les javascripts

Je recherche une librairie de grattage web payante/gratuite avec un support .NET qui supporte bien le traitement JavaScript et qui offre de très bonnes performances. Il devrait avoir son propre moteur

0La chaleur

2Répondre

Exploration et travail sur HTML pour le site d'agrégation

Je travaille sur un script d'analyse en PHP. J'utilise PHP Simple HTML DOM Parser. Après avoir obtenu le code HTML, j'ai besoin d'extraire seulement une partie de l'information de chaque page et de le

1La chaleur

1Répondre

Site Web rampant avec pages dynamiques

J'ai besoin d'explorer des sites Web et d'extraire des informations de pages créées dynamiquement après la soumission d'un formulaire. Les informations dont j'ai besoin pour explorer proviendraient pr

2La chaleur

1Répondre

La requête DNS sur le système d'exploitation client est-elle sérilisée?

Même si vous lancez plusieurs requêtes de résolution DNS asynchrone parallèle (par programme) sous Linux ou Windows, le système d'exploitation sérialise-t-il les demandes et ne les envoie pas toutes e

0La chaleur

1Répondre

J'ai des problèmes lors du téléchargement de favicon en utilisant le script python

J'utilise un script pour explorer et télécharger des favicons à partir de sites Web. Certains sites m'ont donné 2 ou 3 images de favicon de différentes tailles (16x16, 32x32), etc. dans la même image.

21La chaleur

5Répondre

comment extraire des liens et des titres d'une page .html?

pour mon site, je voudrais ajouter une nouvelle fonctionnalité. Je voudrais utilisateur de pouvoir télécharger son fichier de sauvegarde des signets (depuis tout navigateur si possible) pour que je pu

1La chaleur

1Répondre

Comment obtenir un titre de page web avec CURL en PHP à partir de sites web de CHARSET différents?

Je veux enregistrer le titre en UTF-8, mais les pages vient avec beaucoup de différents charset, tels que GBK, ISO, unicode ...... Pourriez-vous me donner un peu d'aide? Merci.

1La chaleur

3Répondre

Crawler C++ Open Source?

Quels crawlers web C++ open source pour l'analyse syntaxique html connaissez-vous et utilisez-vous? Merci!

3La chaleur

3Répondre

Comment téléchargez-vous un site web?

Les robots des moteurs de recherche explorent le Web et téléchargent chaque page qu'ils consultent, non? Comment téléchargent-ils exactement une page? De quelle façon conservent-ils les pages? Je dema

1La chaleur

2Répondre

est là plus de bibliothèque que HtmlUnit qui supporte javascript

bonjour j'utilise htmlunit pour la première fois et j'ai l'erreur suivante. TypeError: Cannot find function enableSuggest in object [object Object]. (script in http://mysite.aspx from (854, 32) to (85