web-crawler

5La chaleur

2Répondre

Utilisez jQuery sur une variable à la place sur le DOM?

jQuery vous pouvez faire: $("a[href$='.img']").each(function(index) { alert($(this).attr('href')); } Je veux écrire une fonction jQuery qui rampe niveaux de X à partir d'un site Web et rassemb

0La chaleur

1Répondre

Est-ce que Flickr "sait" si une image référencée par un lien ne renvoie pas à la source?

De directives communautaires de Flickr: "Do lien vers Flickr lorsque vous postez vos photos ailleurs Le service Flickr permet d'afficher des images hébergées sur Flickr vers des sites Web extérieurs C

2La chaleur

3Répondre

Création d'une araignée en utilisant Scrapy, Spider génération erreur

Je viens de télécharger Scrapy (web crawler) sur Windows 32 et viens de créer un nouveau dossier de projet en utilisant la commande "scrapy-ctl.py startproject dmoz" dans DOS. J'ai ensuite créé la pre

1La chaleur

1Répondre

Asp.net Crawler Webresponse Opération expirée

Bonjour, J'ai créé un moteur de balayage Web basé sur un pool de threads simple dans mon application Web. Son travail consiste à explorer son propre espace d'application et à créer un index Lucene de

2La chaleur

1Répondre

où les fichiers explorés sont stockés dans web crawler Heritrix

je veux savoir où les fichiers explorés sont stockés dans web crawler Heritrix ... merci et avance

3La chaleur

2Répondre

Le moyen le plus efficace pour tester les liens

Je développe actuellement une application qui passe en revue tous les fichiers sur un serveur et vérifie chaque hrefs pour vérifier s'ils sont valides ou non. L'utilisation d'un WebClient ou d'un Http

0La chaleur

4Répondre

Problème d'extraction de texte à partir de flux RSS

Je suis nouveau dans le monde de Ruby and Rails. J'ai vu des rails coulés 190 et j'ai juste commencé à jouer avec. J'ai utilisé gadget de sélection pour trouver le CSS et XPath J'ai le code suivant ..

2La chaleur

4Répondre

Comment identifier la langue du contenu du site Web comme l'anglais, le japonais, le chinois, etc

(Je développe un site Web pour explorer le contenu d'autres sites Web dans ASP.NET.Je suis en mesure d'obtenir le contenu correctement, mais comment puis-je identifier .. utilisée en fonction de ce co

0La chaleur

1Répondre

Script pour obtenir les fichiers HTML d'une liste d'URL, les enregistrer et les convertir en image

Je cherche une application ou un script, soit pour Linux ou Mac OS X, pour récupérer les fichiers HTML d'un ensemble d'URL (uniquement le fichier HTML racine), enregistrez-les dans un fichier et conve

0La chaleur

2Répondre

Comment puis-je explorer toutes les pages de mon site Web interne?

Je veux frapper chaque page sur mon site Web interne pour voir si une erreur jeter juste de les regarder. Le site Web fait sa propre journalisation des erreurs, donc j'ai juste besoin de quelque chose