web-crawler

0La chaleur

3Répondre

besoin d'accéder à la base de données d'un moteur de recherche

évidemment, je pense que c'est exagéré pour moi de lancer une araignée qui va explorer Internet de manière autonome comme google ou yahoos. Donc, je me demande si je peux accéder à la base de données

0La chaleur

3Répondre

Récupération de pages HTML à partir d'un site Web de connexion tiers avec ASP.NET

Notre situation: Notre équipe a besoin de récupérer des informations de journal à partir d'un site Web tiers (Plus précisément, ce journal informations est les journaux d'appels - notre client loue un

0La chaleur

3Répondre

Ramper et analyser les éléments Javascript

J'essaie d'obtenir des informations d'un site Web qui utilise Javascript pour montrer le numéro de téléphone des articles/sociétés. L'exploration avec PHP curl ou xpath ne m'a pas permis de trouver un

6La chaleur

2Répondre

Comment exclure une partie d'une page Web de l'indexation de google?

Il existe un moyen d'exclure les pages complètes de l'indexation de google. Mais existe-t-il un moyen d'exclure spécifiquement certaines parties d'une page Web de l'exploration de google? Par exemple,

26La chaleur

5Répondre

Comment parcourir Facebook en fonction des informations sur l'amitié?

Je suis un étudiant diplômé dont la recherche est un réseau complexe. Je travaille sur un projet qui implique l'analyse des connexions entre les utilisateurs de Facebook. Est-il possible d'écrire un r

3La chaleur

5Répondre

Best Spider Open Source pour la couverture du site

Je suis intéressé par l'exploration d'un grand nombre de sites Web. La considération la plus importante est que l'araignée est capable d'atteindre autant que possible le site. Une fonctionnalité clé q

2La chaleur

1Répondre

Récupération de l'historique de l'analyse SharePoint

J'ai une application qui utilise la classe Microsoft.Office.Server.Search.Administration.CrawlHistory pour lire les informations de l'historique des analyses une fois par jour et les enregistrer dans

4La chaleur

3Répondre

Bot trop agressif?

Je fais un petit robot pour explorer quelques sites Web. Maintenant, je suis juste le tester en ce moment et j'ai essayé 2 types de paramètres: environ 10 demandes toutes les 3 secondes - l'IP a été b

7La chaleur

4Répondre

Existe-t-il un robot Web ouvert et simplement extensible?

Je recherche une solution de robot d'indexation qui est assez mature et peut être simplement étendue. Je suis intéressé par les caractéristiques suivantes ... ou possibilité d'étendre le robot d'explo

3La chaleur

2Répondre

Comment puis-je faire en sorte que MediaWiki ignore les pages vues d'un système Google Search Appliance?

Le compteur de pages vues sur chaque page MediaWiki semble être un excellent moyen d'identifier les pages populaires qui méritent d'être mises à jour et utiles, mais j'ai rencontré un problème. Nous u