web-crawler

1La chaleur

1Répondre

Quelles métadonnées devrais-je sauvegarder lors du téléchargement de pages Web?

Je vais télécharger (à des fins futures de traitement de la langue) quelques milliers de pages Web. Maintenant, je pense, quelles métadonnées je devrais sauver. J'explore cela, mais je ne néglige pas

1La chaleur

3Répondre

Inquiet que les araignées frappent à plusieurs reprises la page à forte demande

En raison de certaines considérations architecturales plutôt bizarres, j'ai dû mettre en place quelque chose qui devrait vraiment fonctionner comme une application de console en tant que page Web. Il

4La chaleur

1Répondre

scrapy - question python

Peut-être pas le bon endroit pour publier. Mais, je vais essayer quand même! J'ai un couple de scripts d'analyse python de test que j'ai créés. Ils travaillent assez pour que je puisse tester ce sur q

18La chaleur

5Répondre

Wikipedia texte de téléchargement

Je cherche à télécharger le texte complet de Wikipedia pour mon projet d'université. Dois-je écrire ma propre araignée pour la télécharger ou y a-t-il un jeu de données public de Wikipedia disponible

1La chaleur

1Répondre

rediriger tous les robots en utilisant htaccess apache

Que dois-je rewriterule .htaccess utiliser pour détecter les robots connus, par exemple les grands: altavista, google, bing, yahoo Je sais que je peux vérifier leurs ips ou hôtes, mais y a-t-il un mei

3La chaleur

1Répondre

Comment activer l'indexation de pages avec des données dynamiques?

J'ai un site qui a certaines URL qui pointent vers des pages avec des données permanentes et d'autres qui pointent vers des pages Web dynamiques. Google indexe ces deux régulièrement. Au moment où un

-1La chaleur

2Répondre

Liens dynamiques WebCrawling

Quelqu'un a-t-il une idée sur les sites Web d'exploration qui ont des pages/requêtes dynamiques? Je veux dire que si je clique sur un certain lien, il a des valeurs différentes chaque fois que j'essai

2La chaleur

2Répondre

Premiers pas avec Python: Erreur d'attribut

Je suis novice en python et je viens de le télécharger aujourd'hui. Je l'utilise pour travailler sur un web araignée, donc pour tester et vérifier que tout fonctionne, j'ai téléchargé un exemple de co

1La chaleur

1Répondre

Robots.txt avec un site mais deux domaines

J'ai un site Web qui a deux domaines ajoutés. Les deux domaines pointent vers la racine du site Web. Est-il possible de modifier le fichier robots.txt pour que l'un des domaines ne soit pas analysé, a

0La chaleur

2Répondre

SEO Problème pour le nouveau site de dictionnaire, google n'a pas indexé le contenu

J'ai chargé environ 15 000 pages, les lettres A & B d'un dictionnaire et soumis à google un plan du site de texte. J'utilise la recherche de google avec publicité comme mécanisme prévu pour passer par