je veux scrap groupon.com maintenant mon problème est de tels sites lorsque vous chargez pour la première fois vous demande de rejoindre leur service de messagerie, mais lorsque vous rechargez la page, ils vous montrent directement le contenu de la page. Comment fait-on ça? J'utilise php pour mon script.web scraping groupon
aussi si quelqu'un pourrait suggérer un cadre ou une bibliothèque en php qui rend le grattage facile ce serait génial.
grâce
j'enquêter sur la cURL library pour saisir le contenu du site. Je ne suis pas sûr sur l'information exacte que vous voulez gratter, ou si l'actualisation causera un problème, mais j'espère que ceci lance votre tentative.
Nous utilisons iMacros. PRO: Fonctionne dans le navigateur, fonctionne avec n'importe quel site Web. CON: Pas aussi vite que CURL. - Bien sûr, rien ne vous empêche d'utiliser les deux.
Faut-il rester avec PHP pour le grattage? TestPlan rend ce type de test facile. Vous pouvez à nouveau accéder à la page ou simplement utiliser TestPlan pour vous inscrire à leur liste de diffusion afin d'obtenir un accès étendu à leur site.
Voici un exemple grossier qui vous amène à la page principale et ferme la petite pop-up:
GotoURL http://www.groupon.com/
Click id:step_one
SubmitForm with
%Params:subscription[email_address]% [email protected]
end
Click id:close
Ils ont une API http://www.groupon.com/pages/api si cela aide.