`
wenjinglian
  • 浏览: 807777 次
  • 性别: Icon_minigender_1
  • 来自: 株洲->深圳
社区版块
存档分类
最新评论

网页异步ajax数据抓取几种解决方案

阅读更多

1.分析出ajax请求地址,直接请求地址

2.使用浏览器内核,比如WebKit,写浏览器插件

3.使用前端的自动化测试工具,比如WebUnit,Selenium

4.使用Phantomjs和Casperjs解析 注:PhantomJS是一个拥有JavaScript API的无界面WebKit。  

 

推荐第4种方式

抓取解析流程:

使用Casperjs加载页面,然后保存文件,再使用你熟练语言解析,你也可以少去保存,直接解析.

 

基于Phantomjs和Casperjs的AJAX爬虫

网页上通过ajax异步加载的数据有什么办法抓取到吗?

使用PhantomJS测试JavaScript

分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics