课程
/后端开发
/PHP
/PHP中的数据传输神器cURL
老师,我遇到一个问题,我抓取的网页里引用了其它框架,例如frame src="/menu/top.jsp" 此时,抓取回来的网页是没有这些的,也就是网页并不能正常的显示,请问该如何解决?
谢谢。
2014-08-17
源自:PHP中的数据传输神器cURL 2-4
正在回答
只能够单独抓取,这个是硬伤。比如页面当中的数据如果是通过Ajax来动态获取的话,curl也是无法拿到这些动态数据的。这两点应该说是curl的使用限制。
对于你这个情况,如果能够知道这个frame的url,那么直接抓取它也许就能够帮助你解决这个问题了。如果完整数据是合并起来的,也就是一部分数据在当前页面,一部分在frame里面。那么就只能先抓取当前页面,然后解析当前页面的html,找到这个frame的src,然后再次抓取这个frame的page,最后把两个页面的数据合并起来。
举报
cURL就是这样的利器,可以帮助大家操作各种网络资源
1 回答为什么我查找不到curl;求解答
1 回答有人碰到过设置了长度就登录不了的问题吗?
1 回答为什么我在ubuntu报错,Call to undefined function curl_init()
1 回答无法加载页面
1 回答2-3 用cURL调用WebService获取天气信息 乱码