为了账号安全,请及时绑定邮箱和手机立即绑定

与 ajax 一起使用的网络爬虫/爬虫

与 ajax 一起使用的网络爬虫/爬虫

Go
largeQ 2021-11-22 14:47:08
我需要抓取一个站点并从中获取所有链接,问题是 - 该站点使用 ajax,而 Go 的标准 http.Get(..) 将返回如下内容: <body>    //javascript here            <div class="content"></div>    //javascript here </body>Div 为空。golang有什么解决方案吗?
查看完整描述

2 回答

?
跃然一笑

TA贡献1826条经验 获得超6个赞

您必须使用无头 Web 浏览器之一。在没有检查的情况下,我说其余三个浏览器引擎(Webkit/Firefox,IE)没有 Go 绑定。

切换到 python 和 javascript。


查看完整回答
反对 回复 2021-11-22
?
蛊毒传说

TA贡献1895条经验 获得超3个赞

http.Get(Url) 只是获取 Url 的响应。resp.Content 是这样的:


<body>

//javascript here       

 <div class="content"></div>

//javascript here

</body>

如果你想获取div中的内容,你需要分析javascript并知道ajax如何获取数据。然后你可以模拟过程得到你想要的。


查看完整回答
反对 回复 2021-11-22
  • 2 回答
  • 0 关注
  • 153 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信