为了账号安全,请及时绑定邮箱和手机立即绑定

java模拟浏览器发送请求爬取网页的标签

java模拟浏览器发送请求爬取网页的标签

慕码人8056858 2018-07-13 11:27:08
各位大神们:谁写过用java模拟浏览器,抓取网页标签,获取标签里的数据生成图片的?
查看完整描述

2 回答

?
慕姐4208626

TA贡献1852条经验 获得超7个赞

要看下你的网页,是不是ajax方式动态加载的,httpconnection jsoup之类的,都是静态的,不会执行js去异步获取动态的内容。
你可以先抓包,然后直接发包请求这些内容。

查看完整回答
反对 回复 2018-07-14
?
慕桂英546537

TA贡献1848条经验 获得超10个赞

选择器没写对吧 另外如果目标div或其中的内容是ajax生成的,jsoup是获取不到的,这时可以用htmlunit之类带JavaScript引擎的

查看完整回答
反对 回复 2018-07-14
  • 2 回答
  • 0 关注
  • 760 浏览

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信