为了账号安全,请及时绑定邮箱和手机立即绑定

关于java的爬虫问题?

关于java的爬虫问题?

迦尔纳 2017-01-05 20:03:38
作业要我们用Java写一个爬虫,我看网上和助教给出的资料,似乎是用httpclient和jsoup两个类,但是在jsoup那里的选择器,我看不懂,网上找了相应的资料,要么是直接照搬文档里面的,要么是一笔带过,完全懵逼在当场……具体问题就比如是……可以get到一大串的json数据,不知道怎么把里面的"aid":***之类的数据提取出来,这应该用怎么样的提取条件?还是说是别的什么东西?如果还有问题,就是用java写一个爬虫的思路是什么,我上面的想法对吗?不对的话应该怎么做?
查看完整描述

7 回答

?
qq_虾米_7

TA贡献1条经验 获得超2个赞

jsoup用的选择器和css的一样 ,可以直接解析那个页面  然后用那些选择器获取你需要你的内容就可以了

查看完整回答
2 反对 回复 2018-01-25
?
慕桂英2430531

TA贡献1条经验 获得超2个赞

我也很懵逼  能教我么

查看完整回答
2 反对 回复 2017-04-07
?
qq_冷_37

TA贡献1条经验 获得超1个赞

就是jsoup 里面有几个有几个方法 你到网页上  用抓包工具 找到你想抓的东西  你 想抓取什么 就拿到 标题  转下 格式 换成文档格式  在存到数据库  就可以了 也可以打出来再  控制台上 你就能看见你抓的是不是 文档格式  是就存到数据库 不是在转换下格式就好了


查看完整回答
1 反对 回复 2018-01-22
?
迦尔纳

TA贡献3条经验 获得超0个赞


目前可以知道的是,我所得到的那串数据就是json数据,所以需要解析他……我一脸茫然……数据没有数组[],但是实际上却又大同小异,懵逼ing

查看完整回答
反对 回复 2017-01-05
  • qq_虾米_7
    qq_虾米_7
    就是json格式 你可用jsonpath解析 网上有教程 很方便的
  • 7 回答
  • 2 关注
  • 2482 浏览

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信