用java编写爬虫是不是很简单
1 回答
潇湘沐
TA贡献1816条经验 获得超6个赞
用java编写爬虫, 有丰富的第三方包, 使用起来比较容易
JSOUP : 强大的HMTL解析能力, 但抓取能力较弱.
HttpClient: 强大专业的爬取能力.功能强大, 代码量较多. 解析起来稍微麻烦点
HtmlUnit: 可以模拟浏览器.没有界面,可以模拟填表,模拟点击等,甚至还支持JavaScript.但是内存占用较多,速度较慢.
一般根据需要,进行搭配使用
经常使用的搭配.
| 1 | HttpClient 爬取---->Jsoup解析-->MySQL存储 |
添加回答
举报
0/150
提交
取消