首页手记 Java爬虫其实也很简单，教你实用的入门级爬虫

Java爬虫其实也很简单，教你实用的入门级爬虫

标签：

Java Html/CSS JavaScript

前言

任何语言都是可以爬虫的，只要你懂的常用的http协议啥的就可以模仿浏览器的行为获取你想要的数据。这里我将教大家一个简单实用的案例：如何获取全民K歌的下载链接。
ps: 这主要是教大家一个入门级的爬虫，不是希望大家去跳过vip下载...
这里有码云的代码片段是main的解析可以参考下：码云代码片段

浏览器抓包

那种专业fildder这类软件抓包我就不提了，免得文章显得更加复杂化。
推荐用谷歌浏览器容易看。

1.打开浏览器进去一个分享链接
2.按F12进入开发者模式
3.点击NetWork
4.最好重新刷新一下页面看下所有访问路径

只要是网页浏览器就可以抓到所有的访问请求。接下来就是寻找那个音乐的链接了：

等你找到你会发现很显然，那个路径没有任何规律，也不知道下载路径如何而来。但是只要思想不滑坡，办法总比困难多。我们找一下是否可以在HTML这些直接找到现成的链接,音乐的播放标签一般都是 audio
我们去Element查找这个节点的时候可以发现确实有下载链接

这样我们大概知道链接的地址了！我们就可以放开手撸代码了！

尝试撸代码

这里我推荐用Jsoup，我用的是版本是1.11.2。

maven： http://www.mvnrepository.com/artifact/org.jsoup/jsoup/1.11.2

public class QuanMinJousp {
    public static void main(String[] args)throws Exception {    
        //这里是分享地址：
        String url  ="https://kg2.qq.com/node/play?s=571cI75H1xb495Eq&shareuid=609c9b812624338a&topsource=a0_pn201001006_z11_u21643941_l0_t1534223843__";
        Connection tempConn = Jsoup.connect(url);
        //模拟浏览器的请求头
        tempConn.header("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:29.0) Gecko/20100101 Firefox/29.0");
        //开始连接HTTP请求。
        Connection.Response demo = tempConn.ignoreContentType(true).method(Connection.Method.GET)
                .execute();
        Document documentDemo = demo.parse();
                //这里就是获取该页面的HTML元素。
        System.out.println(documentDemo.toString());
       }
}

打印出来的HTML不出所料，就找不到audio的标签，很明显是后续才加载出这个标签来播放音乐的。那这个下载地址是哪里来的呢。我们可以在打印出来的HTML可以找到其他线索：
不出所料，在所有script标签中的第三个我们发现了猫腻。

所有的数据都在这个标签里，包括评论，送花，歌曲链接等等所有都在里面。我们拿到标签里的内容就可以了。里面的参数竟然是标准的json格式更加天助我也！我们用代码去掉闲杂人等。

        Elements scriptElements = documentDemo.getElementsByTag("script");
        String initScriptStr = scriptElements.get(2).toString();
        String jsonStr = initScriptStr.substring(initScriptStr.indexOf("{"), initScriptStr.indexOf("; </script>"));
        //这就获得所有参数最终的json体了。
        System.out.println(jsonStr);

接下来就是Json解析成自己的实体类对象啥的了。这块没啥好说的，不是我们的教程范围。我一般用的simpleJson，gson，fastJson。阿里巴巴的我用的多一点。
最后我把这段代码功能接入我的微信公众号实现效果：