1. 虾米关服
用了5年多的音乐软件就这么说关就关了,确实让人心里不好受 ,虽然再去一个新的app里,让它们的算法熟悉你的喜好也不是很困难,可我还是习惯虾米的界面。虾米现在可以支持全方位的导出自己的歌单、收藏等,可毕竟是使用了那么久的听歌app,这么久时间的播放记录,是没办法导到其他app的,而且虾米是一个偏小众的听歌软件,它特有的听歌氛围和环境,是其他听歌软件没法儿比的,更何况虾米音乐的推荐算法也是深得人心。太难受了…赶紧保存最近的听歌记录,封存起来。
虾米只开放了最近1000条记录,应该是数据库只存了这么多吧…毕竟是被阿里巴巴抛弃放养的孩子…
2. 准备工作
首先需再在个人设置中勾上该选项:
勾上后听歌的记录才会公开,才可以被程序爬取到。
3. python代码
话不多说,直接上代码:
python3.6.2
urllib1.26.2
lxml==4.6.2
pandas版本随意
# -*- coding: utf-8 -*-
"""
Created on 2021/1/5 13:46
@author: Irvinfaith
@email: Irvinfaith@hotmail.com
"""
from urllib.request import urlopen
from lxml import etree
import pandas as pd
# 定义xpath
song_name_xpath = '//div[@class="song-name em"]/a/text()'
singer_xpath = '//div[@class="singers COMPACT"]/a[1]/text()'
album_xpath = '//div[@class="album"]/a[1]/text()'
duration_xpath = '//span[@class="duration"]/text()'
# 定义爬取总页数
total_page = 34
def crawl_recent(user_id):
song_name_list = []
singer_list = []
album_list = []
duration_list = []
for _ in range(total_page):
print(_)
url = f"https://www.xiami.com/list?page={_}&query=%7B%22userId%22%3A%22{user_id}%22%7D&scene=record&type=song"
page = urlopen(url).read().decode("utf-8", 'ignore')
parse = etree.HTML(page)
for _song_name, _singer, _album, _duration in zip(parse.xpath(song_name_xpath),
parse.xpath(singer_xpath),
parse.xpath(album_xpath),
parse.xpath(duration_xpath)):
song_name_list.append(str(_song_name))
singer_list.append(str(_singer))
album_list.append(str(_album))
duration_list.append(str(_duration))
recent_music = pd.DataFrame({"song name": song_name_list, "singer": singer_list, "album": album_list, "duration": duration_list})
return recent_music
if __name__ == '__main__':
# 输入虾米用户id
recent_music = crawl_recent("12345678")
# recent_music.to_csv("D:/xiami_recent_1000.csv", index=0, encoding='utf-8')
recent_music.to_excel("D:/xiami_recent_1000.xlsx")
输入虾米用户id,执行就会输出最近的歌曲了
输出的结果:
#总结
以上就是用python爬取虾米播放记录的代码过程
我是白白,一个喜欢学习喜欢编程的年轻人
点击查看更多内容
1人点赞
评论
共同学习,写下你的评论
评论加载中...
作者其他优质文章
正在加载中
感谢您的支持,我会继续努力的~
扫码打赏,你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫,即可进行扫码打赏哦