关于批量爬去如何动态获取url问题
老师,请教一下
比如, 我现在需要爬取百度百科100个明星的百度百科信息,经过观察, url格式是不完全固定的:
王祖贤:https://baike.baidu.com/item/王祖贤/316479?fr=aladdin
杨幂:https://baike.baidu.com/item/杨幂/149851?fr=aladdin
上面2个人的?前的号码是不一样的, 那么批量爬取时, 如何获取每个明星对应的URL呢?
老师,请教一下
比如, 我现在需要爬取百度百科100个明星的百度百科信息,经过观察, url格式是不完全固定的:
王祖贤:https://baike.baidu.com/item/王祖贤/316479?fr=aladdin
杨幂:https://baike.baidu.com/item/杨幂/149851?fr=aladdin
上面2个人的?前的号码是不一样的, 那么批量爬取时, 如何获取每个明星对应的URL呢?
2019-05-24
举报