为了账号安全,请及时绑定邮箱和手机立即绑定

如何利用scrapy爬取一个网站后将网站中的链接再次爬取

如何利用scrapy爬取一个网站后将网站中的链接再次爬取

叮当猫咪 2019-05-23 18:54:09
我现在想通过一个网站,先爬取这个网站上的链接,然后爬取这些链接上的信息我现在想的是用一个爬虫把网站的链接存到一个文档上,然后用另一个爬虫对文档上的链接进行读操作,然后进行爬取,有没有什么简单办法
查看完整描述

2 回答

  • 2 回答
  • 0 关注
  • 2759 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信