为了账号安全,请及时绑定邮箱和手机立即绑定

一个关于 node 爬虫大批量请求的问题

一个关于 node 爬虫大批量请求的问题

繁星淼淼 2018-07-05 10:22:46
我的需求是:node 需要短时间内爬取一个接口数据若干次次,每一条的数据量大概有5M,得到的数据存储在mongo 中我现在做了几种尝试:当请求次数很少(20次左右),一切正常当请求次数过多后(200+),数据能够请求到,但是不能顺利保存当请求次数超过500次后,直接内存溢出了我想问问有什么方案能让异步数量小于20次?
查看完整描述

1 回答

  • 1 回答
  • 0 关注
  • 277 浏览

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信