为了账号安全,请及时绑定邮箱和手机立即绑定

一个关于 node 爬虫大批量请求的问题?

一个关于 node 爬虫大批量请求的问题?

扬帆大鱼 2018-07-15 10:02:50
我的需求是:node 需要短时间内爬取一个接口数据若干次次,每一条的数据量大概有5M,得到的数据存储在mongo 中我现在做了几种尝试:当请求次数很少(20次左右),一切正常当请求次数过多后(200+),数据能够请求到,但是不能顺利保存当请求次数超过500次后,直接内存溢出了我想问问有什么方案能让异步数量小于20次?
查看完整描述

1 回答

?
jeck猫

TA贡献1909条经验 获得超7个赞

并发控制啊,node爬虫不做并发控制肯定内存溢出啊。

用 async npm包 , async.maplimt 控制并发

或者自己造一个简单的轮子15 行代码实现并发控制(javascript)


查看完整回答
反对 回复 2018-07-20
  • 1 回答
  • 0 关注
  • 394 浏览

添加回答

举报

0/150
提交
取消
微信客服

购课补贴
联系客服咨询优惠详情

帮助反馈 APP下载

慕课网APP
您的移动学习伙伴

公众号

扫描二维码
关注慕课网微信公众号