为了账号安全,请及时绑定邮箱和手机立即绑定

关于浏览器端的JavaScript爬虫内存溢出的问题

关于浏览器端的JavaScript爬虫内存溢出的问题

繁花如伊 2019-05-23 11:11:20
我的需求是实时获取文字直播网站的数据(秒级同步,不使用频繁请求的方式)我的做法是打开目标网站,在控制台执行js代码。具体步骤:先获取第一条数据,数据id存到js变量,定时0.1秒获取列表第一条数据,判断这条数据跟之前的js变量是否一致,一致则跳过,不一致则将当前数据存进数组,并把这条数据id赋值到js变量(充当下一次的第一个id),递归往下获取下一个兄弟dom,一直到找到最初的id号为止。然后把数据通过ajax发到我的后台。我的问题是运行几分钟到十几分钟火狐浏览器会出现“某个网页让您的浏览器变慢了。您想如何处理呢”,谷歌浏览器则直接卡死不动。我有三个目标网站,其中一个能正常运行几天,另外两个则出现以上问题。火狐截图代码地址:github希望好心的朋友能帮我运行分析一下代码。
查看完整描述

2 回答

?
莫回无

TA贡献1865条经验 获得超7个赞

如果要发送到后台的话建议使用后台去抓取或者像一楼说的直接抓取源站点请求的地址js频繁请求可能是你后台处理速度慢或者次数过多会导致卡死
                            
查看完整回答
反对 回复 2019-05-23
  • 2 回答
  • 0 关注
  • 408 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信