为了账号安全,请及时绑定邮箱和手机立即绑定

请问PHP如何执行大批量json数据

请问PHP如何执行大批量json数据

蓝山帝景 2019-05-19 20:41:07
目前再做一个东西,需要使用PHP的curl功能,从一个json数据里面读出数据,然后循环到curl里面抓取数据。这个本身没啥很简单,但是目前的问题是json数据量太大了【十几万左右】,没法一次性抓取数据,每次手动从大的json数据里面复制20-30个,然后执行curl,但是想想十几万的数据量,细思极恐。大概想法是能不能每次按顺序读取20个数据,然后执行,执行第N遍停止,或者每次执行前20个数据,执行完成之后删除数据。json数据非常简单,下面只是简单举例,实际上是英文的'11111','22222','33333','44444','55555','66666'……简单说就是上面的json加入某个网址循环curl抓取,比如:http://xxoo.com/id/11111http://xxoo.com/id/22222http://xxoo.com/id/33333...因为是虚拟主机,无法大批量的抓取,所以考虑每次抓取20-30个,积少成多,把十几万的数据抓取完
查看完整描述

2 回答

?
收到一只叮咚

TA贡献1821条经验 获得超4个赞

实际上JSON并不适合用来处理特别大量的数据,因为它要求很严格的数据结构。所以第一步你应该考虑是否可以不用JSON,就用CSV之类的文件结构。
如果非要用JSON,那么可能只有自己写解析器了,思路大体是读若干字节,然后解析出你要的内容,如此反复。你必须忽略一些结构,因为JSON要求只有一个根,所以最外层的结构多半要忽略掉。然后根据你对文件结构的预判,解析出你要的数据。
                            
查看完整回答
反对 回复 2019-05-19
?
HUWWW

TA贡献1874条经验 获得超12个赞

这个本身没啥很简单,但是目前的问题是json数据量太大了【十几万左右】,没法一次性抓取数据,每次手动从大的json数据里面复制20-30个,然后执行curl,但是想想十几万的数据量,细思极恐。
这里停一下,JSON数据量太大是每次执行的数据量太大还是单次就这么大。另外不能一次性全抓大根本是什么?手动?另外CURL可以并行执行,好吧,其实我没太懂说得是什么
                            
查看完整回答
反对 回复 2019-05-19
  • 2 回答
  • 0 关注
  • 280 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信