请问PHP如何执行大批量json数据

Question

目前再做一个东西，需要使用PHP的curl功能，从一个json数据里面读出数据，然后循环到curl里面抓取数据。 这个本身没啥很简单，但是目前的问题是json数据量太大了【十几万左右】，没法一次性抓取数据，每次手动从大的json数据里面复制20-30个，然后执行curl，但是想想十几万的数据量，细思极恐。 大概想法是能不能每次按顺序读取20个数据，然后执行，执行第N遍停止，或者每次执行前20个数据，执行完成之后删除数据。 json数据非常简单，下面只是简单举例，实际上是英文的 '11111','22222','33333','44444','55555','66666'…… 简单说就是上面的json加入某个网址循环curl抓取，比如：http://xxoo.com/id/11111http://xxoo.com/id/22222http://xxoo.com/id/33333...因为是虚拟主机，无法大批量的抓取，所以考虑每次抓取20-30个，积少成多，把十几万的数据抓取完

Answer 1

实际上 JSON 并不适合用来处理特别大量的数据，因为它要求很严格的数据结构。所以第一步你应该考虑是否可以不用 JSON，就用 CSV 之类的文件结构。

如果非要用 JSON，那么可能只有自己写解析器了，思路大体是读若干字节，然后解析出你要的内容，如此反复。你必须忽略一些结构，因为 JSON 要求只有一个根，所以最外层的结构多半要忽略掉。然后根据你对文件结构的预判，解析出你要的数据。

Answer 2

这个本身没啥很简单，但是目前的问题是json数据量太大了【十几万左右】，没法一次性抓取数据，每次手动从大的json数据里面复制20-30个，然后执行curl，但是想想十几万的数据量，细思极恐。

这里停一下，JSON数据量太大是每次执行的数据量太大还是单次就这么大。另外不能一次性全抓大根本是什么？手动？另外CURL可以并行执行，好吧，其实我没太懂说得是什么