使用nodejs下载多个文件不一致，但使用php则不然

Question

我在 nodejs 和 php 上编写了一个脚本，它实现了相同的功能：ping API、检索文件列表、循环遍历每个文件并将它们下载到磁盘上的指定位置。左边是nodejs，右边是php。我观察到，在 Nodejs 中每次尝试时，某些文件都会随机失败。经过某种尝试后，所有文件也会成功。在 php 上，每次尝试都是一致的，并且所有文件都可以正常下载。Nodejs 中是否缺少某些内容，即默认情况下通过下载文件的请求未包含配置/标头？或者下载多个文件需要在nodejs中以不同的方式处理吗？Nodejs代码：const http = require('https');const fs = require('fs');function getResponse(url, callback) {    http.get(url, response => {        let body = '';        response.on('data', data => {            body += data        })        response.on('end', () => {            callback(JSON.parse(body))        })    })}var download = function (url, dest, callback) {    http.get(url, response => {        response.on('error', function (err) {            console.log(err)        })            .pipe(fs.createWriteStream(dest))            .on('close', callback)    });};getResponse('https://wallhaven.cc/api/v1/search?page=1', json => {    json.data.forEach((item, index) => {        download(item.path, `files/file-${index}.jpg`, function () {            console.log('Finished Downloading' + `file-${index}.jpg`)        });    })})PHP代码    $client = new \GuzzleHttp\Client();    $response = $client->get('https://wallhaven.cc/api/v1/search?page=1');    $json = json_decode((string)$response->getBody());    $rows = $json->data;    foreach ($rows as $index => $row) {        $content = file_get_contents($row->path);        Storage::put("files/file-$index.jpg", $content);    }    return 'done';

Answer 1

没有任何神奇的标头可以让它在 Node.js 中工作。如果有时有效，而有时请求花费的时间太长，则服务器可能会由于速率限制而默默地丢弃请求。

我可以看出 PHP 是同步的，它将每个文件一个接一个地下载到内存中，然后放入一个文件中，而在 Node.js 中，您可以立即触发每个请求并立即处理所有请求，将内容流式传输到文件中。接收到乱序数据包是正常的，TCP 协议可确保它们重新组合在一起。Node.js 能够执行类似的操作，您很可能会遇到服务器的安全功能或其他限制。

如果时间不是问题，我建议修改 Node.js 来减慢请求速度，可以通过限制并发请求的数量，也可以逐个执行（最简单的选项，请参阅 、promise、axios 库）async/await。继您的 Reddit 帖子之后，学习 C++ 来完成这项任务很可能不会产生任何好处。事实上，这会困难几个数量级。Node.js 是一个非常强大的平台，其功能远不止下载文件。

在不知道问题的真正原因的情况下，除了尝试分析您的请求并了解它们哪里出了问题之外，我无法提供更多建议。