如何在处理HTTP请求之前将CSV文件同步加载到内存中

Question

我正在尝试编写一个简单的express / node.js应用，该应用使用在csv文件中找到的数据来响应GET请求。我想阅读此csv文件以生成javascript对象（本质上是键-值映射），然后使生成的映射可用于控制器中的HTTP请求处理逻辑。我编写了一个读取csv文件并导出所需对象的模块，但是我不确定如何确保：该操作完成，并且对象实际存在，然后处理HTTP请求服务器启动时，文件操作仅执行一次，而每个请求仅执行一次，不会产生大量开销如何在快速应用程序的上下文中组织代码以实现这些目标？这就是我处理CSV文件的方式：var myMap = {};fs.createReadStream('filename.csv')    .pipe(csv())  .on('data', (row) => {    // Build javascript object    myMap[row['key']] = row['value'];  })  .on('end', () => {    console.log('Done.');  });// Does this work?module.exports =  myMap;

Answer 1

如何确保将文件加载到内存中之后http对象进行侦听：

// server.js

var myMap = {};

function readCsv(cb){

  fs.createReadStream('filename.csv')  

  .pipe(csv())

  .on('data', (row) => {

    // Build javascript object

    myMap[row['key']] = row['value'];

  })

  .on('end', () => {

    console.log('Done.');

    cb();

  });

}

var app = express();

exports = Object.freeze({

  server: http.createServer(app)

  init(){

    readCsv(() => {

      this.server.listen(80)

    })

  }

})

这样的事情。

您还可以利用Promise

// server.js

var myMap = {};

function readCsv(){

  return new Promise((resolve, reject) => {

    fs.createReadStream('filename.csv')  

    .pipe(csv())

    .on('data', (row) => {

      // Build javascript object

      myMap[row['key']] = row['value'];

    })

    .on('end', () => {

      console.log('Done.');

      resolve();

    })

    .on('error', reject)

  })

}

var app = express();

exports = Object.freeze({

  server: http.createServer(app)

  init(){

    return readCsv().then(() => {

      this.server.listen(80)

    })

  }

})

Answer 2

我会寻找一种更同步的方式来读取文件和处理http请求。这是它的外观示例代码，

import fs from 'fs';

async function processCSV() {

    try {

        let map = await readCsv();

        //handle http request in another function with same async await way

        let http = await processHttpRequest(map);

        // process  the http response

    } catch (e) {

        console.log('e', e);

    }

}

function readCsv()

{

    let myMap = [];

    fs.createReadStream('filename.csv')

        .pipe(csv())

        .on('data', (row) => {

            // Build javascript object

           return myMap[row['key']] = row['value'];

        })

        .on('end', () => {

            console.log('Done.');

        });

}

async function processHttpRequest(map)

{

    try

    {

        let reqres = await httpReuqest(map); // Your defined function for httpReuqest

    }

    catch (e)

    {

    }

}

processCSV();

processHttpReuqet();

Answer 3

为了实现您的两个目标，您可以将代码包含在app.js文件中。App.js仅在快递服务器启动时运行。页面刷新时不会重新加载。您可以在读取流结束后运行app.listen。

var myMap = {};

fs.createReadStream('filename.csv')  

  .pipe(csv())

  .on('data', (row) => {

    // Build javascript object

    myMap[row['key']] = row['value'];

  })

  .on('end', () => {

    app.listen(port, () => console.log(`Example app listening on port ${port}!`));

  });

但是，由于我认为您不会有大量数据，因此最好对csv解析器和文件阅读器都使用同步（阻塞）方法。这只是使它更容易理解。我在下面使用csv-parse。

const express = require('express')

const fs = require('fs')

const parse = require('csv-parse/lib/sync')

const app = express()

const port = 3000

/* In this example assume myMap will be

/ `

/ "key_1","key_2"

/ "value 1","value 2"

/ `

*/

var myMap = fs.readFileSync('sample.csv', 'utf8');

/* parsing the csv will return:

/  [Object {key_1: "value 1", key_2: "value 2"}]

*/

const records = parse(myMap, {

  columns: true,

  skip_empty_lines: true

})

app.get('/', (req, res) => res.send('Hello World!' + records[0].key_1))

app.listen(port, () => console.log(`Example app listening on port ${port}!`))