Go中高效读写CSV

Question

下面的 Go 代码读取 10,000 条记录的 CSV（时间戳times和浮点数values），对数据运行一些操作，然后将原始值连同score. 然而，它非常慢（即几个小时，但大部分时间是calculateStuff()），我很好奇我可以处理的 CSV 读/写是否有任何低效。package mainimport (  "encoding/csv"  "log"  "os"  "strconv")func ReadCSV(filepath string) ([][]string, error) {  csvfile, err := os.Open(filepath)  if err != nil {    return nil, err  }  defer csvfile.Close()  reader := csv.NewReader(csvfile)  fields, err := reader.ReadAll()  return fields, nil}func main() {  // load data csv  records, err := ReadCSV("./path/to/datafile.csv")  if err != nil {    log.Fatal(err)  }  // write results to a new csv  outfile, err := os.Create("./where/to/write/resultsfile.csv"))  if err != nil {    log.Fatal("Unable to open output")  }  defer outfile.Close()  writer := csv.NewWriter(outfile)  for i, record := range records {    time := record[0]    value := record[1]    // skip header row    if i == 0 {      writer.Write([]string{time, value, "score"})      continue    }    // get float values    floatValue, err := strconv.ParseFloat(value, 64)    if err != nil {      log.Fatal("Record: %v, Error: %v", floatValue, err)    }    // calculate scores; THIS EXTERNAL METHOD CANNOT BE CHANGED    score := calculateStuff(floatValue)    valueString := strconv.FormatFloat(floatValue, 'f', 8, 64)    scoreString := strconv.FormatFloat(prob, 'f', 8, 64)    //fmt.Printf("Result: %v\n", []string{time, valueString, scoreString})    writer.Write([]string{time, valueString, scoreString})  }  writer.Flush()}我正在寻求帮助以尽可能快地制作此 CSV 读/写模板代码。对于这个问题的范围，我们不必担心calculateStuff方法。

Answer 1

您首先将文件加载到内存中，然后对其进行处理，这对于大文件来说可能会很慢。

您需要一次循环调用.Read和处理一行。

func processCSV(rc io.Reader) (ch chan []string) {

    ch = make(chan []string, 10)

    go func() {

        r := csv.NewReader(rc)

        if _, err := r.Read(); err != nil { //read header

            log.Fatal(err)

        }

        defer close(ch)

        for {

            rec, err := r.Read()

            if err != nil {

                if err == io.EOF {

                    break

                }

                log.Fatal(err)

            }

            ch <- rec

        }

    }()

    return

}

Answer 2

package main

import (

  "encoding/csv"

  "log"

  "os"

  "strconv"

)

func main() {

  // setup reader

  csvIn, err := os.Open("./path/to/datafile.csv")

  if err != nil {

    log.Fatal(err)

  }

  r := csv.NewReader(csvIn)

  // setup writer

  csvOut, err := os.Create("./where/to/write/resultsfile.csv"))

  if err != nil {

    log.Fatal("Unable to open output")

  }

  w := csv.NewWriter(csvOut)

  defer csvOut.Close()

  // handle header

  rec, err := r.Read()

  if err != nil {

    log.Fatal(err)

  }

  rec = append(rec, "score")

  if err = w.Write(rec); err != nil {

    log.Fatal(err)

  }

  for {

    rec, err = r.Read()

    if err != nil {

      if err == io.EOF {

        break

      }

      log.Fatal(err)

    }

    // get float value

    value := rec[1]

    floatValue, err := strconv.ParseFloat(value, 64)

    if err != nil {

      log.Fatal("Record, error: %v, %v", value, err)

    }

    // calculate scores; THIS EXTERNAL METHOD CANNOT BE CHANGED

    score := calculateStuff(floatValue)

    scoreString := strconv.FormatFloat(score, 'f', 8, 64)

    rec = append(rec, scoreString)

    if err = w.Write(rec); err != nil {

      log.Fatal(err)

    }

  w.Flush()

  }

}

注意当然逻辑都被塞进了main()，最好是把它分成几个函数，但这超出了这个问题的范围。