Go 中 CSV 和地图的性能不佳

Question

我需要编写一个 Go 脚本来打开一个大的 CSV 文件，并根据每行第一个元素的值创建新的、单独的 CSV。CSV 文件如下所示："country", "otherfield", "otherfield1", "otherfield2", "etc""AT", "otherfield", "otherfield1", "otherfield2", "etc""AT", "otherfield", "otherfield1", "otherfield2", "etc""DE", "otherfield", "otherfield1", "otherfield2", "etc""DE", "otherfield", "otherfield1", "otherfield2", "etc"所以，我想要做的是创建一个文件AT.csv，其中包含第一个字段的值（例如），其中包含以该值开头的所有行。我目前遇到的问题是表演很慢。我什至有一个用 PHP 编写的类似脚本，它以比这更快的方式执行相同的操作。这显然让我觉得我的 Go 脚本肯定有问题。有人可以帮助我了解它有什么问题吗？

Answer 1

我支持@plusmid 的回答——你的程序大部分时间都花在打开/（覆盖）写入/关闭文件上。

所以，首先修复这个bug，每个key只写一次内容：

package main

import (

    "encoding/csv"

    "fmt"

    "os"

)

func main() {

    // contentCreated := make(chan map[string]string)

    createContent("union_exp.csv")

}

func createContent(csvfilename string) {

    keys := ""

    content := make(map[string]string)

    csvfile, err := os.Open(csvfilename)

    if err != nil {

        fmt.Println(err)

    }

    defer csvfile.Close()

    reader := csv.NewReader(csvfile)

    reader.FieldsPerRecord = -1

    rawCSVdata, err := reader.ReadAll()

    if err != nil {

        fmt.Println(err)

        os.Exit(1)

    }

    for i, each := range rawCSVdata {

        if i == 0 {

            keys = "\"" + each[0] + "\",\"" + each[1] + "\",\"" + each[2] + "\",\"" + each[3] + "\",\"" + each[4] + "\"\n"

        } else {

            stringtoadd := "\"" + each[0] + "\",\"" + each[1] + "\",\"" + each[2] + "\",\"" + each[3] + "\",\"" + each[4] + "\"\n"

            if i%10000 == 0 {

                fmt.Println(i)

            }

            exists := Exists(content, each[0])

            if !exists {

                content[each[0]] = keys

            }

            content[each[0]] += stringtoadd

        }

    }

    for key, content := range content {

        createFile(key, content)

    }

}

func createFile(name, content string) {

    f, _ := os.Create(name + ".csv")

    f.WriteString(content)

    f.Close()

}

func Exists(content map[string]string, name string) bool {

    _, exists := content[name]

    return exists

}

在 25k CSV 上，它给了我 50 -> 5 秒的速度提升。

接下来考虑使用goroutines并行解析文件。现在您只使用单核。此外，还有一些问题，例如使用 + 运算符连接字符串，这通常比 fmt.Sprintf() 慢。您有很多空间可以在这里优化代码。