用布菲奥提高阅读性能。新扫描器

Question

一个简单的程序，用于一个目的：逐行读取脚本文件，创建字符串，同时忽略任何空白的新行或注释（包括 shebang）。如果需要，在行尾添加“;”。（我知道，我知道，反斜杠和 & 符号等）我的问题是：如何提高这个小程序的性能？在另一个答案中，我读到过利用而不是，但这似乎不可行，因为字符串是我想要的。scanner.Bytes()scanner.Text()包含测试文件的示例代码：https://play.golang.org/p/gzSTLkP3BoB这是一个简单的程序：func main() {    file, err := os.Open("./script.sh")    if err != nil {        log.Fatalln(err)    }    defer file.Close()    var a strings.Builder    scanner := bufio.NewScanner(file)    for scanner.Scan() {        lines := scanner.Text()        switch {        case lines == "" || lines[:1] == "#":            continue        case lines[len(lines)-1:] != ";":            a.WriteString(lines + "; ")        default:            a.WriteString(lines + " ")        }    }    fmt.Println(a.String())}

Answer 1

我使用和来提高性能。当您处理小型shell脚本时，我认为一次读取所有文件不会对内存造成压力（我使用了）。我还只分配了一次，以便为减少分配提供足够的存储空间。strings.Builderioutil.ReadAllioutil.ReadAllstrings.Builder

• 快速：更快的实施

• doSlow：实现速度较慢（您最初执行的操作）

现在，让我们看一下基准测试结果：

goos: darwin

goarch: amd64

pkg: test

cpu: Intel(R) Core(TM) i5-1038NG7 CPU @ 2.00GHz

BenchmarkDoFast-8         342602          3334 ns/op        1280 B/op          3 allocs/op

BenchmarkDoSlow-8         258896          4408 ns/op        4624 B/op          8 allocs/op

PASS

ok      test    2.477s

我们可以看到，这不仅更快，而且只会减少分配。测量的指标越低越好。doFast

package main

import (

    "bufio"

    "bytes"

    "fmt"

    "io/ioutil"

    "os"

    "strings"

)

func open(filename string) (*os.File, error) {

    return os.Open(filename)

}

func main() {

    fd, err := open("test.sh")

    if err != nil {

        panic(err)

    }

    defer fd.Close()

    outputA, err := doFast(fd)

    if err != nil {

        panic(err)

    }

    fd.Seek(0, 0)

    outputB, err := doSlow(fd)

    if err != nil {

        panic(err)

    }

    fmt.Println(outputA)

    fmt.Println(outputB)

}

func doFast(fd *os.File) (string, error) {

    b, err := ioutil.ReadAll(fd)

    if err != nil {

        return "", err

    }

    var res strings.Builder

    res.Grow(len(b))

    bLines := bytes.Split(b, []byte("\n"))

    for i := range bLines {

        switch {

        case len(bLines[i]) == 0 || bLines[i][0] == '#':

        case bLines[i][len(bLines[i])-1] != ';':

            res.Write(bLines[i])

            res.WriteString("; ")

        default:

            res.Write(bLines[i])

            res.WriteByte(' ')

        }

    }

    return res.String(), nil

}

func doSlow(fd *os.File) (string, error) {

    var a strings.Builder

    scanner := bufio.NewScanner(fd)

    for scanner.Scan() {

        lines := scanner.Text()

        switch {

        case lines == "" || lines[:1] == "#":

            continue

        case lines[len(lines)-1:] != ";":

            a.WriteString(lines + "; ")

        default:

            a.WriteString(lines + " ")

        }

    }

    return a.String(), nil

}

注意：我没有使用;是必需的吗？bufio.NewScanner

Answer 2

使用扫描仪是可行的。字节（）。代码如下：

func main() {

    file, err := os.Open("./script.sh")

    if err != nil {

        log.Fatalln(err)

    }

    defer file.Close()

    var a strings.Builder

    scanner := bufio.NewScanner(file)

    for scanner.Scan() {

        lines := scanner.Bytes()

        switch {

        case len(lines) == 0 || lines[0] == '#':

            continue

        case lines[len(lines)-1] != ';':

            a.Write(lines)

            a.WriteString("; ")

        default:

            a.Write(lines)

            a.WriteByte(' ')

        }

    }

    fmt.Println(a.String())

}

此程序避免了扫描仪中的字符串分配。文本（）。如果程序速度受到 I/O 的限制，则程序在实践中可能不会更快。

在操场上奔跑。

如果您的目标是将结果写入标准，则写入 bufio。编写器而不是字符串。建筑工人。此更改将替换字符串中的一个或多个分配。在布菲奥中具有单个分配的建筑商。作家。

func main() {

    file, err := os.Open("./script.sh")

    if err != nil {

        log.Fatalln(err)

    }

    defer file.Close()

    a := bufio.NewWriter(os.Stdout)

    defer a.Flush() // flush buffered data on return from main.

    scanner := bufio.NewScanner(file)

    for scanner.Scan() {

        lines := scanner.Bytes()

        switch {

        case len(lines) == 0 || lines[0] == '#':

            continue

        case lines[len(lines)-1] != ';':

            a.Write(lines)

            a.WriteString("; ")

        default:

            a.Write(lines)

            a.WriteByte(' ')

        }

    }

}

在操场上奔跑。

额外改进：用于处理 a 之前和之后的空格lines := bytes.TrimSpace(scanner.Bytes())'#'';'

Answer 3

您也可以通过缓冲输出来提高性能。

func main() {

  output := bufio.NewWriter(os.Stdout)

  // instead of Printf, use

  fmt.Fprintf(output, "%s\n", a)

}