流命令输出进度

Question

我正在编写一个服务，该服务必须将已执行命令的输出流式传输到父级和日志。当有一个很长的过程时，问题是cmd.StdoutPipe给了我一个最终的（字符串）结果。是否有可能给出正在发生的事情的部分输出，就像在 shell 中一样func main() {    cmd := exec.Command("sh", "-c", "some long runnig task")    stdout, _ := cmd.StdoutPipe()    cmd.Start()    scanner := bufio.NewScanner(stdout)    for scanner.Scan() {        m := scanner.Text()        fmt.Println(m)        log.Printf(m)    }    cmd.Wait()}PS只是输出将是：cmd.Stdout = os.Stdout但就我而言，这还不够。

Answer 1

您发布的代码有效（执行了合理的命令）。

这是一个用 Go 编写的简单“一些长时间运行的任务”，供您调用和测试您的代码：

func main() {

    fmt.Println("Child started.")

    time.Sleep(time.Second*2)

    fmt.Println("Tick...")

    time.Sleep(time.Second*2)

    fmt.Println("Child ended.")

}

编译它并将其作为您的命令调用。您将看到不同的行立即出现，正如子进程“流”所写的那样。

它可能不适合您的原因

在Scanner通过返回bufio.NewScanner()读取整行且仅当遇到一个换行符返回的东西（如由定义的bufio.ScanLines()函数）。

如果您执行的命令不打印换行符，则不会立即返回其输出（仅当打印换行符、填充内部缓冲区或进程结束时）。

可能的解决方法

如果您不能保证子进程打印换行符，但您仍想流式传输输出，则无法读取整行。一种解决方案是按字阅读，甚至按字符（符文）阅读。您可以通过使用以下方法设置不同的拆分函数来实现此目的Scanner.Split()：

scanner := bufio.NewScanner(stdout)

scanner.Split(bufio.ScanRunes)

该bufio.ScanRunes函数通过runes读取输入，因此Scanner.Scan()只要有新rune的可用就返回。

或者不带 a 手动读取Scanner（在这个例子中是逐字节的）：

oneByte := make([]byte, 1)

for {

    _, err := stdout.Read(oneByte)

    if err != nil {

        break

    }

    fmt.Printf("%c", oneByte[0])

}

请注意，上面的代码会错误地读取runes UTF-8 编码中的多个字节。要读取多个 UTF-8 字节符文，我们需要一个更大的缓冲区：

oneRune := make([]byte, utf8.UTFMax)

for {

    count, err := stdout.Read(oneRune)

    if err != nil {

        break

    }

    fmt.Printf("%s", oneRune[:count])

}

要记住的事情

进程具有用于标准输出和标准错误（通常为几 KB 的大小）的默认缓冲区。如果进程写入标准输出或标准错误，它会进入相应的缓冲区。如果此缓冲区已满，则进一步的写入将阻塞（在子进程中）。如果您不读取子进程的标准输出和标准错误，则当缓冲区已满时，您的子进程可能会挂起。

因此建议始终读取子进程的标准输出和错误。即使你知道该命令不正常写入其标准错误，如果出现一些错误，它可能会开始抛售错误信息到其标准错误。

编辑：正如 Dave C 提到的，默认情况下子进程的标准输出和错误流被丢弃，如果不读取不会导致阻塞/挂起。但是，如果不读取错误流，您可能会错过过程中的一两件事。

Answer 2

我在Krzysztof Kowalczyk 的这篇文章中找到了如何实现进度输出的好例子