在 defer 中关闭 gzip writer 会导致数据丢失

Question

我使用 golanggzip.NewWriter压缩切片，并defer Close()关闭 writer。但是当从压缩数据中读取时，它会返回unexpected EOF. 代码是：func main() {    a := []byte{'a', 'b', 'c', 'd', 'e', 'f'}    zippedData, err := zipData(a)    if err != nil {        panic(err)    }    unzippedData, err := unzipData(zippedData)    if err != nil {        panic(err)    }    fmt.Printf("%v\n", unzippedData)}压缩功能是：func zipData(originData []byte) ([]byte, error) {    var bf bytes.Buffer    gw := gzip.NewWriter(&bf)    defer gw.Close()    _, err := gw.Write(originData)    if err != nil {        return nil, errors.New(fmt.Sprintf("gzip data err: %v", err))    }    err = gw.Flush()    if err != nil {        return nil, err    }    // if I rm 'defer gw.Close()' and call 'gw.Close()' here, it'll be ok    logs.Debug("before gzip len: %v", len(originData))    logs.Debug("gzip len: %v", bf.Len())    return bf.Bytes(), nil}上面的 zip 函数用于defer gw.Close()关闭 gw。解压函数为：func unzipData(zippedData []byte) ([]byte, error) {    dst := make([]byte, len(zippedData))    copy(dst, zippedData)    reader, err := gzip.NewReader(bytes.NewBuffer(dst))    if err != nil {        return nil, errors.New(fmt.Sprintf("unzip err :%v", err))    }    defer reader.Close()    data, err := ioutil.ReadAll(reader)    if err != nil {        return nil, errors.New(fmt.Sprintf("read err :%v", err))    }    return data, err}为什么要defer gw.Close()案例unexpected EOF？

Answer 1

使用 defer，您会丢失 gzip 页脚。根据Close文档：

Close 通过将任何未写入的数据刷新到底层 io.Writer 并写入 GZIP 页脚来关闭 Writer。它不会关闭底层的 io.Writer。

因此，即使Flush刷新任何缓冲数据，它也不会写入页脚。通过延迟关闭，您将获得不包含页脚的字节数组并将其返回，然后将页脚写入输出。

在返回之前关闭 writer。

Answer 2

With defer,在 return 语句中gw.Close()的调用之后运行。bf.Bytes()为了确保返回完整的内容，您应该gw.Close在尝试从缓冲区读取字节之前显式调用。

最简单的代码修复方法是将Flush调用替换为Close调用。Flush是在你没有写完的时候，但在你的情况下你已经完成了压缩，所以调用Close应该就足够了。