我需要为超过 1GB 的文件计算 sha256 校验和(按块读取文件),目前我正在使用 python:import hashlibimport timestart_time = time.time()def sha256sum(filename="big.txt", block_size=2 ** 13): sha = hashlib.sha256() with open(filename, 'rb') as f: for chunk in iter(lambda: f.read(block_size), b''): sha.update(chunk) return sha.hexdigest()input_file = '/tmp/1GB.raw'print 'checksum is: %s\n' % sha256sum(input_file)print 'Elapsed time: %s' % str(time.time() - start_time)我想尝试一下golang认为我可以获得更快的结果,但是在尝试以下代码后,它运行慢了几秒钟:package mainimport ( "crypto/sha256" "fmt" "io" "math" "os" "time") const fileChunk = 8192func File(file string) string { fh, err := os.Open(file) if err != nil { panic(err.Error()) } defer fh.Close() stat, _ := fh.Stat() size := stat.Size() chunks := uint64(math.Ceil(float64(size) / float64(fileChunk))) h := sha256.New() for i := uint64(0); i < chunks; i++ { csize := int(math.Min(fileChunk, float64(size-int64(i*fileChunk)))) buf := make([]byte, csize) fh.Read(buf) io.WriteString(h, string(buf)) } return fmt.Sprintf("%x", h.Sum(nil))} func main() { start := time.Now() fmt.Printf("checksum is: %s\n", File("/tmp/1G.raw")) elapsed := time.Since(start) fmt.Printf("Elapsed time: %s\n", elapsed)}如果可能,知道如何改进golang代码吗?也许使用所有计算机 CPU 内核,一个用于读取,另一个用于散列,有什么想法吗?
2 回答
- 2 回答
- 0 关注
- 196 浏览
添加回答
举报
0/150
提交
取消