go程序内存不足ec2资源太小？

Question

我想知道我是否错误地编写了 Go 程序，或者我的服务器资源是否太小。我有以下代码：    spotXmlFile:='/var/www/html/app/public/xml/appdata.xml'    xmlFile,err:=os.Open(spotXmlFile)    defer xmlFile.Close()    byteValue,_:=ioutil.ReadAll(xmlFile)    var listings Listings    xml.Unmarshal(byteValue,&listings)它处理一个 2.5GB 的 xml 文件。我正在aws ec2 t3.large尝试处理数据，其中2 cpus有8GB mem有趣的是内存不超过4GB，但CPU却飙升至100%，然后导致程序失败

Answer 1

您正在读取内存中的整个文件，然后对其进行解组，这将使用您并不真正需要的大量额外内存。试试这个，看看会发生什么：

spotXmlFile:='/var/www/html/app/public/xml/appdata.xml'

xmlFile,err:=os.Open(spotXmlFile)

defer xmlFile.Close()

var listings Listings

xml.NewDecoder(xmlFile).Decode(&listings)

使用解码器，它将在读取时解析和解组底层文件。

如果您只需要文件的一部分并且想要进一步优化它，您可以使用解码器令牌逐个令牌对文件进行解码，并提取您需要的部分。