现在每天有一个很大的XML文件需要解析后入库,请问有什么好的解决方案?

Question

现在合作伙伴那边有一个很大的XML文件,大约40G的样子,是通过shell脚本直接生成的,我们这边需要把这个XML文件解析后入库,请问各位有什么好的解决方案?对系统性能有较高的要求.

Answer 1

当作文本处理，读取一行入栈 ，如果是元素，记录位置，继续朝下读取，如果遇到元素结尾，从上个位置上把栈弹出，然后作为一个小的XML处理，处理好之后写入到数据库，再继续读取下个元素。

这样效率更快并且内存占用更小。