频繁的操作数据库是不是导致性能低下的原因呢?

Question

我公司是做erp系统的,现在要求做一个款号转数的task,由于每天款号转数的数据量比较大,而且款号涉及的一些关联要也要进行转数,所以有时候会导致out of momery ,要进行修改! 原代码是用hibernate实现的, list = gzBma00160pDAO.getTransferData(Bma00160p.class,object); if(list!=null){ for(Iterator it = list.iterator();it.hasNext();){ Bma00160p newBma00160p = new Bma00160p(); BeanUtils.copyProperties(it.next(), newBma00160p); try{ Bma00160p bma00160p = bma00160pDAO.getBma00160p(newBma00160p.getBma00160pPK()); if(bma00160p!=null){ newBma00160p.setState(BaseObject.UPDATEMODE_MODIFY); }else{ newBma00160p.setState(BaseObject.UPDATEMODE_INSERT); } newBma00160p.setDlastmodifytime(nowtime); bma00160pDAO.saveObject(newBma00160p); }catch(Exception e){ ERPTaskErrorMailListener.addMessage("BMA00160P出错,代号: " + newBma00160p.getBma00160pPK()); LogUtils.warn("bma00160p error : " + newBma00160p); e.printStackTrace(); } } list.clear(); } 每个表查询转数的代码如上,每次都通过本地的对象get远程的对象,看有没有存在,有则update否则insert,这样如果数据量大,频繁的操作数据库是不是导致性能低下的原因呢?如果我换成jdbc,写sql语句一次性update 或 insert 会不会性能有所提升?但这样的话就要建立临时表去存放本地的数据给远程用... 望高手能给予解答,谢谢

Answer 1

感觉 化整为零 分批次 一股脑 转换 数据量大的化 肯定报溢出 以前导出Excel 就是数据量大 最后通过 改jvm大小 再分sheet 我想转换原理差不多 分批次

Answer 2

看了这个应该可以使用sql直接完成吧。 
不同库可以使用远程datalink也可以实现 

update bma00160p.Bma00160p t set state=BaseObject.UPDATEMODE_MODIFY  

where t.pk in (select pk from gzBma00160p.Bma00160p where ....)    

insert into bma00160p.Bma00160p () values   

select ..., BaseObject.UPDATEMODE_INSERT as state from gzBma00160p.Bma00160p where ....  

呵呵，你这个地方的list多大，我处理过一个表30W的记录也没见内存暴的情况，当然不是hibernate了，hibernate处理不过来。