为了账号安全,请及时绑定邮箱和手机立即绑定

如何处理底端上送的重复数据呢?

如何处理底端上送的重复数据呢?

叮当猫咪 2019-04-21 20:15:28
底端会不断上送数据(有时上送重复数据),现需实现清除重复数据并记录日志功能,最先想到的方法是:不对上送数据作出判断,直接向数据库中insert,若出现DuplicateKeyViolation表明数据重复会抛出异常,然后在catch中通过e.getStackTrace()判断该异常是否由主键重复引起,然后写日志。但总觉得这种方式不太对劲,毕竟程序已经抛出异常了...各位前辈是如何解决类似问题的呢?

2 回答

?
湖上湖

TA贡献2003条经验 获得超2个赞

上送重复数据是在一段时间内发生的话,比如一个小时以内,两个小时以内,我一般会用redis来配合处理,
将当期的数据md5一次,存入redis同时设置失效时间,
后面上来的数据都md5一下,去redis里面查询,用这种方式来去重
                            
查看完整回答
反对 回复 2019-04-21

添加回答

代码语言

举报

0/150
提交
取消
微信客服

购课补贴
联系客服咨询优惠详情

帮助反馈 APP下载

慕课网APP
您的移动学习伙伴

公众号

扫描二维码
关注慕课网微信公众号