底端会不断上送数据（有时上送重复数据），现需实现清除重复数据并记录日志功能，最先想到的方法是：不对上送数据作出判断，直接向数据库中insert，若出现Duplicate Key Violation表明数据重复会抛出异常，然后在catch中通过e.getStackTrace()判断该异常是否由主键重复引起，然后写日志。
但总觉得这种方式不太对劲，毕竟程序已经抛出异常了...各位前辈是如何解决类似问题的呢？
3 回答
慕的地6264312
TA贡献1817条经验 获得超6个赞
上送重复数据是在一段时间内发生的话，比如一个小时以内，两个小时以内，我一般会用 redis 来配合处理，
将当期的数据 md5 一次，存入 redis 同时设置失效时间，
后面上来的数据都md5一下，去 redis 里面查询，用这种方式来去重
添加回答
举报
0/150
提交
取消