采集到的数据字段比较多，在插入mysql数据库之前要判断数据库里面是否有重复数据，多个字段一起重复才算是重复数据，也就是允许一些单个字段可以重复，这种怎么避免插入重复数据？我之前的做法是把要比较的数据拼接在一起然后使用sha1一下，在插入数据库时候把这个值也插入数据库，以后每次插入数据之前判断数据库里sha1值是否重复，有重复就跳过此条数据。但是这种还是会有个别重复的，不知道什么原因。有没有更好的办法？
- 4 回答
- 0 关注
- 425 浏览
添加回答
举报
0/150
提交
取消