Mysql 避免多个线程扫描到的相同数据进行多次处理

Question

业务场景：比如开2个线程去1张表读取数据，然后对读到的数据进行一些异步处理（业务上要求不能在同一条数据，比如id作为主键，值都一样，上执行两次异步处理），现在问题来了，如何保证如果读到相同的数据，只处理一次（不管是从数据库层面还是代码层面进行控制）？要效率尽可能高的方式

Answer 1

上队列吧，如果自己实现java的queue我没尝试过，考虑以下两个：

redis生产者消费模式
gearmean

各有优劣，你了解下！

Answer 2

1.使用数据预加载或懒加载机制，读取一批待处理数据,记录当前读取到的最大ID值，下次取数从此位置往下读取
2.将待处理的数据放入执行数据队列，在队列数据下降到一定比例后，在预加载一批数据放入队列
3.多个线程读取数据并发处理，处理完毕后更新回数据库
4.必要的时候可以在取数据时更新数据的读取标志信息，放置被其它机器重复读取