Python是如何判断大数据唯一性的呢？

Question

Python是如何判断大数据唯一性的呢

Answer 1

有些办法。比如使用array, numpy.array。 主要的思路是节约内存的使用，同时提高数据查询的效率。 如果能够注意这些内容，处理几个GB的数据还是轻松的。 接下来就是分布式计算。 按mapreduce的思路。数据尽量在本地处理。所以算法上要优化。