java实现关于文章相似度问题

Question

CMS项目数据量大多超10w,有的数据量达到100w以上！这种大数据量的情况下如何实现计算每篇文章跟剩余文章的相似度？求大神指教下！之前的做法是先把所有数据从数据库查出来，放在List里边，然后遍历循环跟剩余的对比，尴尬的是数据量一大直接卡死

Answer 1

你这应该使用算法或文本分析工具，比如使用Ansj分词工具等等，这样效率会很高，上传的文档可以离线比对后保存相似结果，查询时直接查询结果这不就快了

Answer 2

有文本相似度计算的方法。使用数据挖掘的相关概念实现文本相似度计算