java 多线程访问mongodb速度和单线程差不多

Question

我现在基于probalisticlatentsemanticindexing(plsa)做图像检索，我的方法和这篇论文很像，需要计算一个条件概率p(z|w,v,d),我直接定义成了“doublepzdwtwv[][][][];”简单地说，z是主题，w是英文单词，v是视觉单词，d是文档，大小分别为12100500*7000，就是12个主题，100个英文单词，500个视觉单词，7000个文档，double型的话算下来大概32G，其中z和d的数目是确定的，每个d的w和v的数目是不确定的。因为数组不能全部放进内存，所以把它放进数据库中，我的数据库是这样设计的，把四维数组拆成二维数组，每次读或写一个二维数组。我使用了40个线程跑算法，数据库中在collection中每个键对应的值是一个二维数组，每次计算完这个二维数组后就写入数据库，我的方法是这样的：publicsynchronizedvoidupdate(intd,intt,double[][][]topic_pro){if(ifTrainset)mongo.update(true,(d+1)*100+t,topic_pro[t]);elsemongo.update(false,(d+1)*100+t,topic_pro[t]);}pzdwtwv和pzdwtwv_test是不同的collection。mongo.update方法是这样的:publicvoidupdate(booleanifTrainset,intkey,double[][]new_value){BasicDBObjectquery=newBasicDBObject().append("key",key);BasicDBObjectupdated_element=newBasicDBObject();updated_element.append("$set",newBasicDBObject().append("value",new_value));if(ifTrainset){p_z_d_wt_wv.update(query,updated_element,true,false);}else{p_z_d_wt_wv_test.update(query,updated_element,true,false);}}另外，运行程序的时候，cpu利用率很低，大概7%~8%左右，但是内存几乎达到100%。请问这个怎么解决

Answer 1

对于题主的问题，简单分析一下：
synchronized是不必要的，mongodb本身是线程安全的，而你的update方法只是一个简单的切换；
从你的问题描述上看，应该是计算密集型的任务，对与计算密集型的任务，一般ThreadNums=CpuNums+1，过多的线程数导致上下文频繁的切换，反而会影响效率；
没有给出mongodb的版本信息，在2.2版本之前，mongodb的lock粒度是server级别，在2.2级别之后，lock粒度是db级别，对于粗粒度的锁，除非你的数据库进行了sharing，否则尽管两个collection是不同的，单次每次写(更新)操作时，仍然会等待锁，这也是与单线程性能差不多的主要原因；
benchmark测试，尽量需要减少硬件、软件等外部因素的影响。对于你的问题描述，无法看出这些，只有一个简单的多线程与单线程的区别，这在JVM层面的影响因素就有很多了，所以无法简单的给出性能的优劣评价。
                            

Answer 2

本来就应该差不多。
首先要搞明白的一点是，你的瓶颈在哪里？
其次，CPU密集型任务跑那么多线程竟然没有慢很多？你有多少个CPU核？这种事情一般是一个核一个线程，多了反而因为上下文切换浪费CPU时间。
另外，你确定你需要synchronized？