JAVA高并发问题,大数据,频繁I/O操作
4 回答

POPMUISE
TA贡献1765条经验 获得超5个赞
建议采用缓存处理,按照你说的这种数据量,基于redis的缓存完全可以满足,存取速度可以10W+的,另外,拟采用的hashMap 是ConcurrentHashMap还是其他,页面展示是增量查询还是直接所有的再查询一次,socket数据接收你是用的netty还是mina,这都需要经过仔细的斟酌考虑设计的。有这么大的并发的需求,完全可以考虑做分布式集群的,估计这只是领导想要的目标吧

慕工程0101907
TA贡献1887条经验 获得超5个赞
java并发包的hashmap就够了,业务逻辑设计的就有问题
并发包hashmap与同步 hashmap在多线程10W条数据之后,性能不是一个级别的
每次获取最新 就先过滤一遍cache然后再进行数据库查询 然后组合结果
更新 可以多线程 取单队列(并发包hashmap)然后同步更新

jeck猫
TA贡献1909条经验 获得超7个赞
java在处理数据量比较大的时候,加载到内存必然会导致内存溢出,而在一些数据处理中我们不得不去处理海量数据,在做数据处理中,我们常见的手段是分解,压缩,并行,临时文件等方法。
反对
添加回答
举报
0/150
提交
取消