为了账号安全,请及时绑定邮箱和手机立即绑定

大佬们遇到过这个问题吗?mysql一个表记录硬件发来的数据 现在每天几乎100万的数据插入,数据过大后如何处理?万分感谢

大佬们遇到过这个问题吗?mysql一个表记录硬件发来的数据 现在每天几乎100万的数据插入,数据过大后如何处理?万分感谢

吃鸡游戏 2019-09-05 19:56:51
如题目所说,这样一个月下去就是3千万起步了,业务需求还需要根据时间搜索,比方说搜索三个月内的数据,如果进行分表,怎么进行时间搜索查询呢?数据每天还在添加,什么情况下新建表?分表操作需要定时完成吗?还是手动去完成。完成和如何进行时间查询,如果分的表太多,比如几十个难道查询的时候需要关联几十个表吗?
查看完整描述

2 回答

?
茅侃侃

TA贡献1842条经验 获得超21个赞

可以用mysql自带的partition,无需改动业务代码,只需一条sql即可,然后mysql底层会根据你的规则自动创建很多分表文件,很适合带时间维度的检索(相当于定位到哪个分片文件,然后查询性能只和该文件大小有关)
                            
查看完整回答
反对 回复 2019-09-05
?
白衣非少年

TA贡献1155条经验 获得超0个赞

这些数据是存在一个表里面的吗?1天100w的数据,每天建一张新表是ok的。而且最好把老的数据剔除出去(比如将3个月之前的数据),放到其他机器上保存,这些老数据查询的频度应该不高,性能差一点我觉得可以接受。
                            
查看完整回答
反对 回复 2019-09-05
  • 2 回答
  • 0 关注
  • 239 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信