MySQL-按条件高效提取用户数据的方案?

意见反馈 意见反馈 主题:991 回复:2082

MySQL-按条件高效提取用户数据的方案?

清晨说ぺ晚安 发布于 2017-06-05 字数 208 浏览 1000 回复 1

一张用户表,数据量已经过亿了。
从表里按条件提取符合需求的数据大概有800万左右。目前采用按用户ID分不同进程处理的方式进行数据提取,使用64个进程处理每次大概需要50分钟。寻求效率更高的数据提取方案。。。

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

支持 Markdown 语法,需要帮助?

评论(1

夜无邪 2017-09-27 1 楼

首先,如果有能换数据库的可能的话,建议使用nosql数据库,通过内存读写,速度要比磁盘快多了。
如果不行,考虑水平分库。
1.另外,就是你提到的用多线程去处理,要避免不必要的数据同步,过多的同步会影响效率。
2.将一些粗粒度的统计数据放到中间表或者物化视图中去,避免不必要的扫表。