MySQL-mysql如何高效导入大量数据

MySQL-mysql如何高效导入大量数据

灵芸 发布于 2017-08-05 字数 388 浏览 836 回复 5

数据格式类型 :
name :XXX,email :XXX,...
name :XXX,email : XXX,...
因为数据格式有错误,我先用java程序处理后,生成有效的insert语句,直接用source 导入到库表,因为数据比较大,大概有500W条记录,执行起来比较慢

请输入图片描述
执行效果截图如上图所示

有没有快速导入的方法?谢谢咯

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(5

泛泛之交 2017-10-19 5 楼

使用JDBC API实现配量插入数据。

例子:
http://kxjhlele.iteye.com/blog/320942

清晨说ぺ晚安 2017-10-06 4 楼

1.禁用MySQL索引
2.SELECT ... ORDER BY ... LIMIT

晚风撩人 2017-09-24 3 楼

可以使用jdbc的PreparedStatement进行预处理,执行批量导入,每次导入的数量可以测试一下然后调整一个最佳的数量

灵芸 2017-09-11 2 楼

1.把数据整成表字段格式每一列按tab分割 文件名改成 表名.txt,然后用mysqlimport导
2.把表索引先全去掉,导完也再把索引加回去

晚风撩人 2017-09-08 1 楼

建议用存储过程,利用存储过程代替java程序,来进行数据的处理。
我原来导入数据的做法是:如果导入的数据是text或者excel的,将这些数据先导入一个临时表,如果数据就是数据库中就更好了,写一个存储过程读取分析数据,这样比java程序要快。