线程池大小怎么根据数据量大小设置

Question

我现在要做一个功能 ，用户通过上传xsl表格来进行数据的插入，有的用户xsl表格中的数据可能有
1万条，而有的用户xsl表格则只有
20多条，我为了能让数据快速的插入，这个功能我使用线程池来做，现在我的问题是我的
线程池应该设置为多大比较合适呢？因为每个用户插入的数据相差太大了，不知道要设置多大的好？还有一个问题是，
要
让所有用户都使用同一个线程池比较好呢？还是每一个用户一个线程池比较好？在这里先谢谢大家

Answer 1

如果一定要用线程池,肯定是用一个,用户数量一般都会超过机器允许打开的最大线程数的.

这个问题可以使用队列来解决, 所有数据上传上来都插入到一张表中,然后一个程序从这张表中慢慢处理,当然这个程序可以使用线程池

Answer 2

其实你想复杂了,  你需要做的是, 将xls保存下来,再记录一个工单表,然后有个扫描程序去触发入库工单, 依次将xls入库即可,  不需要弄线程池什么的那么复杂,能异步的就尽量异步.

还有你的用户上传1w条记录的操作在10秒内有100次么? 如果有并且有操作超过1分钟的延迟记录,那么还是买点cpu和内存吧. 折腾这种耗内存和cpu的东西,还是尽量简单的好.

Answer 3

引用来自“Adairs”的评论

兄弟，这样还是不行的，因为查检的时候是一条一条地检查的，并且还要查询数据库中其他表来进行校验的，当有一万条时，则会很慢

那你在使用多线程插入的时候，也要检查啊。

Answer 4

如果要使用多线程，你要设定的，不是多少个线程，而是考虑同时操作的有多少人，你服务器可以承受的最大并发是多少？

要让所有用户都使用同一个线程池比较好呢？还是每一个用户一个线程池比较好？

这个问题，感觉你对线程池就不了解啊，线程池就是一个，没有一个用户一个线程池的说法。线程池的线程是共享的。

Answer 5

兄弟，这样还是不行的，因为查检的时候是一条一条地检查的，并且还要查询数据库中其他表来进行校验的，当有一万条时，则会很慢

那你在使用多线程插入的时候，也要检查啊。

Answer 6

我只能说一万条并不慢。。。

Answer 7

引用来自“Adairs”的评论

使用线程池来快速插入，这个不建议，可以直接使用数据库的批量插入功能来完成。

一批数据插入一次，这样会快N倍。

Answer 8

引用来自“Adairs”的评论

使用线程池来快速插入，这个不建议，可以直接使用数据库的批量插入功能来完成。

一批数据插入一次，这样会快N倍。

Answer 9

引用来自“Adairs”的评论

使用线程池来快速插入，这个不建议，可以直接使用数据库的批量插入功能来完成。

一批数据插入一次，这样会快N倍。

Answer 10

使用线程池来快速插入，这个不建议，可以直接使用数据库的批量插入功能来完成。

一批数据插入一次，这样会快N倍。