分析ecbil数据库插入速度慢的原因与解决方案

专题描述	研发团队抛出问题如下：折扣引擎在向数据库插入数据时，90万数据需要一个小时
分析过程	1	计算得出每秒插入行数只有250左右，远低于正常性能范围。
	2	和开发人员沟通发现，插入数据库的语句每次insert一行。
	3	配合开发团队人员，在压测时查看数据库，发现压测期间MySQL数据库完整占用一个数据库核心（top命令显示mysqld的cpu占用率在100%左右），瓶颈为单核cpu的运算能力。通过查看数据库连接情况进一步确认，一个数据库上，只有一个连接在插入数据。
解决方案	1	insert语句修改为批量插入数据。使用insert into ... values (),(),...,();小批量提交事务。	优点	缺点
			修改简单	可能需要修改max_allowed_packet参数。
	2	修改程序，使用合适的并发度，并发多线程插入数据。（备注，方案1、2可以同时使用）	效果预计非常明显	应用程序需要较大的改造。
问题原因	1	对MySQL数据库的操作方式不够优化。
知识点	1	MySQL对一条SQL语句，只能利用一个cpu核心处理，可能成为瓶颈。
	2	insert into ... values (),(),...,();一次插入多行数据，可以减少网络来回次数，以及数据库事务数量，从而提高性能。

标题名称：分析ecbil数据库插入速度慢的原因与解决方案
文章链接：http://csdahua.cn/article/jccdod.html

扫二维码与项目经理沟通

我们在微信上24小时期待你的声音

解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流

其他资讯