最近公司的项目准备优化一下系统的性能,希望在数据库方面看有没有提升的空间,目前压力测试发现数据库服务器压力还不够大,Web服务器压力也不是很大的情况下,前台页面访问却很慢,看有没有办法充分利用数据库服务器的性能,于是做了一个单数据库,多数据库,单实例,多实例不同情况下的数据访问效率测试。
创新互联专注为客户提供全方位的互联网综合服务,包含不限于成都网站建设、网站建设、琼中黎族网络推广、小程序制作、琼中黎族网络营销、琼中黎族企业策划、琼中黎族品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等,从售前售中售后,我们都将竭诚为您服务,您的肯定,是我们最大的嘉奖;创新互联为所有大学生创业者提供琼中黎族建站搭建服务,24小时服务热线:18980820575,官方网址:www.cdcxhl.com
测试环境:
测试数据:
67万真实的基金收益数据,将这个表的数据放到了3个数据库中,详细内容见下面的连接字符串配置:
测试内容:
首先筛选出表中所有的基金代码,然后统计每只基金的最新收益率日期,对应的T-SQL代码如下:
- declare @max_fsrq datetime
- declare @currJJDM varchar(10)
- declare @temp table (jjdm2 varchar(10))
- declare @useTime datetime
- set @useTime =GETDATE ();
- insert into @temp(jjdm2)
- select jjdm from [FundYield] group by jjdm order by jjdm asc
- while EXISTS (select jjdm2 from @temp)
- begin
- set @currJJDM=(select top 1 jjdm2 from @temp)
- select @max_fsrq = MAX(fsrq) from [FundYield] where jjdm=@currJJDM
- delete from @temp where jjdm2 =@currJJDM
- print @max_fsrq
- end
- print 'T-SQL Execute Times(ms):'
- print datediff(ms,@useTime,getdate())
直接执行这个T-SQL脚本,在数据库表没有索引的情况下,耗费的时间是:
- T-SQL Execute Times(ms):
- 58796
根据这个功能,写了一个.net控制台程序来测试,测试程序没有使用任何数据访问框架,直接使用ADO.NET,下面是多线程测试的代码,其它代码略:
- public static void Test2(string connName1,string connName2)
- {
- System.Diagnostics.Stopwatch watch = new System.Diagnostics.Stopwatch();
- watch.Start();
- string allJjdmList = "";
- string connString = getConnectionString();
- //SqlConnection conn = new SqlConnection(connString);
- //conn.Open();
- string sql = "select jjdm from [FundYield] group by jjdm order by jjdm asc";
- DataSet ds = getData(connString, sql);
- int allCount = ds.Tables[0].Rows.Count;
- int p = (int)(allCount * 0.5);
- System.Threading.Thread t1=new System.Threading.Thread (new System.Threading.ParameterizedThreadStart (tp1=>
- {
- for (int i = 0; i < p; i++)
- {
- string jjdm = ds.Tables[0].Rows[i][0].ToString();
- object result = getSclar(ConfigurationManager.ConnectionStrings[connName1].ConnectionString,
- string.Format("select MAX(fsrq) from [FundYield] where jjdm='{0}'", jjdm));
- if (result != DBNull.Value)
- {
- DateTime dt = Convert.ToDateTime(result);
- //Console.WriteLine("Thread 2 No {0} ,jjdm[{1}] last FSRQ is:{2}", i, jjdm, dt);
- }
- allJjdmList = allJjdmList + "," + jjdm;
- }
- Console.WriteLine("Tread 1 used all time is(ms):{0}", watch.ElapsedMilliseconds);
- }
- ));
- System.Threading.Thread t2 = new System.Threading.Thread(new System.Threading.ParameterizedThreadStart(tp2 =>
- {
- for (int i = p; i < allCount; i++)
- {
- string jjdm = ds.Tables[0].Rows[i][0].ToString();
- //这里不论使用default还是express,区别不大
- object result = getSclar(ConfigurationManager.ConnectionStrings[connName2].ConnectionString,
- string.Format("select MAX(fsrq) from [FundYield] where jjdm='{0}'", jjdm));
- if (result != DBNull.Value)
- {
- DateTime dt = Convert.ToDateTime(result);
- //Console.WriteLine("Thread 2 No {0} ,jjdm[{1}] last FSRQ is:{2}", i, jjdm, dt);
- }
- allJjdmList = allJjdmList + "," + jjdm;
- }
- Console.WriteLine("Tread 2 used all time is(ms):{0}", watch.ElapsedMilliseconds);
- }
- ));
- t1.Start();
- t2.Start();
- t1.Join();
- t2.Join();
- Console.WriteLine("====All thread completed!========");
- }
#p#
下面是测试结果:
第一次,数据库没有创建索引,进行全表扫描:
- ------单数据库,单线程测试---------
- used all time is(ms):59916
- ------同一实例,双数据库,单线程测试---------
- used all time is(ms):59150
- ------同一实例,双数据库,多线程测试---------
- Tread 2 used all time is(ms):51223
- Tread 1 used all time is(ms):58175
- ====All thread completed!========
- ------双实例,双数据库,单线程测试---------
- used all time is(ms):58230
- ------双实例,双数据库,多线程测试---------
- Tread 2 used all time is(ms):52705
- Tread 1 used all time is(ms):58293
- ====All thread completed!========
第二次,数据库响应的字段创建索引,下面是测试结果:
- ------单数据库,单线程测试---------
- used all time is(ms):1721
- ------同一实例,双数据库,单线程测试---------
- used all time is(ms):1737
- ------同一实例,双数据库,多线程测试---------
- Tread 2 used all time is(ms):1684
- Tread 1 used all time is(ms):1714
- ====All thread completed!========
- ------双实例,双数据库,单线程测试---------
- used all time is(ms):1874
- ------单数据库,单线程测试---------
- used all time is(ms):1699
- ------同一实例,双数据库,单线程测试---------
- used all time is(ms):1754
- ------同一实例,双数据库,多线程测试---------
- Tread 1 used all time is(ms):1043
- Tread 2 used all time is(ms):1103
- ====All thread completed!========
- ------双实例,双数据库,单线程测试---------
- used all time is(ms):1838
- ------双实例,双数据库,多线程测试---------
- Tread 1 used all time is(ms):1072
- Tread 2 used all time is(ms):1139
- ====All thread completed!========
测试结论:
综合全表扫描访问和有索引方式的访问,
单线程访问:
多线程访问:
综合结论,看来不论是双数据库还是双实例,对比与单实例或者单数据库,都没有体现出优势,看来前者的优势不在于访问效率,一位朋友说,数据库实例是不同的服务,控制粒度更小,维护影响比较低。但我想,双数据库实例,双数据库,多核CPU,应该跟两台数据库服务器差不多的性能吧,怎么没有体现优势呢?也许是我的测试机器仅仅有一个磁盘,这里磁盘IO成了瓶颈。
这个测试有没有意义,或者这个结果的原因,还请大牛们多多指教!
意外发现:
1,有人说频繁的查询在完全数据库中进行效率最高,测试发现,在查询分析器上直接运行上面的那个T-SQL脚本,跟程序从数据库取出数据,再加工计算查询,效率上没有明显的区别,所以哪些支持“将复杂的业务逻辑写在存储过程中效率最高的观点是站不住脚的!” ,ADO.NET从数据库来回操作数据一样有效率,如果加上复杂的字符函数计算和大批量的循环操作,存储过程的效率不一定高。
2,在使用程序进行频繁的数据库操作的时候,使用一个连接对象还是在每个方法中使用新的连接对象,一直是很纠结的问题,心想频繁的数据操作还是用一个连接对象快吧?在本文给出的测试代码中,有下列语句:
- //SqlConnection conn = new SqlConnection(connString);
- //conn.Open();
注释掉这些语句,在被调用的方法中使用自己的连接对象,与取消注释,全部使用一个连接对象,效率上没有任何区别!
究其原因,可能是ADO.NET自动使用了连接池,实际上程序在不同的情况下,使用的都是一个连接,所以操作上效率没有区别。
后续测试
在真正的服务器上进行测试,发现测试结论又不一样,我们有服务器A,拥有16个核,32G内存,另外一台服务器B,拥有8个核,16G内存。在服务器A上有一个SqlServer实例,两个一样的数据库;在在服务器B上有一个SqlServer实例,一个数据库,下面是测试结果:
- ------单数据库,单线程测试---------
- used all time is(ms):650
- ------同一实例,双数据库,单线程测试---------
- used all time is(ms):418
- ------同一实例,双数据库,多线程测试---------
- Tread 2 used all time is(ms):221
- Tread 1 used all time is(ms):223
- ====All thread completed!========
- ------双实例,双数据库,单线程测试---------
- used all time is(ms):1283
- ------双实例,双数据库,多线程测试---------
- Tread 1 used all time is(ms):228
- Tread 2 used all time is(ms):542
- ====All thread completed!========
可以看到,同一实例,多数据库,还是有明显的优势,而多线程优势更大;由于两台服务器性能差距较大,双实例测试没有显示出优势,但多线程下还是比单实例单数据库好!
为什么PC机跟服务器测试的结论不一致?也许还是跟计算能力相关,PC机的计算负载太大,已经失去了测试的意义。
原文链接:http://www.cnblogs.com/bluedoctor/archive/2011/06/28/2092113.html
【编辑推荐】
网页名称:单数据库vs多数据库,单实例vs多实例效率测试
文章起源:http://www.mswzjz.cn/qtweb/news15/14665.html
攀枝花网站建设、攀枝花网站运维推广公司-贝锐智能,是专注品牌与效果的网络营销公司;服务项目有等
声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 贝锐智能