eygle.com   eygle.com
eygle.com eygle
eygle.com  
 

« 如何安装和使用orabm | Blog首页 | 如何诊断和解决CPU高度消耗(100%)的数据库问题 »

如何实施Benchmark测试-你需要怎样的测试

理解Benchmark测试的过程是非常重要的,即使你不需要进行测试.

即使在今天通常也很少有厂商会主动进行标准测试(benchmark),甚至大多数时候,设备厂商会试图躲避测试.因为标准测试的代价实在高昂.
前面我们提到TPC组织是一个非盈利性组织,但是实施该组织的标准测试,得出标准的结果却实在是成本巨大.

我们以存储测试为例,你不仅需要为服务器、HBA、光纤交换机、RAID承担开销,而且还需要承担诸如文件系统、卷管理器等大量软件费用.
有了软硬件是不足够的,你还需要在人员上有良好的配备,你需要一个好的应用分析员来理解标准测试的I/O访问模型及方式(前面我们说过,
你可以构造最优的满足测试的系统,所以很多厂商用来测试的都是超豪华架构);一个优秀的系统管理员;一个Raid大师;此外还得有人来写报告;
你还需要一个项目经理。和TPC组织和第三方认证机构打交道还要花费你大量的时间和精力.而且,完成一个全面的测试本身就不是一件简单
的事,一旦厂商们不得不卷入这个战场,他们就必须全力以赴,以期获得最优的测试结果.

在没有第三方认证机构之前,一度这个测试结果是非常混乱的.

由于各个参加测试的厂商都希望把最好的性能展现出来,所以通常我们看到的公布结果都是以惊人豪华的组建来架构的,比如Oracle和HP公布
的Oracle10g在Linux上的测试指标,目前仍然是最高的TPC-C的最高性能指标.我们看一下这个测试结果:

Benchmark Stats

System Information

Result ID: 103120803
Result Status: In Review
TPC-C Rev: 5.1
Report Date: 12/08/03
   
   
   
Total System Cost 6,541,770 US $
TPC-C Throughput 1,184,893
Price/Performance 5.52 US $
Availability Date 04/30/04
Database Manager Oracle Database 10g Enterprise Edition
Operating System Red Hat Enterprise Linux AS 3
Transaction Monitor BEA Tuxedo 8.1

Server Information

Client Information

CPU: Intel Itanium 2 Processor 6M 1.5GHz
# of CPUs: 64
Cluster: Y
# of clients: 80
CPU: Intel Xeon 3.0GHz
CPUs per client: 2

该测试结果可以在TPC组织的官方网站上获得,你可以在如下链接找到:

http://www.tpc.org/tpcc/results/tpcc_result_detail.asp?id=103120803
http://www.tpc.org/tpcc/results/tpcc_perf_results.asp

我们看到该系统以6,541,770美元的造价获得了过百万(1,184,893)的TPC-C值.
服务器配备了64颗1.5GHz的安腾2处理器.

想想这样的指标对我们来说,最终就只能是指标而已,很少有人会构建这样的系统来用户业务生产。而各厂商只会使用最优的系统来获得最好的测试结果.
显然厂商不可能对所有产品都进行标准测试,通常他们会提供换算方式,对于不同机型和产品进行TPC-C换算. 而这些转化指标对我们的意义就又差了一个
层次.

那么对于我们自己的系统,如何构建合适的模型进行有效的测试呢?

我们要谈的就是这个.

在开始之前你可能需要回答以下几个问题:

1.你的测试目的如何?
2.你最关心的是哪些指标?
3.你将如何获得这些指标?

对于不同的用户可能会给出不同的答案,比较普遍的看法可能包含如下内容:

1.测试获得性能指标以满足方案及系统设计需求
2.系统的并发数量、响应时间、性价比等通常是最关心的性能指标
3.获得这些指标的方法将是本文重点讨论的内容.

显然我们无法通过标准的TPC组织定义的标准测试,我们需要自己的方法.

同样的,使用自己的方法也需要统一的标准和严格的规范,使用统一规范得出的测试结果才具有比较意义.
我见到很多人经常感叹无法获得更有效的工具,无法进行更精确的测试.实际上我们说,工具在标准测试里面的地位是次要的,最重要的是:标准.
只要拥有统一的标准,你的结果就具有比较意义,即使这个意义只对你存在.当然,如果大家都能使用同一标准进行自我测试,那么这些结果
也就同样拥有比较意义.TPC也就是这样发展起来的.

所以注意,实际上我们真正需要的是在自定义标准之下的比较意义.
如果系统需要升级扩容,或者出现性能问题,就可以使用测试结果进行比较,发现性能变化或问题所在.

 

有了这些前提以后,我们下一节就将进入工具选择及模型定义部分.

 

 


历史上的今天...
    >> 2012-10-18文章:
    >> 2010-10-18文章:
    >> 2008-10-18文章:
    >> 2007-10-18文章:
    >> 2006-10-18文章:
    >> 2005-10-18文章:
           提前的圣诞祝福

无觅

By eygle on 2004-10-18 12:35 | Comments (0) | Special | 75 |


CopyRight © 2004~2020 云和恩墨,成就未来!, All rights reserved.
数据恢复·紧急救援·性能优化 云和恩墨 24x7 热线电话:400-600-8755 业务咨询:010-59007017-7040 or 7037 业务合作: marketing@enmotech.com