表 1。 對(duì)應(yīng)于給定的置信區(qū)間（confidence interval）的標(biāo)準(zhǔn)偏差范圍（Standard deviation range）
表 2。 對(duì)應(yīng)于給定的標(biāo)準(zhǔn)偏差范圍（Standard deviation）的置信區(qū)間（confidence interval）
置信區(qū)間（Confidence interval）
置信區(qū)間（confidence interval）的定義是[取樣平均值- Z*σ/√n， 取樣平均值+ Z*σ/√n]。 例如， 如果置信區(qū)間（概率）是90%， 經(jīng)查找可知Z 值是1。645， 于是置信區(qū)間是 [取樣平均值- 1。645*σ/√n， 取樣平均值+ 1。645*σ/√n]， 這意味著在90%的時(shí)間里， 總體平均值（population mean）(是未知的) 會(huì)落入這個(gè)置信區(qū)間內(nèi)。 也是說， 我們的測(cè)試結(jié)果是十分接近的。 如果 σ（標(biāo)準(zhǔn)偏差） 更大一些， 置信區(qū)間也會(huì)更大，這意味著置信區(qū)間的上限會(huì)更可能會(huì)越過可以接受的范圍，即σ 越大，結(jié)果越不可信。
響應(yīng)時(shí)間需求（Response-time requirements ）
現(xiàn)在我們把所有的信息都?xì)w結(jié)到響應(yīng)時(shí)間需求上來。首先。必須要定義性能需求，如: %95概率的置信區(qū)間的平均響應(yīng)時(shí)間的上限必須小于5秒。 當(dāng)然，好有相應(yīng)的需求或場(chǎng)景。
在性能測(cè)試結(jié)束后，假設(shè)進(jìn)分析得出結(jié)論是平均響應(yīng)時(shí)間是4.5秒，標(biāo)準(zhǔn)偏差時(shí)4.9秒，樣本數(shù)量是120個(gè)，然后可以計(jì)算%95概率的置信區(qū)間了。 通過查表1，找到Z值是 1。95996。 于是置信區(qū)間是 [4.5 – 1.95996*4.9/√120， 4.5 + 1.95996*4.9/√120]， 也是 [3.62， 5.38]。 盡管看起來這個(gè)響應(yīng)時(shí)間看起來很不錯(cuò)，但這個(gè)結(jié)果（因?yàn)槌隽诵枨蟮囊�，因而）是不可接受的�?實(shí)際上， 可以檢驗(yàn)的是即使是對(duì)于80%概率的可信區(qū)間，這個(gè)測(cè)試結(jié)果也是不能接受的。正如你所看到的，使用了置信區(qū)間分析后，會(huì)得到一個(gè)十分精確的方法來估算測(cè)試質(zhì)量。
在web應(yīng)用中，為了測(cè)定某一場(chǎng)景的響應(yīng)時(shí)間，我們一般要通過測(cè)試工具來發(fā)送多個(gè)訪問請(qǐng)求，例如：
4. 登陸
5. 顯示表單
6. 提交表單
假設(shè)我們對(duì)請(qǐng)求3更感興趣。為進(jìn)行置信區(qū)間分析，我們需要的僅是請(qǐng)求3的所有樣本的響應(yīng)時(shí)間均值和標(biāo)準(zhǔn)偏差，而不是全部被統(tǒng)計(jì)的樣本的。
在Jmeter的圖表結(jié)果監(jiān)聽器中計(jì)算的卻是全部請(qǐng)求的響應(yīng)時(shí)間均值和標(biāo)準(zhǔn)偏差。 而Jmeter的聚合報(bào)告監(jiān)聽器計(jì)算的是獨(dú)立的采樣器的響應(yīng)時(shí)間均值，可惜沒有計(jì)算標(biāo)準(zhǔn)偏差。
總之， 僅僅指定響應(yīng)時(shí)間均值是危險(xiǎn)的， 因?yàn)椴荒芊从吵鰯?shù)據(jù)的變化。 即使響應(yīng)時(shí)間均值是可以接受的，但是置信區(qū)間僅有75％，這個(gè)結(jié)果也不能令人信服。但是，使用置信區(qū)間分析還是會(huì)帶來更多的確定性。
結(jié)論
本文討論了以下內(nèi)容:
·詳細(xì)講解了Jmeter 線程組在加載負(fù)載時(shí)的特別設(shè)置
·使用Jmeter代理服務(wù)器(Proxy Server)元件自動(dòng)建立測(cè)試腳本的指導(dǎo)方針，其重點(diǎn)在于模擬用戶思考時(shí)間（user think time ）。
·置信區(qū)間分析（Confidence interval analysis）， 一種我們可以用來更好地滿足響應(yīng)時(shí)間需求的統(tǒng)計(jì)分析方法
通過使用本文提及的技術(shù)可以改善測(cè)試腳本的質(zhì)量，更廣泛地說，本文所討論的內(nèi)容屬于是性能測(cè)試的一個(gè)工作流程的一部分， 是其中的一個(gè)較困難的部分。性能測(cè)試包括并不于以下內(nèi)容：
·編寫性能測(cè)試需求
·選擇測(cè)試情景
·準(zhǔn)備測(cè)試環(huán)境
·編寫測(cè)試腳本
·執(zhí)行測(cè)試
·回顧測(cè)試腳本和測(cè)試結(jié)果
·指出性能瓶頸
·書寫測(cè)試報(bào)告
此外， 性能測(cè)試結(jié)果，包括確定下來的瓶頸， 都需要反饋給開發(fā)團(tuán)隊(duì)或者架構(gòu)師進(jìn)行優(yōu)化設(shè)計(jì)。 在這個(gè)過程中，并寫測(cè)試腳本和回顧測(cè)試腳本是其中很重要的部分，要精心籌劃和管理實(shí)施。憑借測(cè)試腳本指導(dǎo)和一個(gè)好的性能測(cè)試流程，你將會(huì)有更多的機(jī)會(huì)來在較重負(fù)載下優(yōu)化軟件性能。
關(guān)于作者
Chi-Chang Kung 是臺(tái)灣Sun 公司的java系統(tǒng)架構(gòu)師，也是IEEE 和ACM的成員。
相關(guān)資源
·JMeter: http://jakarta.apache.org/jmeter/index.html
·《中心極限理論以及經(jīng)典推論》（"Central Limit Theorem and Classical Inference" ）Scott M。 Lynch (2005年2月): http://www.princeton.edu/~slynch/clt_inference.pdf
·置信區(qū)間（Confidence intervals）:http://people.hofstra.edu/faculty/Stefan_Waner/RealWorld/finitetopic1/confint.html
·《java網(wǎng)站的性能分析》（Performance Analysis for Java Websites）， Stacy Joines et al. (Addison-Wesley， 2002年9月; ISBN: 0201844540): http://www.amazon.com/exec/obidos/ASIN/0201844540/javaworld
·《響應(yīng)時(shí)間：三個(gè)重要的限制條件》("Response Times: The Three Important Limits") 引自《實(shí)用工程學(xué)》( Usability Engineering)， Jakob Nielsen (Morgan Kaufmann， 1994; ISBN 0125184069): http://www.useit.com/papers/responsetime.html
·一些提供了正態(tài)曲線計(jì)算功能的網(wǎng)站(Websites for normal curve calculation):
o http://www.psychstat.smsu.edu/introbook/normal.htm
o http://www.ecositebr.bio.br/curva_normal.htm
o http://statistik.wu-wien.ac.at/mathstat/hatz/vo/applets/probCalc/normal_z_p.html
·更多關(guān)于測(cè)試的文章，請(qǐng)參照J(rèn)avaWorld's 標(biāo)題索引的Testing 部分: http://www.javaworld.com/channel_content/jw-testing-index.shtml
·關(guān)于JAVA開發(fā)工具，參見JavaWorld's 標(biāo)題索引的Development Tools 部分: http://www.javaworld.com/channel_content/jw-tools-index.shtml
