本節(jié)旨在論述如何在XX用戶建立測試體系以促進和加強測試管理和測試流程,提高測試質(zhì)量,保證銀行IT產(chǎn)品品質(zhì),達到更好地為金融客戶服務的目標。
測試體系是圍繞測試活動開展制定的一系列規(guī)程、指南、標準、模板,用于管理和規(guī)范測試過程,通過引入測試體系可以引入更好地測試方法來優(yōu)化測試細節(jié);可以通過規(guī)定和規(guī)范加強流程化管理;可以通過定義指標、標準更準確地反映測試、評估測試。
詳細描述以解決現(xiàn)有不足為目標并結(jié)合銀行測試管理的現(xiàn)狀而設計的測試管理總體解決方案的理念、思路、實現(xiàn)的方式方法。 根據(jù)上一節(jié)對XX商行測試工作的現(xiàn)狀和現(xiàn)實環(huán)境的分析,我們了解到在行里建立符合現(xiàn)狀和現(xiàn)需求的測試體系,并在該測試體系的指導下建立一批技術(shù)過硬的IT測試團隊的必要性。本節(jié)將著重描述測試體系建設的整體規(guī)劃和發(fā)展路線圖。
為了進一步提高測試的覆蓋度,保證系統(tǒng)質(zhì)量,需要不斷豐富測試的內(nèi)容,使用“自底向上”的方式檢驗系統(tǒng)各個層面上的正確性和可靠性。在已有的UAT測試的基礎上增加FT測試、SIT測試以及非功能性測試,非功能性測試包含的內(nèi)容有:性能測試、兼容性測試等等。
建立測試體系的首先是選擇適應于目前情況的測試模型。與當前情況相符合主要是指研究目前開發(fā)項目和系統(tǒng)的特點,其中包括:項目需求的規(guī)模,對測試周期的要求,以及項目所選擇的開發(fā)模型。
測試模型的選型目標主要是當前比較常用和成熟的測試模型: 瀑布模型 V模型 W模型 迭代模型 進化模型 RUP模型(增量迭代)
在選型過程中,需要選擇多種不同的模型以滿足現(xiàn)實中不同的開發(fā)需求,選型的方法可以參考選擇一個主模型以適應IT項目、一個子模型以適應新特性開發(fā)、需求變更或緊急情況應急處理。
選型完成后,可根據(jù)自身的需要對模型定義的測試階段進行刪減和補充。
在選擇適合的測試模型后,測試活動被劃分為多個測試階段和多種針對不同測試目的的測試。例如: 單元測試 集成測試 功能測試(FT) 系統(tǒng)測試(SIT) 用戶驗收測試(UAT)
建立測試體系的目的是為測試工作制定周密的管理計劃,為測試工作建立標準化流程和標準化文檔,為測試單位提供運行的流程和規(guī)范??紤]到本項目的特點,我們知道該項目的測試工作需要橫跨不同的業(yè)務系統(tǒng),不同系統(tǒng)之間存在著網(wǎng)狀的數(shù)據(jù)流。這種系統(tǒng)的復雜性為測試管理工作提出了嚴峻的挑戰(zhàn),據(jù)此我們需要通過建立測試體系的方法規(guī)范化測試流程,使得復雜的聯(lián)調(diào)測試變得易于跟蹤和控制,從而達到降低項目風險的目的。
建立測試體系的首先是要確定一個生命周期模型從整體的角度描述整個項目。
將項目的測試管理分為五個階段和一個日常事務檢查表,對每個階段的工作任務進行說明,包括時間點、任務、提交物等。提供該體系給項目管理人員作為測試項目管理手冊,對整個項目的測試工作進行系統(tǒng)的管理、監(jiān)督。
該體系是針對項目具體實施過程的,對大運會項目的測試過程實施,在各個里程碑階段,我們將使用以下體系進行項目測試過程的執(zhí)行,包括:里程碑接口、里程碑輸入信息、參與角色、工作過程、工作內(nèi)容、輸出信息等。
1) 初始階段 初始階段主要是給客戶做測試過程和測試標準的介紹,加強客戶對測試過程和測試標準的了解。
面向?qū)ο螅簩ο鬄轫椖繀⑴c人員(包括管理人員和技術(shù)人員)。 介紹內(nèi)容: 介紹測試過程 介紹測試策略 介紹測試方法和特點 介紹測試結(jié)果評估、分析方法
2) 需求分析階段
前期接口:
初始階段完成,項目組認可所使用的測試過程、方法等;
基本的測試范圍(功能測試、性能測試、自動化測試等)和使用何種測試工具等基本達成一致。
輸入:
被測系統(tǒng)的開發(fā)文檔
被測系統(tǒng)的客戶文檔
參與角色:
在測試項目中,開發(fā)廠商,CSC專家,和測試組都有眾多人員的參與,這里闡述了各方在項目中需要的角色和各自的職責。
階段過程:
>測試計劃階段的基本過程如下:
測試需求制定過程:
略
輸出:
項目測試計劃
項目相關(guān)標準
項目測試需求
3) 案例設計階段
測試設計人員都參與了系統(tǒng)的詳細培訓
測試設計人員參與了測試工具的培訓,掌握了測試工具的試用
定義測試策略:考察應用程序、系統(tǒng)環(huán)境和測試資源等以決定測試目標。
分解測試對象:將AUT(被測應用程序)分解成具體的測試單元(可被測試的模塊和功能)。
定義測試案例:確定每個模塊所需的測試類型,添加基本的定義描述。
建立需求覆蓋:將具體的測試案例和需求建立覆蓋關(guān)系。
設計測試步驟:為每個測試案例添加測試步驟。測試步驟描述測試的操作、檢查點和預期輸出。
分析測試案例:評審所有測試案例以確保符合測試目標。
測試案例
4) 執(zhí)行階段
測試案例設計并審核完畢
測試執(zhí)行記錄
缺陷記錄單
缺陷跟蹤匯總表
缺陷跟蹤:
匯報缺陷記錄
跟蹤缺陷修改情況
回歸測試直到缺陷得到恰當處理(是否進行缺陷跟蹤要根據(jù)客戶要求不同而定)
5) 總結(jié)分析階段
測試執(zhí)行工作完成
缺陷記錄
本階段包含四個步驟:
整理數(shù)據(jù):整理測試過程數(shù)據(jù)和缺陷數(shù)據(jù),以備分析之需。
分析數(shù)據(jù):根據(jù)收集整理的測試過程數(shù)據(jù)和缺陷數(shù)據(jù)對測試過程和系統(tǒng)情況進行分析。
編制總結(jié)分析報告:對項目進行總結(jié),在整理數(shù)據(jù)和分析數(shù)據(jù)的同時即可進行該項工作,待數(shù)據(jù)分析完成后,將分析結(jié)果增加到報告中,并將總結(jié)分析報告提交給開發(fā)部,業(yè)務部,以便開展項目評估工作。
調(diào)查客戶滿意度:總結(jié)完成后,由開發(fā)部,業(yè)務部人填寫滿意度調(diào)查表,調(diào)查結(jié)果供測試過程改進和項目評估參考。
項目評估:由項目雙方(開發(fā)部,業(yè)務部和測試組)相關(guān)人員一起,根據(jù)評估項及其統(tǒng)計數(shù)據(jù)對項目完成情況進行評估。
測試總結(jié)分析報告
項目評估報告
1) 缺陷相關(guān)標準 嚴重級別: 5 緊急 導致操作系統(tǒng)崩潰(如Win NT/2000 的籃屏、Win 98 的系統(tǒng)致命錯誤等) 導致操作系統(tǒng)不響應 程序退出沒有釋放資源 導致其它應用程序出現(xiàn)異常(如無法啟動、不響應、異常退出) 卸載時不提示客戶確認即刪除公用程序(DLL 等) 其它導致操作系統(tǒng)或其它應用程序異常的情況 造成重大安全隱患情況(如機密性數(shù)據(jù)的泄密) 4 很高 程序掛起 程序異常退出 系統(tǒng)無法正常安裝、卸載或升級 其它導致被測系統(tǒng)本身出現(xiàn)無法正常運行的錯誤 3 高 導致輸出的數(shù)據(jù)錯誤(數(shù)據(jù)內(nèi)容出錯、格式錯誤、無法打開等) 導致其它功能模塊無法正常執(zhí)行,如: 功能不完整或功能實現(xiàn)不正確; 導致數(shù)據(jù)操作結(jié)果錯誤 文件或數(shù)據(jù)傳輸不完整或不正確 對數(shù)據(jù)格式不進行檢測 提示語句易誤導用戶,造成數(shù)據(jù)丟失等重大問題 其它導致被測應用系統(tǒng)其它模塊無法正常運行或出現(xiàn)錯誤結(jié)果的情況 2 中等 影響當前操作結(jié)果 數(shù)據(jù)修改后沒有保存提示 系統(tǒng)出錯提示不正確或沒有捕獲系統(tǒng)出錯信息 數(shù)據(jù)的重要操作(如刪除、添加等)沒有提示 其它影響被測模塊/功能正常執(zhí)行的情況 1 低 頁面布局不合理 字體不一 錯別字 語言不一致(如:中英文混合) 頁面提示不明確 系統(tǒng)易用性不好 其它對被測模塊功能實現(xiàn)沒有影響的情況
缺陷導入階段: 1. 需求階段 未能真正了解客戶需求,功能描述不正確 需求定義有二義性 需求中遺漏客戶功能需求 2. 概要設計階段 架構(gòu)設計不正確 業(yè)務流程設計錯誤 3. 詳細設計階段 功能模塊間數(shù)據(jù)格式定義不一致 開發(fā)規(guī)范 4. 編碼階段 5. 其它 缺陷優(yōu)先級: 3 必須修改 2 將要修改 1 有時間則改 0 未分配 缺陷類型: 程序錯誤 環(huán)境設置 重復記錄 需要完善 不可重現(xiàn) 并非問題
測試流程可分為兩支: 自動化測試流程; 手工測試流程。
在測試活動中通過標準化、規(guī)范化測試資源使測試資源可以被共享和重用。
如果測試對象缺乏必要的標準化、規(guī)范化,會導致測試案例等測試對象無法共享。例如,很多測試團隊的測試案例編寫缺乏規(guī)范,導致: 測試案例“個性化”、“個人化”,只有自己才能夠“看懂”自己的測試案例來進行測試執(zhí)行,其他的測試工程師無法使用其他人的測試案例來進行測試;
測試設計人員和測試執(zhí)行人員無法分離,高成本的測試設計人員必須自己來執(zhí)行測試案例,而不能使用低成本的測試執(zhí)行人員來執(zhí)行測試案例,導致無法達到很好的勞動組合,提高工作效率,也大大占用了經(jīng)驗豐富的測試設計人員的時間。
對于測試過程也需要進行控制,只有進行測試對象的標準化、規(guī)范化,才能夠進行測試案例評審,進一步提升測試案例的質(zhì)量。
測試對象復用,主要指測試案例復用、測試腳本復用、測試計劃復用。
一般情況下,如果一個測試需要執(zhí)行3次以上,那么自動測試的成本能夠和手工測試持平。隨著執(zhí)行測試的不斷增加(特別是后期的回歸測試),測試成本大大小于手工測試執(zhí)行。
隨著測試技術(shù)的發(fā)展,很多測試腳本能夠通過灰盒測試方法,通過自動轉(zhuǎn)換程序技術(shù)來自動生成,能夠把測試工作大大提前,并且測試腳本的編寫成本大幅度下降。
實現(xiàn)缺陷流程定制化。根據(jù)項目特點,定制有針對性的缺陷管理流程。為每一個測試角色分配缺陷處理的權(quán)限。使得每個測試人員的分工更明確,人員配置更合理。
在缺陷跟蹤之前定制查詢。通過定制常用的查詢規(guī)則,例如:當日提交給我待解決的缺陷、所有解決的缺陷等等,測試員和開發(fā)人員將有針對性地關(guān)注缺陷,測試經(jīng)理也可以即時了解問題解決情況。
基于Test Center的測試體系可以劃分為8個子模塊,見下圖。
缺陷管理模塊:
支持缺陷管理流程,可以定制缺陷管理流程,支持缺陷流程的是一個工作流;
可定制的缺陷過濾器。用戶根據(jù)自身的需要定義過濾器。通過輸入查找條件,將查詢規(guī)則定義為過濾器。通過這種方式,用戶可以更快地找到自己所關(guān)心的缺陷,例如“剩余的沒解決的缺陷”之類;
支持缺陷報告,缺陷報告以圖表和圖的方式展示處于各個狀態(tài)的缺陷,以及各個緊急程度分類上的缺陷。缺陷報告還提供了缺陷關(guān)閉、打開曲線圖,用以了解每日缺陷的關(guān)閉和打開趨勢。
生成詳盡的測試報告,包括執(zhí)行情況、缺陷情況、需求達成情況使得項目重要干系人即使了解項目進程,了解問題的分布情況,即時分析和規(guī)避開發(fā)風險。
管理開發(fā)和測試資源,使用預約的方式將資源分配給人員和組,為資源分配提供管理和監(jiān)控的解決方案。
咨詢電話
滬公網(wǎng)安備 31010702002953號
滬ICP備07036474號 2003-2024 版權(quán)所有 上海澤眾軟件科技有限公司 Shanghai ZeZhong Software Co.,Ltd.
添加客服微信 歡迎咨詢測試工具和測試服務
掃描二維碼下載澤眾軟件企業(yè)宣傳冊
電話咨詢,400-035-7887,安排專業(yè)技術(shù)售前給您解答(產(chǎn)品試用、技術(shù)交流、服務咨詢和商務報價)。
您的信息已成功提交!
我們的客服人員稍后會與您聯(lián)系