問(wèn)題與背景

• BUG無(wú)法重現(xiàn)

  線上偶發(fā)的數(shù)據(jù)類(lèi)問(wèn)題，時(shí)有時(shí)無(wú)，重現(xiàn)困難。

• 新版本擔(dān)憂

  新版本改動(dòng)范圍大，擔(dān)心測(cè)試不充分，對(duì)原有功能有影響。

• 測(cè)試成本高

  測(cè)試用例設(shè)計(jì)，測(cè)試腳本創(chuàng)建、更新和管理等，都需要人力的持續(xù)投入。

需求與目標(biāo)

• 數(shù)據(jù)源

  某個(gè)系統(tǒng)的海量交易日志，主要是請(qǐng)求與響應(yīng)日志報(bào)文

• 方法

  通過(guò)日志回放，模擬重現(xiàn)日志上的操作

• 目標(biāo)

  根據(jù)場(chǎng)景要求不同，可以選擇某些日志進(jìn)行回放，
  也可以使用全部日志進(jìn)行回放。

大數(shù)據(jù)日志回放解決方案

• 

  一、數(shù)據(jù)清洗

  對(duì)日志報(bào)文進(jìn)行清洗，并識(shí)別每一條日志所屬的用戶及日志發(fā)生的時(shí)間

• 

  二、日志回放

  使用生產(chǎn)日志進(jìn)行回放。按用戶標(biāo)識(shí)進(jìn)行歸類(lèi)，再排序后進(jìn)行回放。

• 

  三、應(yīng)答結(jié)果對(duì)比

  包括對(duì)比應(yīng)答的標(biāo)識(shí)位，對(duì)比詳細(xì)的參數(shù)

• 

  四、報(bào)表

  日志回放的結(jié)果，以報(bào)表的形式展現(xiàn)

TBCD 系統(tǒng)的結(jié)構(gòu)

• 本項(xiàng)目主要基于TBCD系統(tǒng)實(shí)現(xiàn)

• 展現(xiàn)層

  工作臺(tái) 統(tǒng)計(jì)報(bào)表 用例導(dǎo)出 參數(shù)閾值

  HTML5,D3,
  AngularJs

  業(yè)務(wù)層

  參數(shù)分析 流程用例 功能分析 日志回放 日志清洗

  數(shù)據(jù)字典 用戶管理

  SpringMVC,
  Spring,fast json等

  大數(shù)據(jù)層

  HBASE HIVE MapReduce HDFS

  MYSQL

  采用分布式架構(gòu)，
  可橫向擴(kuò)展

日志回放示意圖

日志回放流程

• 

  日志清洗

  為每條日志標(biāo)識(shí)用戶歸屬
  日志清洗也是其它功能操作的前提

• 

  按用戶分類(lèi)

  使用用戶歸屬標(biāo)識(shí)進(jìn)行分類(lèi)

• 

  每一個(gè)用戶類(lèi)
  的日志排序

  歸類(lèi)好的日志，在本用戶內(nèi)進(jìn)行排序；不同用戶之間并發(fā)進(jìn)行回放。

• 

  應(yīng)答對(duì)比

  每個(gè)日志回放到2個(gè)不同版本的測(cè)試環(huán)境，獲取2個(gè)版本的應(yīng)答進(jìn)行對(duì)比。

• 

  報(bào)表中心

  統(tǒng)計(jì)回放的情況，報(bào)表展現(xiàn)。

產(chǎn)品價(jià)值

• 

  重現(xiàn)偶發(fā)性地生產(chǎn)問(wèn)題

• 

  檢驗(yàn)新版本潛在問(wèn)題

• 

  不需要用例設(shè)計(jì)，測(cè)試成本低

• 

  覆蓋面廣