????4??Drive quality upstream

????????????bug??????????????????????????????????????????????????????????????????????150??????????????200????????????????????????·???????????????5???????????????1?????????????????1??????????????Σ???????????????????????????????????????PM??DEV????????????????????????????????????????????????衣??????????????????????????????????????????????????????и????á???????????????????????????????????????????????????????????????????????????и??????á??????????????????????????Щ???貢?????????????????

??????dev????Σ????????????????????????dev??????????????Щ??????????????????????????????????????п??????????????????????????????????????????????????????????????????????????????ж???????ж????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????С?????????????????????????????????????????????????????????????黯??????????????????????????????????з????????????????????????????????????β??????飬????????????????????????????????????????????????????????????????????????????????????????ú?????????????????????????????????????one-box???汾???e汾????????????????????????????????й?????????????????κλ???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????ν??????????????????????????????????????????????????????????????????????′??????????????????????????????????????????????ü?????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????ε??????????????????????????????????????????????????????????????????

????5??Getting better every day

???????????????????????bug?????????????????????????????????????????Щ???????????Щ????????. ???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????仯?????????????????????????У??????????????/?????bug??????????/????????????????????????????????????????????????????У?bug root cause analysis??Bug analysis??Test case failure analysis?? test gap analysis??Bug talk??bug share??CCS data analysis??????????????????????????????????ü???á???????????????·????????????????￡???θ???Ч?????????????????

????6??Engineering agility

???????????????????????????????????????????????????????????????????μ???????????????????????2??3?????????????????????????????÷???????????????????????????????????????????????????????????????????????????????棬???????????????????????????????????????????棬????scalability?? high availability?? fault tolerance?? disaster recovery?? etc.. ??Щ????????????????е????????????2010??????????????????????????????????????Azure?? Bing?? etc??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????TiP ??test in production?? ?? crowd-sourced testing. ??????????????drive quality upstream?????????????????test in production?????????drive quality downstream??????????????????в?????????????????????????????????????????????????????????????????????????????????????????????????????????л?????????????????????????????в????????????????????????????????????????е?bug?????????????????????????????????????????????????μ?bug??????????????????·???????????????????????????????????????????????????????????????????????????????????????????????????bug??????????????????????????????????????????????????Ч????????????????????з????bug?ж?????б???????????????bug???????????????test in production?? ?????????????????????????????????????????????????????????????????????bug?? ?????????????????????????????????????????ЩTiP?????У?A/B testing??expose control/slicing model??on/off features??chaos-monkey??measuring/monitoring.

????????????????????2???????????????????????to be continued .....