思科數(shù)據(jù)中心交換和安全技術(shù)小組（DSSTG）尋求使測試基礎(chǔ)架構(gòu)自動化并進(jìn)一步提高軟件質(zhì)量的方法。鑒于其全球1000強(qiáng)客戶依賴高度安全的解決方案來支持其自身的復(fù)合應(yīng)用程序，DSSTG希望顯著提高其測試覆蓋率和生產(chǎn)率，而又不增加實(shí)現(xiàn)這些收益所需的時(shí)間和資源。

借助Parasoft API /云測試，DSSTG的軟件開發(fā)人員和質(zhì)量保證（QA）專家可以共同創(chuàng)建，使用和共享測試資產(chǎn)，從而使測試覆蓋率提高了25％，測試用例生產(chǎn)率提高了50％。通過測試驅(qū)動的開發(fā)，他們迅速交付了高價(jià)值的高質(zhì)量，關(guān)鍵任務(wù)產(chǎn)品。

挑戰(zhàn)：加強(qiáng)開發(fā)，擴(kuò)大測試范圍

DSSTG幾乎沒有錯誤余地。客戶依靠DSSTG來快速有效地部署復(fù)合應(yīng)用程序。考慮到這些應(yīng)用程序和基礎(chǔ)結(jié)構(gòu)的敏感性，客戶的需求和期望值都很高。

為了滿足這些期望，DSSTG在軟件開發(fā)和質(zhì)量管理實(shí)踐方面也對自己設(shè)定了很高的期望。質(zhì)量保證總監(jiān)Konstantin Goldin解釋說：“ DSSTG產(chǎn)品供企業(yè)客戶使用，這取決于我們?nèi)旌?4x7全天候運(yùn)行并保護(hù)它們免受后端攻擊。” “因此，我們產(chǎn)品的高質(zhì)量是必然的。”

DSSTG知道，軟件開發(fā)和質(zhì)量的提高來自于新思維，增強(qiáng)的方法和自動化的基礎(chǔ)結(jié)構(gòu)，而不僅僅是將更多的人投入這些挑戰(zhàn)中。測試驅(qū)動的開發(fā)是一種前瞻性的軟件設(shè)計(jì)技術(shù)，可將開發(fā)人員帶入質(zhì)量控制和保證領(lǐng)域。DSSTG決定要采用此技術(shù)并將其轉(zhuǎn)變?yōu)闃?biāo)準(zhǔn)做法。

“我們能夠用相同數(shù)量的資源和相同的時(shí)間分配來增加覆蓋范圍。”

測試驅(qū)動的開發(fā)首先涉及編寫測試用例，然后僅實(shí)現(xiàn)通過測試所需的代碼。通過快速反饋，該方法可確保在修復(fù)過程中成本最低的情況下盡早解決軟件缺陷。

DSSTG有一個(gè)本地集成測試框架，該框架接受Java語法的測試用例，并且該公司從軟件測試的角度明確了它的局限性。開發(fā)和質(zhì)量檢查團(tuán)隊(duì)希望添加更多的測試用例并增加其測試范圍。但是現(xiàn)有工具不夠直觀，需要開發(fā)人員進(jìn)行大量重復(fù)。

“不幸的是，您不得不不斷重復(fù)測試工作，” Goldin補(bǔ)充道。 “接受功能時(shí)，您需要進(jìn)行一些手動測試。然后，您將使用Java編寫集成測試。”

現(xiàn)有的工具還限制了QA人員的工作效率，因?yàn)樗麄儾坏貌徊粩嗟赝度霑r(shí)間來增加Java知識，從而限制了他們編寫新測試用例或擴(kuò)展與當(dāng)前測試實(shí)踐和期望相關(guān)的學(xué)習(xí)曲線的能力。

質(zhì)量檢查最關(guān)注的是增加其測試范圍，尤其是回歸測試。 “從質(zhì)量檢查的角度來看，這非常重要，”質(zhì)量檢查首席工程師Ramalakshmi Vijayakumar說。 “開發(fā)人員編寫測試用例來測試功能。然后，我們將更多測試用例添加到現(xiàn)有測試套件中，或者制作我們自己的測試用例。我們需要處理正面和負(fù)面的案例并進(jìn)行測試。為了全面測試這些功能，需求是巨大的。”

行動：利用Parasoft改變開發(fā)和質(zhì)量實(shí)踐

DSSTG在該領(lǐng)域使用了Parasoft SOAtest數(shù)年，以向客戶展示其網(wǎng)關(guān)解決方案的價(jià)值和影響，最終決定開始利用同一平臺來轉(zhuǎn)變其軟件開發(fā)和質(zhì)量實(shí)踐。在過去的一年中，它一直在使用Parasoft SOAtest，并且最近對解決方案進(jìn)行了自定義，使其成為大型測試框架的核心部分。

結(jié)果，Parasoft SOAtest的API測試不僅被質(zhì)量保證專家使用，而且軟件架構(gòu)師和開發(fā)人員也使用了API測試，這證明了Parasoft SOAtest跨越邊界并在多個(gè)層面上提供業(yè)務(wù)價(jià)值的強(qiáng)大功能。

結(jié)果：統(tǒng)一開發(fā)和質(zhì)量保證

Parasoft對DSSTG的軟件開發(fā)和質(zhì)量檢查操作產(chǎn)生了重大影響。它不僅將這兩個(gè)小組統(tǒng)一了，還簡化了他們的流程并將其績效提高到了新的水平。

例如，他們在開發(fā)人員中建立測試驅(qū)動的開發(fā)方法方面取得了重大進(jìn)展。Goldin將這種方法描述為“非常簡單”。正如他所說：“開發(fā)人員定義了功能。然后，他們實(shí)施將適當(dāng)使用該功能的測試用例。他們確保測試通過，并且不退縮任何功能。

“當(dāng)開發(fā)人員完成工作時(shí)，他們已經(jīng)完全創(chuàng)建了功能，他們已經(jīng)開發(fā)了完整的集成測試，可以將其添加到集成測試框架中，并且可以完成。他們不必花時(shí)間編寫其他測試。”

這導(dǎo)致了顯著的生產(chǎn)率和質(zhì)量提高。 “發(fā)現(xiàn)已經(jīng)實(shí)施的錯誤與在功能中查找錯誤相比，功能的成本要高得多。”他補(bǔ)充說。

“有了Parasoft，我們就能用一塊石頭殺死兩只鳥，” Goldin說。 “您測試該功能。當(dāng)您對結(jié)果感到滿意時(shí)，您將立即生成一個(gè)回歸套件，并準(zhǔn)備好進(jìn)行自動化。您無需再進(jìn)行兩次測試。一口氣完成所有操作。那是一個(gè)巨大的優(yōu)勢。”

但是，特別值得注意的是軟件開發(fā)和質(zhì)量檢查流程的統(tǒng)一。現(xiàn)在，由開發(fā)人員創(chuàng)建的測試將由質(zhì)量檢查重用。交付測試后，QA測試人員將對其進(jìn)行擴(kuò)展并創(chuàng)建其他測試，并將其添加到現(xiàn)有的回歸測試資產(chǎn)集中。

測試覆蓋率也有所提高。實(shí)際上，質(zhì)量檢查小組指出，測試覆蓋率提高了25％，尤其是在回歸測試方面。

Vijayakumar說：“我們能夠用相同數(shù)量的資源和相同的分配時(shí)間來增加覆蓋范圍。” “我們的努力獲得了更多回報(bào)。”

現(xiàn)在，質(zhì)量檢查團(tuán)隊(duì)每天運(yùn)行一次其整個(gè)回歸測試套件，以獲得合并結(jié)果。這些結(jié)果提供了基于所有測試的全面功能快照，使團(tuán)隊(duì)可以準(zhǔn)確地知道什么在正確地工作，什么在不正確。通過對軟件質(zhì)量的全面了解，DSSTG能夠盡早發(fā)現(xiàn)回歸。 Goldin說：“回歸不會持續(xù)太久。” “它們很早就得到解決，從而降低了成本并提高了生產(chǎn)率。”

他進(jìn)一步指出，質(zhì)量檢查團(tuán)隊(duì)可以在新功能上花費(fèi)更多的時(shí)間，而在舊功能上花費(fèi)的時(shí)間更少。他說：“這是一個(gè)非常積極的周期。” “將新功能引入產(chǎn)品后，您只需為新功能創(chuàng)建測試，并且測試創(chuàng)建是自動進(jìn)行的，因此您確實(shí)有更多時(shí)間花在開發(fā)新功能上。而且，當(dāng)您發(fā)布該版本時(shí)，您只需要擔(dān)心當(dāng)前的功能集。減少了返工。”

另一個(gè)好處是可以生成測試用例。開發(fā)人員和QA測試人員現(xiàn)在都可以輕松生成新的測試用例，以確定是否滿足軟件要求。滿足了數(shù)百個(gè)新案例到Parasoft SOAtest的軟件需求。在今年早些時(shí)候?qū)?shù)百個(gè)新案例移植到Parasoft SOAtest之后，質(zhì)量檢查小組估計(jì)相關(guān)生產(chǎn)率提高了50％。 Vijayakumar說：“問題不僅是制作新測試用例的時(shí)間，還在于制作新測試用例的難易程度。”

現(xiàn)在，開發(fā)人員和質(zhì)量檢查測試人員更加緊密地合作，以確保軟件質(zhì)量保持極高的水平，并確保出廠的產(chǎn)品絕不包含回歸。

“以前，我們曾經(jīng)有一個(gè)集成測試套件，它是由開發(fā)人員驅(qū)動的，” Goldin說。 “現(xiàn)在，我們有兩個(gè)集成測試套件。一種是開發(fā)人員測試套件，用于捕獲立即回歸。另一個(gè)更為精細(xì)的是QA測試套件，它涵蓋了更多的回歸基礎(chǔ)-添加了更多的測試用例。”最后，DSSTG團(tuán)隊(duì)在測試安全性方面引用了Parasoft的優(yōu)勢。在一種情況下，它能夠隔離一項(xiàng)新功能中隱藏的錯誤，否則很難找到。實(shí)際上，不必將安全測試推遲到最后才將其視為僅審核的做法。

在DSSTG中，它已成為規(guī)范且影響深遠(yuǎn)的整體質(zhì)量流程的一部分。 “我們已經(jīng)使用Parasoft進(jìn)行了廣泛的安全測試，” Goldin說。 “它幫助我們發(fā)現(xiàn)了潛在的安全漏洞。現(xiàn)在，質(zhì)量檢查可以涵蓋從A到Z的安全性。”

最終，Parasoft的自動化測試基礎(chǔ)架構(gòu)對DSSTG產(chǎn)生了強(qiáng)大的影響。它具有統(tǒng)一的開發(fā)和質(zhì)量保險(xiǎn)流程，可幫助團(tuán)隊(duì)創(chuàng)建和重用測試資產(chǎn)。它提高了生產(chǎn)率。而且，它還增強(qiáng)了整體軟件質(zhì)量實(shí)踐，從而確保DSSTG仍然是為其高要求客戶提供有價(jià)值的解決方案的提供商。 “ Parasoft幫助我們增加了測試范圍，并增加了測試的粒度，” Goldin說。 “這有助于我們確保我們的客戶始終收到高質(zhì)量的產(chǎn)品。”