測試自動化如何加速軟件驗(yàn)證和軟件確認(rèn)

確保嵌入式軟件的正確操作，質(zhì)量、安全性和保障是嵌入式系統(tǒng)軟件活動的重要組成部分。在很大程度上，團(tuán)隊(duì)通過軟件測試以及整個(gè)開發(fā)過程中的分析、可追溯性、文檔等來完成此任務(wù)。關(guān)鍵安全軟件具有嚴(yán)格的驗(yàn)證和確認(rèn)方法，這些方法通常被編入行業(yè)標(biāo)準(zhǔn)。這就引出了一個(gè)問題：有什么區(qū)別？

驗(yàn)證和確認(rèn)有什么區(qū)別？

軟件驗(yàn)證和軟件確認(rèn)的正式定義在軟件工程術(shù)語的IEEE標(biāo)準(zhǔn)術(shù)語表中定義。

驗(yàn)證：確定軟件開發(fā)周期中給定階段的產(chǎn)品是否滿足上一階段所建立的要求的過程。

確認(rèn)：在軟件開發(fā)過程結(jié)束時(shí)進(jìn)行軟件評估的過程，以確保符合軟件要求。

Barry Boehm在“驗(yàn)證和確認(rèn)軟件需求和設(shè)計(jì)規(guī)范”中寫了更簡潔的定義：

驗(yàn)證：“我在正確地制造產(chǎn)品嗎？”

確認(rèn)：“我在制造合適的產(chǎn)品嗎？”

這些定義使測試的這兩個(gè)關(guān)鍵方面之間的差異變得至關(guān)重要。

驗(yàn)證與確認(rèn)的目標(biāo)

最終目標(biāo)是制造合適的產(chǎn)品。不僅如此，它還可以確保產(chǎn)品的質(zhì)量、安全性和保障，以確保它是正確的產(chǎn)品。

驗(yàn)證是確保工作正確的軟件開發(fā)過程的一部分。軟件驗(yàn)證通常包括：

• 符合行業(yè)標(biāo)準(zhǔn)，確保過程和工件符合準(zhǔn)則。
• 審查、演練、檢查。
• 對開發(fā)過程中產(chǎn)生的工件進(jìn)行靜態(tài)分析和其他活動。
• 實(shí)施架構(gòu)，設(shè)計(jì)和編碼標(biāo)準(zhǔn)

驗(yàn)證表明最終產(chǎn)品符合要求。這些要求包括功能性、可靠性、性能、安全性和保障。

對于物理產(chǎn)品，驗(yàn)證包括客戶自己查看、嘗試和測試產(chǎn)品。但是對于軟件來說，驗(yàn)證包括軟件的執(zhí)行和運(yùn)行演示。它通常涉及：

• 代碼執(zhí)行以演示正確的功能。
• 在目標(biāo)環(huán)境中執(zhí)行。
• 壓力、性能、滲透性和其他非功能性測試。
• 直接并經(jīng)常對客戶進(jìn)行驗(yàn)收測試。
• 使用驗(yàn)證過程中的工件來說明需求對最終功能的可追溯性，尤其是對于特定的安全保障功能。

了解驗(yàn)證目標(biāo)和驗(yàn)證目標(biāo)之間的差異以及軟件開發(fā)需要同時(shí)實(shí)現(xiàn)這兩個(gè)方面非常重要。這些活動是軟件開發(fā)工作的主要部分。組織一直希望在不損害安全性、保障或質(zhì)量的情況下簡化它們。

如何進(jìn)行驗(yàn)證和確認(rèn)

V模型顯示了進(jìn)行更正式的驗(yàn)證和確認(rèn)的方法，該方法開發(fā)了對安全至關(guān)重要的軟件。它說明了每個(gè)開發(fā)階段的活動及其之間的關(guān)系。

軟件開發(fā)的V模型顯示每個(gè)階段與在測試的每個(gè)階段推斷出的驗(yàn)證之間的關(guān)系。

V模型非常適合說明開發(fā)階段和驗(yàn)證階段之間的關(guān)系。在每個(gè)測試階段，都會根據(jù)定義軟件的階段對軟件的更完整部分進(jìn)行驗(yàn)證。但是，V模型可能暗示瀑布式開發(fā)方法。有多種方法可以將Agile，DevOps和CI/CD集成到此類產(chǎn)品開發(fā)中。

另一方面，驗(yàn)證可確保每個(gè)階段均已完成并正確完成：

軟件開發(fā)的V模型，顯示了每個(gè)開發(fā)階段之間的驗(yàn)證關(guān)系。

驗(yàn)證涉及審查、演練、分析、可追溯性、測試和代碼覆蓋率以及其他活動，以確保團(tuán)隊(duì)正確地構(gòu)建過程和產(chǎn)品。例如，執(zhí)行單元測試是一個(gè)驗(yàn)證活動，確保單元測試的可追溯性、代碼覆蓋率和測試進(jìn)度是驗(yàn)證。驗(yàn)證的關(guān)鍵作用是確保構(gòu)建從上一階段到規(guī)范的交付工件，并符合公司和行業(yè)準(zhǔn)則。

驗(yàn)證和確認(rèn)命名混亂

組織可能會以略有不同的方式使用驗(yàn)證和確認(rèn)。通常的做法是考慮在軟件開發(fā)快要結(jié)束時(shí)進(jìn)行驗(yàn)證，在這種活動中，團(tuán)隊(duì)向客戶（或充當(dāng)測試人員的測試人員）展示產(chǎn)品并證明滿足所有要求。嵌入式開發(fā)仍然使用工廠驗(yàn)收測試（FAT）的概念。

理念上的另一個(gè)顯著差異是DO-178B/C和用于開發(fā)安全關(guān)鍵型航空電子軟件的相關(guān)標(biāo)準(zhǔn)，而其驗(yàn)證并不是一個(gè)眾所周知的術(shù)語。實(shí)際上，如果驗(yàn)證完成，則驗(yàn)證被認(rèn)為是多余的。

驗(yàn)證是確定軟件要求正確和完整的過程。DO-178C不提供軟件驗(yàn)證測試的指南，因?yàn)橛欣碛烧J(rèn)為，理論上驗(yàn)證正確的軟件在軟件集成測試期間應(yīng)該沒有驗(yàn)證問題，除非軟件要求不完整或不正確。DO-178C和DO-278A下的安全關(guān)鍵軟件，美國宇航局Ames研究中心的Stephen A. Jacklin

盡管我認(rèn)為Boehm的定義與術(shù)語的更常見用法相對應(yīng)，但仍有一些人可能會將單元測試和集成測試視為驗(yàn)證步驟而非驗(yàn)證步驟。

安全關(guān)鍵軟件的混合DevOps管道

在許多嵌入式軟件組織中，完全敏捷過程的實(shí)施與行業(yè)安全標(biāo)準(zhǔn)所施加的限制不兼容。工件、代碼、測試結(jié)果和文檔通常具有必需的日期和設(shè)置的交貨日期。進(jìn)度基于這些可交付成果（里程碑）。

在某些情況下，例如大型軍事和國防項(xiàng)目，里程碑可交付成果已內(nèi)置在合同和付款安排中。盡管這意味著采用瀑布式方法，但沒有理由將軟件開發(fā)限于此。團(tuán)隊(duì)可以使用混合模型在內(nèi)部使用迭代和敏捷方法來實(shí)現(xiàn)可交付成果的里程碑。

Parasoft敏捷V模型

之所以在驗(yàn)證和確認(rèn)的討論中提到這一點(diǎn)，是因?yàn)閳F(tuán)隊(duì)可以利用對復(fù)雜的安全關(guān)鍵型應(yīng)用程序進(jìn)行持續(xù)集成和測試的許多好處。其中的一部分是將左驗(yàn)證和確認(rèn)移至開發(fā)過程的早期。例如，沒有理由將所有單元的編碼都推遲到單元測試之前，也沒有理由等待靜態(tài)分析來分析代碼，直到準(zhǔn)備好進(jìn)行集成為止。

同樣，一旦準(zhǔn)備好進(jìn)行單元測試的組件，開發(fā)人員就應(yīng)嘗試進(jìn)行集成測試。將自動化與連續(xù)，迭代的方法相結(jié)合，可以為軟件驗(yàn)證和驗(yàn)證帶來巨大的好處。Parasoft的工具可解決SDLC所有階段的測試、質(zhì)量和安全性，如下所示。

V模型顯示了進(jìn)行更正式的驗(yàn)證和確認(rèn)的方法，該方法開發(fā)了對安全至關(guān)重要的軟件。

Parasoft產(chǎn)品如何適合SDLC V模型的每個(gè)階段。

加速驗(yàn)證

驗(yàn)證涉及確保開發(fā)的每個(gè)階段都滿足上一步規(guī)范的工作。在軟件編碼和測試方面，驗(yàn)證可確保該代碼滿足模塊設(shè)計(jì)，并最終滿足其上的高級設(shè)計(jì)和要求。

此外，驗(yàn)證可確保滿足項(xiàng)目級別的要求。此類要求包括符合行業(yè)標(biāo)準(zhǔn)、風(fēng)險(xiǎn)管理、可追溯性和指標(biāo)（代碼覆蓋率和合規(guī)性）。Parasoft的軟件測試自動化工具通過自動化記錄保存、文檔編制、報(bào)告、分析和報(bào)告的許多繁瑣方面來加速驗(yàn)證：

• 在開發(fā)人員編寫代碼時(shí)，請盡早使用靜態(tài)分析以確保質(zhì)量和安全性。此外，靜態(tài)分析可防止將來出現(xiàn)錯(cuò)誤和漏洞，從而減少在檢查和測試過程中遺漏的錯(cuò)誤對下游的影響。
• 使編碼標(biāo)準(zhǔn)合規(guī)性自動化，以減少人工工作并加速代碼檢查。
• 所有工件的雙向可追溯性，以確保需求具有代碼和測試以證明它們已得到滿足。指標(biāo)、測試結(jié)果和靜態(tài)分析結(jié)果可追溯到組件，反之亦然。
• 代碼和測試范圍，以確保所有要求均已實(shí)現(xiàn)，并確保按要求對實(shí)現(xiàn)進(jìn)行了測試。
• 報(bào)告和分析功能有助于決策制定并跟蹤進(jìn)度。決策需要基于從自動化流程中收集的數(shù)據(jù)。
• 從分析和測試結(jié)果自動生成文檔，以支持流程和標(biāo)準(zhǔn)合規(guī)性。
• 通過自動化最重復(fù)和繁瑣的流程，實(shí)現(xiàn)標(biāo)準(zhǔn)合規(guī)性自動化，以減少開銷和復(fù)雜性。而且，工具可以跟蹤項(xiàng)目歷史記錄，并將結(jié)果與需求、軟件組件、測試和記錄的偏差相關(guān)聯(lián)。

加速驗(yàn)證

驗(yàn)證證明一種產(chǎn)品符合其要求，在這種情況下，無論是單元測試的隔離還是集成的各個(gè)階段，都必須執(zhí)行代碼。這些測試套件的自動化可為嵌入式軟件開發(fā)節(jié)省大量時(shí)間。

驗(yàn)證需要在目標(biāo)硬件上執(zhí)行。優(yōu)化回歸測試可以充分利用可用資源、人員和硬件。Parasoft測試自動化工具通過減少對手動測試的依賴來加速驗(yàn)證-保持所有結(jié)果的可追溯性和代碼覆蓋率：

• 所有測試套件的自動化可最大程度地減少手動測試，并減少由于硬件可用性有限而帶來的測試瓶頸。
• 基于目標(biāo)和基于主機(jī)的測試執(zhí)行支持所需的不同驗(yàn)證技術(shù)。
• 團(tuán)隊(duì)開發(fā)代碼后即開始進(jìn)行左移測試。它利用單元測試框架，并在代碼準(zhǔn)備就緒后自動生成測試工具。隨著組織流程的成熟，可以為測試驅(qū)動的開發(fā)和持續(xù)測試提供支持。
• 通過智能測試執(zhí)行來管理更改，以僅針對已更改的代碼和任何受影響的依賴項(xiàng)集中測試。
• 代碼、測試、靜態(tài)分析結(jié)果以及對公司范圍的應(yīng)用程序生命周期管理（ALM）工具的要求和支持之間的雙向可追溯性。

總結(jié)

軟件驗(yàn)證可確保團(tuán)隊(duì)構(gòu)建正確的軟件，以滿足客戶和市場的需求。驗(yàn)證是您滿足要求的證明，并且您的產(chǎn)品可靠、安全并且可以保護(hù)客戶。

軟件驗(yàn)證可確保團(tuán)隊(duì)根據(jù)貴組織自身的流程和標(biāo)準(zhǔn)以及市場所需的流程和標(biāo)準(zhǔn)來構(gòu)建產(chǎn)品。 換句話說，驗(yàn)證可證明產(chǎn)品有效，而驗(yàn)證可確保您劃過所有t并加點(diǎn)所有i。

驗(yàn)證和驗(yàn)證會消耗嵌入式產(chǎn)品開發(fā)中的大部分資源。Parasoft的軟件測試自動化套件提供了一套統(tǒng)一的工具，可幫助團(tuán)隊(duì)將測試移至開發(fā)的早期階段，同時(shí)保持可追溯性、測試結(jié)果記錄保留、代碼覆蓋率詳細(xì)信息、報(bào)告生成和合規(guī)性文檔，從而加快測試速度。