測試自動化如何加快驗(yàn)證和確認(rèn)的速度

確保嵌入式軟件的正確運(yùn)行、質(zhì)量、安全和保障，是嵌入式系統(tǒng)軟件活動的重要組成部分。在很大程度上，團(tuán)隊(duì)通過軟件測試以及在整個(gè)開發(fā)過程中通過分析、可追溯性、文檔等方式來完成。安全關(guān)鍵型軟件有嚴(yán)格的驗(yàn)證和確認(rèn)方法，這些方法通常被編入行業(yè)標(biāo)準(zhǔn)。這就引出了一個(gè)問題：有什么區(qū)別？

驗(yàn)證和審定的區(qū)別是什么？

驗(yàn)證和審定的官方定義在《IEEE標(biāo)準(zhǔn)軟件工程術(shù)語表》中進(jìn)行了定義。

• 驗(yàn)證：確定軟件開發(fā)周期中某一階段的產(chǎn)品是否滿足前一階段建立的需求的過程。
• 審定：在軟件開發(fā)周期的某一階段，確定產(chǎn)品是否滿足前一階段建立的需求的過程。在軟件開發(fā)過程結(jié)束時(shí)評估軟件的過程，以確保符合軟件需求。
• 驗(yàn)證： "我構(gòu)建的產(chǎn)品是否正確？"
• 審定："我構(gòu)建的產(chǎn)品是否正確？"我是否構(gòu)建了正確的產(chǎn)品？"

這些定義抓住了這兩個(gè)測試關(guān)鍵方面的區(qū)別的核心。

驗(yàn)證和審定的目標(biāo)

最終目標(biāo)是打造正確的產(chǎn)品。更多的是要確保產(chǎn)品的質(zhì)量、安全和保障，確保它仍然是正確的產(chǎn)品。

驗(yàn)證是軟件開發(fā)過程的一部分，它可以確保工作的正確性。軟件核查通常包括：

• 符合行業(yè)標(biāo)準(zhǔn)，確保工藝和工件符合準(zhǔn)則。
• 審查、演練、檢查。
• 對開發(fā)過程中產(chǎn)生的工件進(jìn)行靜態(tài)分析和其他活動。
• 執(zhí)行架構(gòu)、設(shè)計(jì)和編碼標(biāo)準(zhǔn)。

審定是證明最終產(chǎn)品符合要求。這些要求包括功能加上可靠性、性能、安全和保障。

對于物理產(chǎn)品來說，審定包括客戶親自看到、試用和測試產(chǎn)品。但對于軟件來說，審定包括軟件的執(zhí)行和軟件運(yùn)行的演示。它通常包括：

• 執(zhí)行代碼以展示正確的功能。
• 在目標(biāo)環(huán)境中執(zhí)行。
• 壓力、性能、滲透和其他非功能測試。
• 直接并經(jīng)常向客戶進(jìn)行驗(yàn)收測試。
• 使用驗(yàn)證過程中的工件來說明需求到最終功能的可追溯性，特別是針對特定的安全和安保功能。

理解驗(yàn)證和審定目標(biāo)之間的區(qū)別很重要，軟件開發(fā)需要這兩個(gè)目標(biāo)。這些活動是軟件開發(fā)工作的主要部分。組織一直在尋求在不影響安全、保安或質(zhì)量的情況下簡化它們。

如何進(jìn)行驗(yàn)證和審定

V模型顯示了開發(fā)安全關(guān)鍵型軟件所使用的更正式的驗(yàn)證和審定方法。它說明了開發(fā)的每個(gè)階段的活動以及它們之間的關(guān)系。

V模型很好地說明了開發(fā)階段和審定階段之間的關(guān)系。在每一個(gè)測試階段，軟件中更完整的部分都要對照定義它的階段進(jìn)行審定。然而，V模型可能意味著瀑布式開發(fā)方法。有一些方法可以將敏捷、DevOps和CI/CD融入到這種類型的產(chǎn)品開發(fā)中。另一方面，審定可以確保每個(gè)階段都是完整的、正確的。

驗(yàn)證包括審查、演練、分析、可追溯性、測試和代碼覆蓋率等活動，以確保團(tuán)隊(duì)正確構(gòu)建流程和產(chǎn)品。舉個(gè)例子，單元測試的執(zhí)行是驗(yàn)證活動，確保單元測試的可追溯性、代碼覆蓋率和測試進(jìn)度就是驗(yàn)證。驗(yàn)證的關(guān)鍵作用是確保構(gòu)建交付的工件從上一階段到規(guī)范，并符合公司和行業(yè)準(zhǔn)則。

驗(yàn)證和審定命名的混亂

各個(gè)組織可能會以稍微不同的方式使用驗(yàn)證和審定。通常的做法是將審定視為軟件開發(fā)接近尾聲時(shí)發(fā)生的活動，在這一過程中，團(tuán)隊(duì)向客戶（或作為其代理的測試人員）展示產(chǎn)品并證明滿足所有需求。嵌入式開發(fā)仍然使用工廠驗(yàn)收測試（FAT）的概念。

另一個(gè)顯著的理念差異是DO-178B/C和相關(guān)標(biāo)準(zhǔn)，用于開發(fā)安全關(guān)鍵型航空電子軟件，審定不是一個(gè)已知的術(shù)語。事實(shí)上，如果驗(yàn)證完成，審定被認(rèn)為是多余的。

"審定是確定軟件需求是正確和完整的過程。DO-178C沒有為軟件驗(yàn)證測試提供指導(dǎo)，因?yàn)榘蠢碚f，經(jīng)過驗(yàn)證正確的軟件，理論上在軟件集成測試中應(yīng)該不會出現(xiàn)審定問題，除非軟件需求不完整或不正確。" - 根據(jù)DO-178C和DO-278A對安全關(guān)鍵軟件進(jìn)行認(rèn)證，Stephen A. Jacklin，NASA艾姆斯研究中心。

用于安全關(guān)鍵型軟件的混合型DevOps管道

在許多嵌入式軟件組織中，完全敏捷流程的實(shí)施與行業(yè)安全保障標(biāo)準(zhǔn)對其的限制并不兼容。工件、代碼、測試結(jié)果和文檔通常有要求和設(shè)定的交付日期。進(jìn)展是基于這些可交付成果（里程碑）。

在某些情況下，如大型軍事和國防項(xiàng)目，里程碑式的交付成果被納入合同和付款安排中。雖然這意味著瀑布法，但沒有理由將軟件開發(fā)局限于此。團(tuán)隊(duì)可以使用混合模式，在內(nèi)部使用迭代和敏捷方法來實(shí)現(xiàn)交付物的里程碑。

在討論驗(yàn)證和審定時(shí)提出這個(gè)問題的原因是，團(tuán)隊(duì)可以在復(fù)雜的安全關(guān)鍵型應(yīng)用上使用持續(xù)集成和測試的許多好處。其中一部分是將左驗(yàn)證和審定轉(zhuǎn)移到開發(fā)過程中盡可能早的位置。例如，沒有理由將單元測試推遲到所有單元都編碼完畢，也沒有理由等著用靜態(tài)分析來分析代碼，直到它準(zhǔn)備好進(jìn)行集成。

同樣，一旦有單元測試的組件準(zhǔn)備好，開發(fā)人員就應(yīng)該盡快嘗試集成測試。將自動化與持續(xù)、迭代的方法結(jié)合起來，可以為軟件驗(yàn)證和審定帶來巨大的好處。Parasoft擁有在SDLC的所有階段解決測試、質(zhì)量和安全問題的工具，如下所示。

V模型顯示了開發(fā)安全關(guān)鍵軟件所使用的更正式的驗(yàn)證和審定的方法。

加速驗(yàn)證

驗(yàn)證包括確保開發(fā)的每個(gè)階段都滿足上一步的規(guī)范的工作。在軟件編碼和測試方面，驗(yàn)證就是確保代碼滿足模塊設(shè)計(jì)，最終滿足高層設(shè)計(jì)和上面的要求。

此外，驗(yàn)證還要確保滿足項(xiàng)目級需求。這些要求包括符合行業(yè)標(biāo)準(zhǔn)、風(fēng)險(xiǎn)管理、可追溯性和指標(biāo)（代碼覆蓋率和合規(guī)性）。Parasoft的軟件測試自動化工具通過自動化記錄保存、文檔、報(bào)告、分析和報(bào)告等許多繁瑣的環(huán)節(jié)來加速驗(yàn)證：

• 在開發(fā)人員編寫代碼時(shí)，盡早使用靜態(tài)分析來確保質(zhì)量和安全。此外，靜態(tài)分析可以防止未來的錯(cuò)誤和漏洞，減少檢查和測試期間遺漏的錯(cuò)誤對下游的影響。
• 自動化編碼標(biāo)準(zhǔn)合規(guī)性，減少人工勞動，加快代碼檢查速度。
• 所有工件的雙向可追溯性，以確保需求有代碼和測試來證明它們被滿足。指標(biāo)、測試結(jié)果和靜態(tài)分析結(jié)果可追溯到組件，反之亦然。
• 代碼和測試覆蓋率，以確保所有的需求都得到了實(shí)現(xiàn)，并確保實(shí)現(xiàn)是按要求進(jìn)行測試的。
• 報(bào)告和分析有助于決策和跟蹤進(jìn)度。決策需要基于從自動化流程中收集的數(shù)據(jù)。
• 從分析和測試結(jié)果中自動生成文檔，以支持流程和標(biāo)準(zhǔn)合規(guī)性。
• 標(biāo)準(zhǔn)遵從自動化，通過自動化最重復(fù)、最繁瑣的流程來降低開銷和復(fù)雜性。而且，工具可以跟蹤項(xiàng)目歷史，并將結(jié)果與需求、軟件組件、測試和記錄的偏差進(jìn)行關(guān)聯(lián)。

加速審定

審定是證明產(chǎn)品符合其要求，在這里，代碼的執(zhí)行是必要的，無論是在單元測試中的隔離，還是在集成的各個(gè)階段。自動化這些測試套件對于嵌入式軟件的開發(fā)來說是一個(gè)巨大的時(shí)間節(jié)省。

審定需要在目標(biāo)硬件上執(zhí)行。優(yōu)化回歸測試可以充分利用現(xiàn)有的資源、人員和硬件。Parasoft測試自動化工具通過減少對手動測試的依賴性來加速審定--保持所有結(jié)果的可追溯性和代碼覆蓋率。

• 所有測試套件的自動化最大限度地減少了手動測試，并降低了因硬件可用性有限而造成的測試瓶頸。
• 基于目標(biāo)和主機(jī)的測試執(zhí)行根據(jù)需要支持不同的審定技術(shù)。
• 左移測試在團(tuán)隊(duì)開發(fā)代碼時(shí)就開始了。它利用單元測試框架，并在代碼準(zhǔn)備好后自動生成線束進(jìn)行測試。隨著組織流程的成熟，可支持測試驅(qū)動開發(fā)和持續(xù)測試。
• 通過智能測試執(zhí)行來管理變化，只專注于對已更改的代碼和任何受影響的依賴程序的測試。
• 代碼、測試、靜態(tài)分析結(jié)果和需求之間的雙向可追溯性，并支持公司范圍內(nèi)的應(yīng)用程序生命周期管理（ALM）工具。

軟件審定可確保團(tuán)隊(duì)構(gòu)建正確的軟件，以滿足客戶和市場的需求。驗(yàn)證是您滿足要求的證明，并且您的產(chǎn)品可靠，安全，可靠，可以保護(hù)客戶。

軟件驗(yàn)證可確保團(tuán)隊(duì)根據(jù)組織自身的流程和標(biāo)準(zhǔn)以及市場要求的標(biāo)準(zhǔn)來構(gòu)建產(chǎn)品。換句話說，驗(yàn)證可證明產(chǎn)品有效，而驗(yàn)證可確保您劃過所有t并加點(diǎn)所有i。

驗(yàn)證和審定會消耗嵌入式產(chǎn)品開發(fā)中的大部分資源。Parasoft的軟件測試自動化套件提供了一套統(tǒng)一的工具來加速測試，方法是幫助團(tuán)隊(duì)將測試移至開發(fā)的早期階段，同時(shí)保持可追溯性，測試結(jié)果記錄保留，代碼覆蓋率詳細(xì)信息，報(bào)告生成和合規(guī)性文檔。