在與Coveros測(cè)試自動(dòng)化總監(jiān)Max Saperstone的對(duì)話的第三部分（閱讀第一部分和第二部分）中，我們討論了他在測(cè)試自動(dòng)化中遇到的成功和失敗。

Max發(fā)現(xiàn)了與我們?cè)谑袌?chǎng)上看到的類似的經(jīng)歷：糟糕的計(jì)劃和各個(gè)層次的買斷都不是成功的好環(huán)境。但是，當(dāng)自動(dòng)化的投資回報(bào)率明確時(shí)，成功的可能性就更大。讓我們來(lái)看看Max在這方面的經(jīng)驗(yàn)。

測(cè)試自動(dòng)化：成功與失敗

Mark Lambert：讓我們用最后兩個(gè)問(wèn)題來(lái)結(jié)束這個(gè)討論。第一個(gè)問(wèn)題是，給我一個(gè)例子，您進(jìn)入一個(gè)組織來(lái)幫助他們進(jìn)行自動(dòng)化測(cè)試，這是成功的。它運(yùn)行良好的原因是什么？

Max Saperstone：有趣的問(wèn)題。我想到的一個(gè)例子是，我去了一家進(jìn)行大量手動(dòng)測(cè)試的組織。他們的測(cè)試實(shí)際上是在輸入數(shù)據(jù)并進(jìn)行表單驗(yàn)證。他們的挑戰(zhàn)是由于測(cè)試應(yīng)用程序所需的復(fù)雜性和不同輸入組合而花了數(shù)周的時(shí)間僅測(cè)試系統(tǒng)。他們甚至知道他們沒(méi)有涵蓋所有內(nèi)容。

我們與他們坐下，討論了需求以及他們正在尋找的一切。他們說(shuō)：“您知道嗎？老實(shí)說(shuō)，我們不知道。”他們正在做的部分工作是手動(dòng)輸入郵政編碼，然后該應(yīng)用程序報(bào)告了不同的用戶。對(duì)于返回的每個(gè)用戶，他們都需要執(zhí)行另一個(gè)查詢，以確保信息正確。

我們創(chuàng)建并運(yùn)行了一些腳本，結(jié)果，我認(rèn)為是一百萬(wàn)種不同組合中的四分之三。一個(gè)晚上花了大約八個(gè)小時(shí)才能運(yùn)行所有這些測(cè)試。他們查看了數(shù)據(jù)，然后我們問(wèn)：“好吧。那我們?cè)撛趺崔k？”他們說(shuō)：“我們不知道。”

我們知道所有這些東西都在他們的數(shù)據(jù)庫(kù)中，但是我們沒(méi)有辦法對(duì)其進(jìn)行測(cè)試。因此，實(shí)際上有人做下了這些數(shù)據(jù)，大概花了一個(gè)月的時(shí)間。他們最終回來(lái)說(shuō)：“我們仔細(xì)研究了所有這些數(shù)據(jù)，并不都是正確的。”他們發(fā)現(xiàn)了30或40個(gè)不同的差異，但實(shí)際上他們從來(lái)沒(méi)有真正發(fā)現(xiàn)過(guò)這些差異——他們實(shí)際上是在進(jìn)行隨機(jī)采樣。

我們能夠做的就是獲取該數(shù)據(jù)集，而不是編寫(xiě)這些輸出的腳本，我們將其轉(zhuǎn)換為測(cè)試。仍然需要花費(fèi)整夜的時(shí)間來(lái)運(yùn)行，但是他們沒(méi)有花數(shù)周的時(shí)間來(lái)分析覆蓋率較差的結(jié)果。這些新測(cè)試驗(yàn)證了所有輸出實(shí)際上都是正確的，并且組織能夠以更少的工作來(lái)測(cè)試結(jié)果，從而繼續(xù)向數(shù)據(jù)庫(kù)中添加新客戶。

我們不僅發(fā)現(xiàn)了錯(cuò)誤，而且這種新的自動(dòng)化功能使客戶端實(shí)際上可以跟蹤所有內(nèi)容。對(duì)我來(lái)說(shuō)，那是巨大的成功。將自動(dòng)化和智能手動(dòng)工作相結(jié)合，可以節(jié)省大量時(shí)間和精力。另外，另一項(xiàng)成功是發(fā)現(xiàn)了如果最終出現(xiàn)在最終產(chǎn)品中，則絕對(duì)會(huì)影響公司盈利的錯(cuò)誤。

Mark Lambert：因此，他們通過(guò)利用整個(gè)數(shù)據(jù)集獲得了完整的測(cè)試覆蓋率？而不是隨機(jī)抽樣以嘗試發(fā)現(xiàn)缺陷。

Max Saperstone：差不多。同樣，它完全覆蓋了應(yīng)用程序的一個(gè)區(qū)域。但是實(shí)際看到的正是自動(dòng)化的使用。但是，這是一項(xiàng)昂貴的工作，如果客戶真的希望我們拋棄所有存在的問(wèn)題，我們會(huì)的。在這種情況下，這對(duì)我們的客戶而言是一個(gè)巨大的提升，最終，對(duì)他們而言這是非常值得的，這很好。

Mark Lambert：好的，最后一個(gè)問(wèn)題。這個(gè)項(xiàng)目完全出錯(cuò)的例子呢？是什么原因?qū)е聦?shí)施出錯(cuò)？從中學(xué)到了什么？

Max Saperstone：我當(dāng)時(shí)與現(xiàn)在的公司不在同一個(gè)公司，一位客戶邀請(qǐng)我們說(shuō)：“我們真的需要您使我們的測(cè)試自動(dòng)化。我們有所有這些手動(dòng)測(cè)試員，他們花費(fèi)數(shù)周的時(shí)間進(jìn)行回歸測(cè)試。真正需要的是使這些測(cè)試自動(dòng)化并加快測(cè)試時(shí)間。”

這是前一陣子，我天真地說(shuō)：“可以。”我開(kāi)始研究問(wèn)題，編寫(xiě)一些測(cè)試，并與手動(dòng)測(cè)試人員交談以弄清他們?cè)诖蟛糠謺r(shí)間上花費(fèi)了多少。一兩個(gè)月后，我進(jìn)行了一套不錯(cuò)的測(cè)試，并將其交給測(cè)試人員。

我說(shuō)：“您來(lái)了。您不再需要運(yùn)行手動(dòng)測(cè)試。這些自動(dòng)化測(cè)試將為您調(diào)查應(yīng)用程序的某些領(lǐng)域。”

發(fā)生的事情是測(cè)試人員沒(méi)有運(yùn)行這些自動(dòng)化測(cè)試，或者他們將運(yùn)行它們，但是隨后他們將手動(dòng)重新運(yùn)行它們。據(jù)我了解，他們之所以沒(méi)有運(yùn)行它們，部分原因是測(cè)試人員不在乎運(yùn)行它們。他們不一定信任它們。他們沒(méi)有看到能夠從自動(dòng)化獲得的價(jià)值。同樣，測(cè)試的構(gòu)建方式也不是測(cè)試人員用來(lái)運(yùn)行的完整的端到端測(cè)試。測(cè)試確實(shí)完成了他們所需的應(yīng)用程序部分，但是測(cè)試人員仍然必須執(zhí)行許多其他步驟才能獲得所需的覆蓋范圍。

最后，他們說(shuō)：“好吧，如果我必須運(yùn)行這些手動(dòng)測(cè)試，我們并沒(méi)有真正節(jié)省那么多時(shí)間。”客戶只是看不到被添加到他們的值。我認(rèn)為該項(xiàng)目的主要問(wèn)題是溝通。我們弄清了測(cè)試人員花費(fèi)了很多時(shí)間，但是我們沒(méi)有與他們談?wù)撍麄內(nèi)绾螠y(cè)試軟件以及他們希望能夠?qū)崿F(xiàn)什么自動(dòng)化。我們需要問(wèn)他們：“如果您能做任何事情，那會(huì)是什么？”

 我們過(guò)多地關(guān)注最佳實(shí)踐。問(wèn)題在于這些實(shí)踐和我們自動(dòng)化的測(cè)試不適合他們的整體質(zhì)量工作流程，而這正是他們真正需要的，以便減少一些質(zhì)量檢查時(shí)間。

我認(rèn)為我們應(yīng)該討論更多的高級(jí)策略，并更好地了解可以立即減少手工測(cè)試次數(shù)的方法。我們應(yīng)該問(wèn)我們?cè)撛趺醋霾拍苁箿y(cè)試人員真正為嘗試使用感到興奮？甚至，他們認(rèn)為實(shí)現(xiàn)自動(dòng)化有什么意義，他們熟悉什么技術(shù)？

事實(shí)證明，有些測(cè)試人員甚至不想在計(jì)算機(jī)上單擊“執(zhí)行”以運(yùn)行自動(dòng)化測(cè)試。但是，其他人則對(duì)自動(dòng)化很滿意，每天早晨都會(huì)通過(guò)電子郵件發(fā)送報(bào)告給他們，說(shuō)：“運(yùn)行了，就完成了。”不幸的是，這些討論還沒(méi)有開(kāi)始。

因此，我們返回并重申了該項(xiàng)目。但是，毫無(wú)疑問(wèn)，可以通過(guò)對(duì)這種高級(jí)測(cè)試策略進(jìn)行更多討論來(lái)節(jié)省很多前期工作。這可以回溯到我們正在談?wù)摰牡谝粋€(gè)評(píng)論。

Mark Lambert：因此，沒(méi)有計(jì)劃，沒(méi)有團(tuán)隊(duì)的支持，就沒(méi)有信任或感知的價(jià)值。您盲目地進(jìn)入測(cè)試自動(dòng)化并沒(méi)有真正的幫助。

Max Saperstone：完全正確。它是為了測(cè)試自動(dòng)化而進(jìn)行測(cè)試自動(dòng)化，而不是真正確定什么是真正的價(jià)值，以及我們?nèi)绾螐闹蝎@得最大的收益。

Mark Lambert：太好了。好，非常感謝您，Max。真的很感激您的分享。我認(rèn)為這是一個(gè)很棒的討論。