如何在 Azure DevOps 中進行自動化集成測試 (C#) 和功能/場景之間的鏈接？

Question

我們有自動化的集成測試，我們正在使用 VSTest 在我們的 Azure DevOps 管道中執行它們。 我們還在 Azure DevOps 中存儲了功能/場景。 有什么方法可以在自動化測試和功能/場景之間創建鏈接以跟蹤測試覆蓋率？

Answer 1

TestCase for Associated Automation 中有一些字段，但是您可能已經發現這些字段是只讀的。

為這些字段填充值的主要機制是使用 Visual Studio Professional 或更高版本完成的，並且僅限於某些類型的測試（NUnit、XUnit、MSTest、Coded-UI）。 Visual Studio 中有一個用於創建此映射的測試的上下文菜單：

這些字段的目標是使用 Azure DevOps VSTest@2任務的內置功能，但不是針對已編譯的 dll 運行測試，而是將任務配置為執行測試計划和配置。 內置測試運行器拉取測試用例列表，識別具有關聯自動化的測試用例，在構建中定位關聯的 dll，執行特定的自動化測試，然后通過映射結果將結果發布到測試計划/配置測試計划的測試運行執行的自動化。 這是一個相當復雜的設置（ 在此處描述），其目的是先編寫手動測試用例，然后再將它們自動化。 它還面向測試人員自助執行自動化，而無需了解底層自動化實現。 它甚至可以跨多個構建代理擴展測試執行。 當配置正確時，它非常棒。

這里最大的挑戰不是大多數團隊如何編寫他們的自動化——我的大多數團隊都在使用 Java 或 JavaScript 測試。 此功能已經存在很長時間了，可以追溯到 Microsoft 一個非常不同的時代，該時代的重點是“Microsoft 工具優先”，例如，您需要 Visual Studio 來編輯 Azure DevOps 工作項。 微軟幾乎沒有做出任何讓這種技術與技術無關的開發。 大多數情況下只是更新任務以使用最新版本的 Visual Studio。

這並不意味着微軟一直在懈怠。 基於 java 和 javascript 的測試的問題是出現在 JUnit 測試結果中的測試名稱通常取決於最終用戶實現，因此 Microsoft 很難可靠地預測和配置這些關聯的自動化字段。 對他們來說，支持他們可以控制的東西顯然要容易得多。

話雖如此，有 REST API 可用於更新工作項、測試用例和測試運行執行。 理論上，您可以為測試定義標准命名約定，解析結果並將結果推送到測試運行執行。