close

春節前,我們開展了測試自動化工具調查,以便了解各類工具的應用狀態、哪些工具應用更普遍,也期望通過調查,指導大家更好地選擇測試工具。現在結果出來了,看看有沒有出乎意料之外的結果?這裡可以告訴你,有,而且還有其它團隊正在使用的一些新工具,不在調查所列的工具中。


1. 參與調查的人員情況

(行業分布情況,以 「互聯網、信息和通信、金融和保險」 為主)

(角色分布情況,以「測試經理、測試開發人員、業務測試人員」為主)


2. 自動化測試工具整體使用情況

我們可以看到接口測試工具應用最為普遍,比基於UI的功能測試工具要高出32%。這也容易理解,微服務架構、面向接口的開發與應用是當今軟件開發的一個主流趨勢,接口測試自然成為主要的驗證手段,而且接口測試也更容易實現自動化測試,如自動化測試的金字塔模型所展示的。1/3的測試人員會使用後端性能測試工具,但前端性能測試工具的使用情況要低不少,只有十分之一的人使用。覆蓋率分析工具使用率還偏低,測試經理(占31%)是不是都應該使用?可能大家覺得,只有單元測試時才使用,這是一個誤區,但從調查結果看,這個誤區是存在的,單元測試工具所占比例和覆蓋率分析工具所占比例非常接近。


3. 自動化測試框架

自動化測試框架主要使用Selenium IDE +Grid +WebDriver ,超過三分之一。自研的比重也不低,占了31.4%,接近三分之一;Robot Framework排在開源框架第二位,但只有十分之一左右;Cypress和Cucumber 則更低,分別為5.1%和3.8%。其它框架包括 Python Behave,pytest,Http Runner等被其它團隊在使用。

4. 測試管理工具

JIRA成為主流的測試管理工具,但只占1/4;自研的,略低,但也接近1/4。國產開源的「禪道」占比也比較高,接近18%,遠遠超過比較流行的TestLink。新秀MeterSphete以其易用性受到歡迎,正在逼近TestLink。其它被使用的測試管理工具有redmine,Teambition。

5. 接口測試工具

接口測試工具中,JMeter 和 Postman 旗鼓相當,占比約60%,遙遙領先其它工具,頭部特徵明顯。自研占的比重也不低,緊隨其後,而Swagger平台處在單個工具第3位,但占比不到十分之一。

6. 基於UI的功能測試工具

基於UI的測試工具中,Selenium,占比約46%,不到50%,但遙遙領先其它工具,單個工具第二位的Appium只有12.2%。自研占的比重也不低,18.6%,Airtest、Cypress占比還很低,而其它的測試工具包括pytest、Eggplant、Protractor、TestCafe等。

7.嵌入式測試工具

互聯網、金融等多數行業幾乎很少使用嵌入式測試工具,所以 「其它」 (多數填 「沒有使用」)排在第一位;其次,沒有特別流行的工具,單一工具占比最高的前3位(ETest Studio、Testbed、klocwork)占比也只有5%左右。自研占比也很高28.8%。

8.單元測試工具

單元測試工具取決於開發所用的編程語言,目前使用最多的編程語言還是Java,所以JUnit、TestNG分別處在第1、3位,合計為43.6%;雖然TestNG號稱新一代單元測試工具,有優勢,但還是輸給了JUnit,不到JUnit的一半。而python應用排在第二位,所以pytest、unittest 分別處在第2、4位,占比合計約30.8%。第3位C語言的C++Test、LDRA、Google Test等合計占比很低,低於9%。

9.測試覆蓋率分析工具

測試覆蓋率分析工具和單元測試工具有對應關係,JaCoCo遙遙領先,但Coverage.py占比不高,與C++測試覆蓋率分析工具Bullseue Coverage 接近,占比8.3%;C語言的gcov+lcov占比也不低,5.8%。這裡「其他」占比很高,和嵌入式測試工具情況類似,許多人沒有使用過,如前面所說,測試經理可能需要反思,系統層次的功能測試也是可以使用的,例如測試風險分析、測試用例完善甚至精準測試等都需要依賴測試覆蓋率分析工具。

10.性能測試工具

今天后端性能測試工具不再是LoadRunner的天下,LoadRunner占比只有14.1%,而JMeter遙遙領先,占比超過60%。Locust 雖然不錯,但占比很低3.8%;自研比重不算高。

前端性能測試工具,如前面所說,大家平時使用不足,所以「其它」比重很高、排第一,雖然只有23.7%。自研的,超過1/5,達到22.4%。單個工具中,Monkey排第一,Google lighthouse 排在第二,而騰訊PerfDog排在第3,也獲得不錯的成績。

11.安全性測試工具

安全性測試工具分為靜態分析(SAST)工具和、動態安全性測試(DAST)工具和模糊測試工具,總體看相對比較分散,但在SAST中SonarQube還算不錯,占比(37.2%)遙遙領先,是第2位Coverity(12.2%)的3倍多。在DAST中Burp Suite也算不錯,占比(19.2%)較高,是第2、3名SQLMap、ZAP的3倍左右。模糊測試工具中,排在第1、2位的Fuzzbuzz、Bfuzz占比也只有8%左右,其它工具占比更低,包括大名鼎鼎的AFL,占比也只有2.6%。


掃碼優惠購書

arrow
arrow
    全站熱搜
    創作者介紹
    創作者 鑽石舞台 的頭像
    鑽石舞台

    鑽石舞台

    鑽石舞台 發表在 痞客邦 留言(0) 人氣()