鑽石舞台

摘要

開發了一種自動檢測和分類軋制金屬中三類表面缺陷的方法，該方法允許以指定的效率和速度參數進行缺陷檢測。研究了利用殘差神經網絡對缺陷進行分類的可能性。基於ResNet50神經網絡的分類器被接受為基礎。該模型可以對三類損傷的平面圖像進行分類，基於測試數據，分類精度為96.91%。結果表明，使用ResNet50可以提供出色的識別、高速和準確度，這使其成為檢測金屬表面缺陷的有效工具。

by Ihor Konovalenko ,Pavlo Maruschak,Janette Brezinová ,Ján Viňáš and Jakub Brezina

關鍵詞：冶金；鋼板；表面缺陷；視覺檢測技術；分類

1.導言

鋼帶的表面缺陷會導致其質量受損，而對這些類型的損傷進行分類可以快速識別並消除其發生的原因[1,2,3]。因此，缺陷分類的效率和準確性是金屬產品質量控制的關鍵[4,5,6,7]。

許多光學數字系統被發明出來，允許在足夠高的水平上對軋制金屬表面進行缺陷檢測。然而，已知大量形狀相似的缺陷，其精確識別需要進一步研究[8,9,10]。創建用於檢測和識別不同粗糙度的表面缺陷（具有明顯的顏色強度梯度）的算法仍然是相關的。此外，現有系統通常對軋制金屬帶的照明敏感。因此，在該過程中應確保光流的均勻性。

相關標準[11,12,13]中描述了各類缺陷（如裂紋、毛刺等）的控制要求和主要特徵。在使用基於大量正確標記的缺陷圖像或完整表面示例訓練的神經網絡時，可以考慮缺陷的最大數量。缺陷幾何分析和大樣本統計數據的形成是改進工藝和降低軋制設備維護成本的關鍵，尤其是在消除異常損壞或溫度偏差時。因此，可以防止此類設備的不可預測故障[14,15,16]。

針對這類任務，需要構建基於深度殘差神經網絡的分類模型。在軋制金屬的平面圖像上研究了它們的定性指標。除了使用缺陷圖像作為檢測到的缺陷鏡損傷外，他們還將其視為鋼帶缺陷分類的初始信息[17,18,19,20]。使用神經網絡需要解決幾個任務，例如訓練和控制樣本的形成和準備、選擇神經網絡結構、優化其組件的操作參數，以及驗證所獲得的結果。

不同的神經網絡結構，包括AlexNet、GoogLeNet、ResNet等，用於解決各種缺陷檢測問題。模型的複雜性決定了它的速度。神經網絡是針對某冶金廠的顯著缺陷圖像進行訓練的。這允許在處理訓練樣本期間考慮現有設備的特徵和缺陷形態。這消除了缺陷固有的技術差異問題[21,22]。另一個重要問題是檢測和分類具有明顯不同或相似特徵的不同類別的若干缺陷。對具有此類多個缺陷的軋制金屬型材進行光學數字控制，需要開發和完善已知算法，以提高此類缺陷損傷診斷的準確性。現有系統僅限於在穩定工作條件下識別先前分類的缺陷。

對鋼表面缺陷進行分類是識別缺陷和研究缺陷成因的一項重要任務。這使得降低產品缺陷率成為可能，並大幅減少煉鋼過程中的缺陷數量[23]。在之前的工作中，作者分析了冶金設備的大量缺陷，系統化了其發生的原因，並提出了預測方法[24]。然而，這種方法的潛力並未得到充分利用，因為連鑄機上的澆鑄速度和軋制速度的提高會對冶金設備造成新類型的損壞[25,26]。設備故障會導致軋制金屬中出現的缺陷幾何形狀發生變化，並導致其參數「不穩定」。顯然，軋制產品的低成本光學數字質量控制系統是必要的，目前正在烏克蘭和俄羅斯的冶金廠積極引進。這些系統要解決的主要任務包括：對生產中出現的缺陷進行系統化研究，提供將缺陷的幾何特徵與其發生原因進行比較的能力，以及制定消除技術違規或設備故障的協議和新方法。

基於深度神經網絡的鋼材表面分析方法得到了廣泛應用。在一項研究[27]中，作者提出了一種用於監督鋼缺陷分類的最大池卷積神經網絡方法。對於從實際生產線收集到的七種缺陷的分類任務，錯誤率為7%。在其他研究[28]中，作者提出了一種使用深層結構神經網絡（如具有類激活映射的卷積神經網絡）診斷鋼缺陷的方法。

本研究的目的是開發一種基於殘差卷積神經網絡圖像的金屬平面缺陷識別和分類方法。

2.缺陷及其分類

眾所周知，軋制金屬的缺陷是標準化的。標準GOST 21014-88描述並說明了黑色（鋼）軋制金屬的64種缺陷。同時，現代裝置和控制系統根據其參數的描述對缺陷進行分類，在不同的技術條件下可能會有所不同[11,12,13]。對缺陷特徵的不準確描述會導致其部分遺漏，或將其歸因於缺陷未受損區域。此外，表面缺陷可能來自軋制和煉鋼。

應該注意的是，在現代冶金生產中，只要觀察軋制的工藝模式，缺陷的數量要小得多。它們包括裂紋、機械缺陷和孔洞。根據規範性文件和帶狀缺陷的自動分析，確定了形態特徵，並找到了其外觀的技術原因（表1）。

表1。缺陷形態的觀察標識

在一個類別中，缺陷的形狀、外觀和結構可能不同，這使其分類複雜化。為了解決這個問題，我們使用了基於卷積神經網絡的分類器。

為了支持基於神經網絡的方法，表面監測工具的開發是一項緊迫的任務[29,30,31]，神經網絡通過提供高精度、可靠性和速度，在各個行業證明了其有效性[32,33,34]。

3.數據集培訓

神經網絡分類器在一個樣本上進行訓練，該樣本包含87704張具有三種損傷類型的扁鋼表面數碼照片，以及未損傷表面的圖像（圖1）。訓練圖像的大小為256×256像素。部分圖像取自卡格爾競賽「Severstal:鋼缺陷檢測」[35]。

圖1。具有1級（a）、2級（b）和3級（c）損傷的圖像。見表1和未損壞表面的圖像（d）。

訓練樣本總共包含1820張1級損傷圖像、14576張2級損傷圖像和2327張3級損傷圖像。一些圖片顯示了幾個等級的損壞。特別是，訓練圖像數據庫中有63張1級和2級損傷圖像，228張2級和3級損傷圖像。訓練樣本還包含69272張完整表面的圖像，占其體積的79%。訓練樣本在不同類別圖像的分布上存在顯著的不平衡性，這些圖像代表了現實中的類別分布。訓練樣本的這一特徵要求使用神經網絡的相關訓練技術，這減少了輸入數據異質性的影響[36,37]。數據不平衡會對神經網絡的訓練結果產生負面影響：該算法忽略了小類，導致分類精度較低。為了解決數據不平衡的問題，使用了以下方法：

▪應用類的權重;

•少數群體過採樣技術;

•利用失焦功能。

類權值的設計是為了讓模型更多地關注在訓練樣本中表現較少的類。在實踐中，這是使用Keras庫的工具完成的。權重是標量係數，以權重的損失貢獻的不同模型輸出。該模型所最小化的損失值將是所有個別損失的加權和。但是，在我們的例子中，使用類權重並沒有產生預期的積極效果。

少數類過採樣是通過增廣將訓練樣本擴展為多個訓練樣本來實現的[38,39]。這種方法的使用使我們能夠以可接受的結果訓練分類器。但是，使用focal loss函數可以得到最好的結果，所以本文中給出的所有數據都與使用focal loss函數[40]的分類器有關。

focal loss將一個調製項應用於交叉熵損失，以便將訓練重點放在困難的負面例子上。它降低了分類良好的示例的權重，並將更多訓練重點放在難以分類的數據上。在數據不平衡的實際環境中，大多數類會很快得到很好的分類，因為我們有更多的數據。因此，為了保證我們對少數類也能達到較高的準確性，我們可以使用focal loss在訓練過程中給予少數類例子更多的相對權重。

研究中的鋼樣品表面具有不同的紋理和陰影，照片是在不同的光照條件下獲得的。因此，訓練樣本的特徵不僅是缺陷的顯著多樣性，還包括未損壞的表面及其照明度。為了形成模型的最佳泛化特性，對輸入圖像進行了增強。為此，為模型訓練提供數據的數據生成器將圖像相對於水平軸和垂直軸翻轉，並以一定的概率以90°的倍數旋轉圖像。通過圖像修改來增加訓練樣本的技術被各個應用領域的研究人員廣泛使用[38,39]。為了在驗證過程中實現更好的泛化，使用了一個驗證圖像生成器，它使用隨機增強。鑑於在每個樣本的增強過程中隨機選擇變換，我們可以聲明，對於每個學習階段，圖像的驗證子集將永遠不會重複。OpenCV庫用於擴充。

雖然本研究只選擇了三類表面缺陷，但通過替換最後一層完全連接的神經元，神經網絡分類器很容易擴展。

4.方法

為了解決表面缺陷分類問題，選擇了殘差神經網絡[41]。ResNet是功能最強大的深層神經網絡之一，已經顯示出了優異的性能。殘差網絡成為2015年ImageNet大規模視覺識別挑戰賽（ILSVRC）圖像分類、檢測和定位比賽的冠軍，以及2015年Microsoft COCO：上下文中的常見對象檢測和分割比賽的冠軍。ILSVRC是一項年度計算機視覺競賽，它是基於一個名為ImageNet的公開計算機視覺數據集的子集開發的。

ResNet架構允許通過訓練剩餘表示函數而不是訓練信號表示函數來構建一個高達1202層的非常深的網絡[41,42]。ResNet引入了跳過連接（或快捷連接），將輸入從上一層鏈接到下一層，而無需對輸入進行任何修改。我們沒有將堆疊的層鏈接到所需的底層映射，而是顯式地讓這些層匹配剩餘映射。跳過連接可以擁有更深的網絡並獲得更好的性能。

作為解決表面缺陷分類問題的一部分，我們研究了殘餘神經網絡ResNet34、ResNet50、ResNet152和SeResNet50。剩餘神經網絡ResNet50由微軟研究司令部於2015年提出。ResNet50在圖像識別任務中表現出良好的泛化性能和較低的錯誤率，因此是一種有用的分類工具。讓我們考慮在基本模型RESNET50的示例中檢測表面缺陷的分類器的結構。該分類器有50個堆疊層和2300多萬個可訓練參數。Xu等人[38]認為，堆疊層不應降低網絡性能，因為我們可以簡單地在當前網絡上堆疊快捷連接（不做任何事情的層），由此產生的架構也會執行相同的功能。

ResNet50的架構如圖2所示。模型分為四個階段，每個階段都有一個殘餘塊體。每個殘差塊有三層，分別作1 × 1和3 × 3卷積。

圖2 ResNet50分類器體系結構。

為了減少梯度在深層消失的問題，ResNet網絡使用了快捷連接。快捷連接將輸入直接傳輸到剩餘塊的末端。ResNet50模型分別使用7 × 7和3 × 3 kernel size進行初始卷積和max-pooling, stride均為2。然後網絡的階段1開始，階段1有三個剩餘塊，每個塊包含三層。在第1階段塊的所有三層中進行卷積運算的kernel大小分別為64、64、256。當我們從一個階段過渡到另一個階段時，通道寬度增加了一倍，輸入的大小減少了一半。曲線指的是快捷連接。虛線表示用stride 2對殘塊進行卷積運算。因此，輸入的大小將減少到一半，但通道寬度將增加一倍。

如圖2所示，ResNet50在其block中採用了瓶頸設計。每個區塊都有三層疊在一起。這三層分別是1 × 1,3 × 3和1 × 1卷積。1 × 1卷積層首先被縮減，然後它們恢復維度。3 × 3層作為輸入/輸出尺寸更小的瓶頸。

最後，該網絡有一個平均池化層，接着是一個全連接層，該層包含三個神經元(根據所研究的三類缺陷)。每個神經元在輸出處都可以有一個在[0…1]範圍內的值，可以認為是輸入圖像中存在某一類損傷時模型的置信度。

該分類器是使用Python 3.6編程語言和Keras和TensorFlow庫設計的。

5.培訓

為了訓練分類器，我們使用了遷移學習技術。作為基礎，我們從ImageNet數據庫中獲取了140萬張1000個類別的標籤圖像，並對其進行了培訓。

所有圖像分為測試組（20%）和訓練組（其餘80%）。在訓練模型時，20%的訓練樣本用於驗證。所有類別的損害按其在總金額中所占的比例列示在每組中。

研究了兩類分類器：多標籤分類器和多類分類器。多標籤分類器假設多個類別的損壞可能出現在一張圖像中，而多類別分類器則假設每個圖像只代表一個類別的損壞。由於在我們的例子中，只有0.3%的圖像包含多個類別的損壞，我們可以假設它們對錯誤的總貢獻（如果只有一個類別的損壞）將是微不足道的。之前的研究表明，多標籤分類器具有更好的準確性。因此，只研究了多標籤分類器。在結構上，多標籤分類器模型是四個二進制分類器的組合。在每個閾值的輸出處使用一個單獨的閾值，以確定分析圖像中是否存在特定類別的損傷。這使得實現每個類別的最佳識別質量成為可能。

訓練中使用了二元損失函數和二元焦點損失函數。在每個曆元結束時，保留以下指標的值：假陽性、假陰性、真陽性、真陰性、準確性、精密度、召回率和受試者工作特徵曲線下面積（AUC）。我們已經確定，使用焦損函數可以獲得最好的結果，這已經證明了它們對不平衡數據的適用性[37]。

在之前的研究中發現，使用隨機梯度下降（SGD）優化器和焦損函數可以獲得最佳結果。Adam和RMSprop優化器的使用導致了更糟糕的結果。在訓練分類器時，訓練速率、批量大小和每個曆元的步數等超參數是不同的。

學習率最初設置為0.001或0.0005。每10個時期後，如果損失函數沒有改善，則減少25%。訓練期間，批量大小設置在8-20張圖像範圍內。在每個時代結束時，模型被保存。在過去10個時期內，進行訓練，直到喪失功能有所改善。作為培訓的結果，選擇了驗證損失函數值最低的模型。培訓是在一台配備英特爾Core i7-2600 CPU、32 GiB RAM和兩個NVIDIA GeForce GTX 1060 GPU、6 GiB視頻內存的工作站上進行的。

為了選擇最優分類器模型，研究了29種基於殘差神經網絡的分類器模型。表2給出了其中四個的超參數。

表2分類器模型的超參數。

圖3給出了表2中分類器訓練期間二元焦損函數的變化圖。從驗證損失函數可以看出，該模型在20-40個訓練階段達到了數據泛化的最高水平，之後逐漸出現過度擬合。與此同時，培訓損失繼續減少。

圖3。來自表2的分類器模型的訓練曲線：（a）模型1，（b）模型2，（c）模型3和（d）模型4。

基於ResNet50的模型顯示出最好的結果，該模型使用SGD優化器訓練，學習速率為0.9，批處理大小為20，每epoch的步數為3000。將學習率降低到0.0005會稍微增加訓練的持續時間，但並沒有改善結果。因此，選取0.001為最優值。批量大小在8-20範圍內沒有顯著影響結果。

6.分類器結果的評估和討論

為了評估分類器的質量，我們計算了每個分類器的召回指標、精度、F1分數和二進制精度。

召回指標顯示了某一類別的損壞的哪些部分被正確識別，精度指標表明被識別為屬於特定類別的損傷的哪一部分實際上屬於該類別。

F1分數是一個綜合指標，可以解釋為精確度和召回率的加權平均值，其中F1分數在1時達到最佳值，在0時達到最差值。準確度和回憶度對F1成績的相對貢獻是相等的。

二進制精度度量顯示圖像中所有類別的總體檢測精度。

在訓練期間，在分類器輸出處獲得的基本真值的形式為，其中是類的數量（在我們的例子中是），是輸出向量元素，如果輸入圖像中存在帶索引的類，則等於1，如果不存在，則等於0。

輸出預測向量為[0,1]。如果該向量的元素是（某個極限值），則圖像中存在一個具有索引的類，反之亦然。讓我們表示一個描述以下條件的逐步函數：

我們還表示兩個參數的相等函數，如果它們相同，則返回1，否則返回0：

那麼，單個預測的二進制精度等於：

按大小批量預測輸入圖像的二進制精度：

6.1. 召回度量

發現2級損壞是最容易識別的（對於不同型號，召回範圍為0.7102至0.7403）。這些損傷數量最多，面積較大，使模型具有良好的泛化性質。3級損傷也能很好地檢測到。與周圍背景相比，它也有很大的面積和明顯的形態異質性。對於此類車型的不同車型，召回指標的範圍為0.6169至0.6981。分類器在識別類別1中最精細的損傷方面表現最差，而這在訓練樣本中表現最差。對於這一類，召回率在0.2953到0.3509之間。所有模型都能最好地檢測未損壞的表面；對他們來說，召回率為0.9392–0.9658。在訓練樣本中，未損壞的圖像數量最多（占總數的79%），這使模型能夠最好地了解其特徵。

因此，我們可以得出結論，進一步擴展訓練樣本，特別是對於1類損傷，將允許訓練具有最佳泛化性質的模型。

6.2. 精密度

該指標適用於3級損傷，其形態與背景損傷和其他損傷最為不同。該等級的精度在0.8714–0.8906之間。在2級損傷的分類中也有相當多的誤報。該等級的精度指標為0.8323–0.8561。對於1級損傷，再次獲得最差結果：精度在0.7131–0.8430之間。未受損表面的假陽性病例數最少（精度為0.9401–0.9597）。

6.3. F1成績指標

F1分數是一個綜合指標，總結了召回率和精確度指標的價值。由於它基於前面兩個指標的值，因此顯示了類似的結果：1級損傷的識別最差（其指標範圍為0.4398–0.4706）。2級傷害和3級傷害被更好地識別：它們的度量分別達到0.7940和0.7809。

6.4. 二進制精度度量

二進制精度計算預測與二進制標籤匹配的頻率。不同模型訓練期間的二進制精度圖如圖4所示。對於測試樣本，二元精度在0.9472到0.9691之間。

圖4 表2分類器模型訓練期間的二元精度曲線：（a）模型1，（b）模型2，（c）模型3和（d）模型4。

二值精度度量的值受確定缺陷的精度和確定圖像中是否存在缺陷的精度的影響。由於分類器可以很好地識別缺陷的存在，所有類別的度量值都很高（0.9321–0.9884）。

對分類結果的分析表明，大多數誤報與圖像中類似真實損傷的偽影有關。圖5顯示了沒有缺陷但被錯誤識別為缺陷的圖像。因此，在圖5中，可以看到小瑕疵（1級損傷由小斑點表示，但實際上是表面上的一個缺口）。圖像中的2類缺陷（劃痕和擦傷）具有不同的外觀，其中一個缺陷由暗直線表示。圖5b說明了模型在這種表面形成上的錯誤操作。3級損傷以大面積和顯著的形態多樣性為特徵。在圖5c中，我們可以看到類似的工件。根據獲得的結果，可以假設進一步擴展訓練樣本將允許訓練具有更好特徵的模型，因為這將為模型提供每個類別缺陷的更多特徵。

圖5。1級（a）、2級（b）和3級（c）損傷的誤報。

6.5. 選擇最佳模型

由於模型的每個輸出神經元產生的結果不依賴於其他神經元的值，因此每類缺陷可能有其自己的最佳閾值，在該閾值下將獲得最佳性能。因此，針對每個類別分析了0到1的閾值（步長為0.05）的分類結果。圖6顯示了模型1中每個類別的混淆矩陣，該矩陣顯示了閾值為0.2、0.4、0.6和0.8時正確識別和錯誤識別的樣本比例。每個矩陣的左上單元（真負片）對應於正確識別的未損壞表面，這些表面數量最多。右下角的細胞（真陽性）對應於正確分類的圖像，具有相應類別的缺陷。另外兩個細胞（假陽性和假陰性）對應於I型和II型錯誤。我們的目標是為每一個類找到一個閾值，該閾值將產生最小數量的錯誤。這對於接收器工作特性（ROC）曲線很方便。

圖6 模型1中三類缺陷在不同閾值下的混淆矩陣。在每一行中，分別獲得閾值為0.2、0.4、0.6和0.8的矩陣。

ROC曲線顯示了二進制分類器在輸出信號的不同閾值下識別輸入信號的能力。曲線顯示了在不同閾值下真陽性率（）與假陽性率（）的依賴關係。ROC曲線對類別分布不敏感。如果陽性與陰性的比例改變，ROC曲線不會改變。該曲線下的面積（AUC-ROC）是模型質量的一個整體指標，它總結了模型區分特定類別的能力。

圖7顯示了表2中模型1的ROC曲線。不同類別的AUC-ROC面積為0.90–0.98。從圖中可以看出，3級損傷（AUC-ROC面積為0.98）與未受損表面相比具有顯著的形態差異，是最好的識別。2級損傷也得到了廣泛認可（AUC-ROC面積為0.96）。通常與背景融合的1級細微損傷（最低AUC-ROC面積為0.90）最難檢測。

圖7 具有最佳質量指標的分類器的接收器操作特徵（ROC）曲線（模型1和模型2，表2）。

在分析了模型在不同閾值下的結果後，我們為每個類別選擇了最佳限值，從而提供了最佳的分類精度。表3顯示了最佳閾值的最成功模型的性能指標。

表3。模型1和模型2的性能指標。

在探測方面最有問題的是1類物體。不同的模型在檢測不同類型損傷方面表現出不同的能力。因此，模型2比模型1更好地檢測出16%的1類缺陷，但如精度指標（0.7143對0.8430）所示，顯示出更多的誤報。因此，模型1的整體精度在這一類中更高。對於2級和3級損傷，不同模型的結果非常相似，這在訓練樣本中表現得更好。根據廣義指標F1得分，模型1是最好的。

7.結論

建立了多種基於深度殘差神經網絡的分類模型，並對軋制金屬平面圖像的定性指標進行了研究。結果表明，所提出的模型可以用於高精度的表面缺陷檢測。面積足夠大（2級和3級）的缺陷最好識別。1級細損傷最難識別，它與通常在完整樣本上發現的表面結構最為相似。同時，似乎可以顯著改善1級損傷的結果。這需要在本課程中擴展損傷照片的訓練樣本。

通過對不同類型的ResNet模型的分析，我們發現模型的最佳深度為50層。較簡單的模型（34層）表現出較差的泛化特性，而較深的模型在訓練中表現出更好的結果。然而，測試數據的結果更差，表明擬合過度（或複雜模型的訓練樣本不足）。

基於ResNet50的多標籤分類器的最佳模型顯示，對於所有類型的損傷，分類的平均準確度為0.9691。利用二元焦損函數和SGD優化器對模型進行訓練。