FasterRCNN定位后的工业CT图像缺陷分割算法研究

Faster R-CNN定位后的工业CT图像缺陷分割算法研究！

吴晓元常海涛苟军年&，2

(1.兰州交通大学自动化与电气工程学院，甘肃兰州730070;

2.兰州交通大学光电技术与智能控制教育部重点实验室，甘肃兰州730070)

摘要

：

由\"aster R-CNN定位的缺陷区域内存在弱边缘，若直接采用常规分割算法对该小区域进行处理，会出现严

-CNN

重的过分割或欠分割现象。在此研究了一种针对\"aster R定位后的工件缺陷的精确阈值分割法。在利用形态

阈值法做变换处理的基础上，进一步利用最大

学开闭重建算法对定位区域进行重建，并对重建后的图像用Otsu双

熵阈值分割法对变换后的图像进行分割，最终对分割出的缺陷进行面积、周长等参数的测量。实验结果表明，所研 究算法较常规的算法对工件的缺陷（裂纹、气泡和夾渣）有更好的分割能力。该算法不仅可以准确地分割出包含弱 边缘的目标，还可以有效排除轮廓背景对分割的干扰。

关键词：\"aster R-CNN ;缺陷分割；形态学开闭重建算法；Otsu双阈值法；最大熵阈值分割法 中图分类号：TP391

文献标识码：A

Faster R-CNN

D0I ： 10.16157/j.issn.0258-7998.181959定位后的工业C

T

中文引用格式！吴晓元，常海涛，苟军年.45(1) ： 76-80.

图像缺陷分割算法研究[J].电子技术应用，2019,

英文弓I 用格式：Wu Xiaoyuan，Chang Haitao，Gou Junnian. Research on defect segmentation algorithm of industrial CT image after

Faster R-CNN positioning[J]. Application of Electronic Technique，2019，45(1) ： 76-80.

Research on defect segmentation algorithm

of industrial CT image after \"aster R-CNN positioning

Wu Xiaoyuan1，Chang Haitao1，Gou Junnian1 2

(1.School of Automation and Electrical Engineering，Lanzhou Jiao-tong University，Lanzhou 730070，China ;

2.Key Laboratory of Optoelectronic Technology and Intelligent Control Ministry of Education，

Lanzhou Jiao-tong University，Lanzhou 730070，China )

Abstract ： The defect area located by \"aster R-CNN has weak edges. The area would be over-segmented or under-segmented if

conventional segmentation algorithm is adopted. This paper made an analysis on precise threshold segmentation algorithm for work­piece defects based on \"aster R-CNN location, reconstructing the localization area by morphological opening and closing reconstruc­tion algorithm, processing the reconstructed image by Otsu\" s dual threshold method, segmenting transformed images by maximum en­tropy threshold segmentation method, and finally measuring the area, perimeter and other parameters of the segmented defects. The research shows that the algorithm in this paper has higher segmentation ability regarding workpiece defects (crack, bubble and slag), compared to conventional algorithms . It not only can accurately segment obCects with weak edges , but also can effectively remove the interference from the contour background to the segmentation.Key words ： \"aster R-CNN ; defect segmentation ； morphological opening and closing reconstruction algorithm ； Otsu\" s dual threshold method ； maximum entropy threshold segmentation method

〇引言

深度学习的兴起带动了卷积神经网络(CNN)的发展，如今一系列的

CNN

想的阶跃型边缘，而是弱边缘[1]。对于工件来说，缺陷只 占图像很小的比例，尤其是气泡和夹渣，邻域间的灰度 差异也不明显。针对这种情况，必须采用恰当的算法才 能实现工件的精确分割。

阈值法因简单而被大量应用在图像分割领域。其 中，应用最广泛的有最大熵阈值法和Otsu阈值法。

Pun最早将信息熵定义引用到图像分割领域，随后 Kapur等提出了最大香农信息熵阈值法[2]。文献[3]采用

改进网络如雨后春笋般地出现，如

-CNN

当前兴盛的\"aster R测领域。\"aster R

网络被广泛地应用于图像检

-CNN

用于目标定位时，定位出的区域

内往往会出现目标边缘较为模糊的情况，其目标不是理 *

*基金项目：光电技术与智能控制教育部重点实验室（兰州交通大学）开 放课题（KFKT2018-M)

76 攻迎网上投稿

www.ChinaAET.com

《电子技术应用》2019年第45卷第1期

计算机技术与应用

Computer Technology and Its Applications

了最大熵阈值法及其改进算法进行图像的分割。

〇t#$阈值法由于高效而被视为最佳的阈值选取法。 如文献[4]采用了二维直方图0tsu法；文献[5]提出了三 维直方图重建的O

tsu阈

值法。

近些年来，边缘检测法（如数学形态学）被广泛地应 用于图像分割领域。文献[6]将数学形态学与Otsu分割

算法结合，取得了比直接分割方法更好的效果。

因此，本文结合文献[6]的思想，提出了将形态学和 上述两类阈值法相结合的方法。实验结果证明了本文算 法对工件缺陷的弱边缘和小目标都能准确地分割出来， 较直接分割法有更佳的效果。1图像分割理论的概述 1.1形态学重建

图像形态学是在数学形态学的基础上发展而来的 非线性图像处理方法，通过具有一定形态的结构元素对 图像进行“探测”，从而得到物体更本质的形态，便于对 图像进行分析和识别[7]。

本文将形态学开闭重建算法用于图像滤波，其重建 的流程如图1所示。

图

1

开闭重建流程

1.2

Otsu阈值分割

Otsu

阈值法又叫最大类间差分法[1]，该算法假设一

幅图像由前景和背景组成，通过统计学的方法选取一个 阈值，运用该阈值使得图像的前景和背景尽可能地分 开。设一幅图像的灰度值是1~!，阈值\"从1~!变化，其 中使类间方差达到最大的为最佳阈值。

当目标相对背景尺寸较小时，或图像中有多余两类 目标时，可以推广为多个阈值的选取，从而实现图像的 多阈值分割。1.3最大熵阈值分割

根据灰度级别，用阈值\"把图像划分为背景和目标 两类，求使背景熵与目标熵之和达到最大的最优阈值的 方法就是最大熵阈值分割法[1]。

设目标熵和背景熵分别为#〇(\")和#B(\")，则熵函数 定义为：

!(\") = #0(\")+#B(\")

(1)

使式(1)取值达到最大的\"！就是最佳阈值。2算法流程及步骤

针对工件弱边缘和小目标缺陷在分割时易出现过 分割或欠分割的现象，本文研究了一种精确分割的算 法，具体流程如图2所示。

《电子技术应用》2019年第45卷第1期图

2

缺陷分割流程图

上述根据缺陷的类型进行分布操作，是因为夹渣和 另两种缺陷的灰度分布相反。如果采用相同的操作，将 不能实现正确的分割。3实验结果及分析 3.1分割实验与结果

仿真实验是在MATLAB R2014a环境下编程完成的， 分割结果如图3~图5所示。

(F)边界提取结果

(G)列灰度曲线

图3

裂纹分割图

图3是裂纹缺陷的分割图。其中，图3(=)为定位好 的裂纹图像；图3(b)为裂纹区域的提取图像；图3(c)为 对裂纹进行形态学重建后的结果；图3(B)为重建后的裂 纹又进行〇t#u双阈值变换后的图像\"图3(e)为最终的分

77

计算机技术与应用

Computer Technology and Its Applications

(a)缺陷定位图

(*)缺陷提取

（5)形态学重建

（

d)OtSu双阈值变换

B

(eB

)分割结果

（f

)边界提取结 果

（g

B

)列灰度曲线

图

4

气泡分割图

(a)缺陷定位图

id

id'

iti

M

I

It(*)缺陷提取（5)形态学重建

（

d)Ot0U双阈值变换

D 0

II1

(e)D

D

IT

分割结果（f)边界提取结果 （g)列灰度曲线

图5夹渣分割图

割结果；图3(f)是图3(e)的边界提取结果；图3(g)是裂 纹区域的列灰度变化曲线图，反映了相邻两列的灰度差 异。由该图可看出，列灰度曲线很平稳，即裂纹与周围背 景没有明显的灰度差异。从图3(e)和图3(f)可看出，本 文算法对灰度过渡不明显的裂纹实现了良好的分割。

图4是气泡缺陷的分割图。从图4(e)和图4(f)可看 出，本文算法对弱小的气泡实现了精确的分割。

图5是夹渣缺陷的分割图。从图5(*)可以看出在提 取出的夹渣区域1和2中，包含了一部分细长的黑色背

78 欢迎网上投稿

www.ChinaAET.com

景区域；同时夹渣2的右侧存在过渡区域。从图5(e)和 图5(f)看出，采用本文的分割算法实现了夹渣1和2的 良好分割。

上述结果和分析表明，本文算法有较好的泛化能 力，不仅准确地分割了具有明显灰度对比度的气泡缺 陷，而且对灰度对比差异不明显的裂纹缺陷或者是有过 渡区域的夹渣缺陷，都实现了良好的分割。3.2对比实验

为了进一步验证本文所研究算法对缺陷分割的准 确性，在此设计对比实验。对比实验采用最大熵阈值分 割法和Otsu双阈值分割法。

3.2.1分割结果的定性分析

将对比实验的结果与本文实验的结果进行比较和 分析，如图6!图8所示。

对图6裂纹分割对比图进行分析，从图6(a)可以看

(a)原图

（*)最大熵阈值分割（5

)最大熵分割边界

(d)Otsu

阈值

（

e)Otsu阈值

（f)本文分割

（g

)本文边界

分割分割边界图

6

裂纹分割对比图

(a)原图

（*)最大熵阈值分割

（5

)最大熵分割边界

(d)O^

tsu9

9

阈值

e)OE

tsu! ^

（

阈值

（f

)本文分割

^g

3

（)本文边界

分割

分割边界

图

7

气泡分割对比图

■

0

0

(a_2

I

)原图

（b)

D2

最大熵阈值分割（5

2

)最大熵分割边界

U1-

n

nQD

Q 2( d ) Otsu 阈 ( e ) Otsu I2值

阈

值

(f)本文分割

(g)本文边界

分割

分割边界图

8

夹渣分割对比图

《电子技术应用》2019年第45卷第1期

Computer Technology and Its Applications

出，对于灰度对比差异不明显的裂纹，最大熵阈值法和

Otsu

阈值法的分割结果均出现了严重的误分割现象，如

图6(b)和图6(d)所示。而采用本文的算法能实现裂纹的 精确分割，如图6(f)所示；同时，图6(g)表明，提取的边 界与裂纹具有很高的吻合度。

对图7气泡分割对比图进行分析，为清晰地观察气 泡的轮廓，对图7(a)进行预处理，即得到图4(b)，把它与 图7(b)、图7(c)、图7(d)和图7(e)进行对比，表明最大熵 阈值法和

Otsu

阈值法不能分割出气泡灰度极弱的边

缘#而与图7(f)和图7(g)对比，可以看出本文算法很好 地分割出了气泡的弱边缘，实现了精确的分割。

对图8夹渣分割对比图进行分析，图8(b)、图8(9)、 图8(d)和图8(e)表明，最大熵阈值法和O

tsu

阈值分割法

对夹渣1和2均产生了误分割现象，即将一部分与夹渣 灰度相近的背景分割出来了#同时，对于夹渣2还存在 过分割现象。而图8(f)和图8(g)表明了本文分割算法的 正确性。

3.2.2分割结果的定量分析

为了说明算法具有客观性和准确性，本文引入了分 割精度、均方根误差和相关性系数三项指标=>?对上面3 种算法的结果分别进行量化评价。

分割精度的计算按照如下公式：

SAc

(1- 1 Ra~\"si)x：〇〇%

(2)

!s

其中，S

A

表示分割精度，Rs为手动勾画出的分割图像的

参考面积，\"s为分割结果的真实面积，IRs-\"sI为错分割 的像素点个数。

分割精度的值越大，分割结果越好#均方根误差

(Root Mean Square Error，RMSE)的

值越小，分割结果越接

近于理想状态；相关性系数！的值越大，分割结果与参 考图像的相似度越高。

上述3种实验结果的评价见表1。由表1可知，对于 灰度对比差异不明显的裂纹缺陷，最大熵阈值法和Otsu 阈值法的分割结果都不是很好，尤其是

Otsu

阈值法的

表1

量化评价结果

最大熵阈值 缺陷

评价指标本文算法

Otsu双阈值

分割法

分割法

分割精度

95.5%

34.6%12.3%裂纹

RMSE

0.2120.8830.3960.7010.5800.598分割精度

77.5%52.6%63 . 1 %气泡

rmse

0.1690.9630.2680.9060.2570.921分割精度

87.4%44.4%42.5%夹渣

1rmse

0.818 60.2000.5590.3620.5620.358分割精度

78 . 3 %39.3%33.3%夹渣

2

rmse

0.921 0.090.5180.4770.5300.466

《电子技术应用》2019年第45卷第1期效果极差，而本文算法实现的结果较优#对于有明显灰 度差异的气泡，本文算法较另外两种算法能很好地分割 出边缘细节#对于含有过渡区域的夹渣缺陷，最大熵阈 值法和Otsu阈值法的分割效果很接近，它们均不能很 好地分割出目标，而本文算法具有较大的分割精度、较 小的均方根误差和较高的相关性系数，因此实现了较好 的分割效果。3.3缺陷的测量

缺陷分割的目的是对缺陷进行分析和测量，因此， 深入地了解缺陷的形状、大小及空间位置是非常重要 的。本文选取了面积、周长、面积周长比、长宽比（即最 小外接矩形的长宽比）和缺陷面积与定位区域的比5个 指标来测量缺陷，其中，面积和周长均用像素点的个数 来计算，具体统计结果见表2。

表2

缺陷测量结果

缺陷面积/

个

周长/

个

面积陷面积与 周长比

长宽比

缺定位区域的比

裂纹8811 . 3330.079/%

气泡

25151 . 6671.416 . 026夹渣

1

37301 . 2330.26712.013夹渣 2

54291.8620.35714.4

由表2中缺陷面积与定位区域的比值可知，本文研

究的工件缺陷都以小目标的形式存在，再结合表1中本 文算法对应的各类缺陷评价指标的值，验证了本文算法 对小目标缺陷分割的有效性。4结束语

本文在Faster R-CNN定位的基础上，针对大部分 的工业工件存在缺陷，且许多以弱边缘或小面积的 形式存在的现状，利用形态学重建、最大熵阈值法和 Otsu双阈值分割法，提出了一种可实现工业CT图像 缺陷精确分割的算法。该算法不存在误分割或过分 割现象#同时，用对比实验从定性和定量的角度，分 别验证了本文算法的优越性。 本文算法具有较好的 应用价值。参考文献

[1] 冯小雨，梅卫，胡大帅.基于改进Faster R

-CRR

的空中目

标检测[J].光学学报，2018，38 (6): 0615004.

[2] 常海涛，苟军年，李晓梅.分形维-最大熵阈值的弱边缘

工业C

T

图像分割算法[J].兰州交通大学学报，2018,37

(1) ： 45-50.

[3] 李锋，阚建霞.基于Sobel算子的图像快速二维最大熵阈

值分割算法[J].计算机科学，2015,42(6 ): 209-210.[4] 龚劬，付云凤，叶剑英，等.基于二维直方图重建的Otsu

图像分割算法[J].计算机科学，2013,40(8): 313-315.[5] 申铉京，龙建武，陈海鹰，等.三维直方图重建和降维的

Otsu阈值分割算法[J].电子学报，2011，39(5): 1108-1114.

[6] 朱言江，韩震，和思海，等.基于最大类间方差法与数学

形态学的遥感图像潮沟提取方法[J].上海海洋大学学报，

79

Computer Technology and Its Applications

2017，26(1) & 146-153.

[7] 邓仕超，黄寅.二值图像膨胀腐蚀的快速算法[J].计算机

工程与应用，2017，53(5) & 207-209.

[8] 胡学龙.数字图像处理[M].北京：电子工业出版社，2014.[9] 周莉莉，姜枫.图像分割方法综述研究[J].计算机应用研

究，2017,34(7) &1921-1928.

(收稿日期 &2018-07-07)

作者简介：

吴晓元（1993-)，女，硕士研究生，主要研究方向&数字 图像处理。

常海涛（1991-)，男，硕士研究生，主要研究方向&数字 图像处理。

苟军年（1977-)，通信作者，男，副教授，主要研究方 向&图像重构、图像处理，E-mail & junnian@mail.lzjtu.cn。

(上

接第

75页）

传递总能耗，但DR-M方案能更有效地降低BS的多播 流量负载。参考文献[1] LIU J

，KATO N，MA J，et al.Device-to-Device communi­

鋁溫，■

、铟奥切软

201510

cation in LTE-Advanced networks & a survey[J]. IEEE Com - munications，Surveys and Tutorials，2015，17(4) & 1923-1940.

[2] ASADI A，WANG Q，MANCUSO V.A Survey on device-

to - device communication in cellular networks [J ]. IEEE Communications Surveys and Tutorials，2014，16(4) & 1801­

1819.[3] MILITANO L

，CONDOLUCI M，ARANITI G，et al.Single

frequency-based Device-to-Device-enhanced video delivery

(A!)图5不同发送功率差值对比，#=15!b„=0.60

相邻档功率差值

for evolved multimedia broadcast and multicast services[J]. IEEE Transactions on Broadcasting，2015，6l

(2) & 263-278.

[4] HOU F，CAI L，X，HO P H，et al.A cooperative multicast

耗很大却没显著提高包接收率，因为大多数时候中继节 点仍会选择功率！i来发送从而使接收总能耗最小。至 于

DR-M

scheduling scheme for multimedia services in IEEE 802.16 networks [J]. IEEE Transactions on Wireless Commuications，

，当A!=0.5时

NACK

，被选出的中继节点也大多时候

D2D

2009，8(3) & 1508-1519.[5] ZHANG Q

，FITZEK F H P，IVERSEN V B.Design and

performance evaluation of cooperative retransmission scheme for reliable multicast services in cellular controlled P2P

以！1发送，通常节点数目不多，导致通过增大发

重传次数降

，

功率（如采用！2=l.〇 + A!)也仅仅换来

虽然F但

DR-M

低，但下降的接收能耗抵不上增加的发送能耗。

R-M

在性能指标和ATECPD上都优于D

BS

R-M

networks [C ] . IEEE International Symposium on Personal ， Indoor and Mobile Radio Communications(PIMRC)，Athens & IEEE Press，2007 & l

能更有效地降低的多播流量负载：使用

S

DR-M

时，对于每个数据包的多播，B发送一次后接近

S

-5.

1009的概率至少会有一个节点正确接收到，B均发送次数近似为1。使用

FR-M

的包平

[6] ZHOU B，HU H，HUANG S Q，et al.Intracluster device-

时，对于每个数据包 到中继节点的蜂窝链

to-device relay algorithm with optimal resource utilization[J]. IEEE Transactions on Vehicular Technology，2013，62(5) &

的多播，BS要反复重发直到中继节点正确接收到，期望 的包发送次数为l/p，其中P为路 PDR。6结论

本文研究基站到某个小区域内多个节点的基于

D2D

BS

2315-2326.

_____________________________

(收稿日期 & 20l8-0)-2))

作者简介!

徐晓瑶(1982-)，男，硕士，高级工程师，主要研究方向： 信号处理平台。

汤泽锋（1994-)，男，硕士研究生，主要研究方向：无线 通信。

池凯凯（1980-)，男，博士，教授，主要研究方向：无线网 络。

通信的高效数据多播，提出了 F

R-M

方案和

DR-M

方案，通过中继节点和最优功率的最优选择，最小化两 个方案中多播簇内所有节点的总能耗。相比于传统的 基站多播方案，所提的两种方案都能有效地降低簇内 总能耗。F

R-M

方案比

DR-M

方案具有更低的平均包

80攻迎网上投稿

www.ChinaAET.com

■电子技术应用》2019年第45卷第1期