工業(yè)場景中缺陷檢測的算法探討

工業(yè)場景中缺陷檢測的算法探討

工業(yè)現(xiàn)場的產品缺陷檢測,一項重要的不可缺少的環(huán)節(jié),除了通過儀器儀表做的檢測,還有很多情況下,同時視覺檢測產品的缺陷和瑕疵. 這個時候,計算機視覺的人工智能技術就可以發(fā)揮它的作用,替代或者輔助人員做產品的質檢,實現(xiàn)無人化,高速檢測,高精度檢測的任務.
我們正在做這方面的技術研究和探索,下一步將開展通用產品的缺陷檢測的算法和產品的研發(fā)和測試.

0.png
out.gif
1.jpg

0.序篇

工業(yè)現(xiàn)場的品控管理中,缺陷檢測是重要一環(huán),傳統(tǒng)的缺陷檢測存在如下問題:

  • 缺陷檢測環(huán)節(jié)依賴人工完成,需要耗費大量的人力和物力.
  • 人工檢測存在人為的檢測失誤,會隨著勞動強度和人員的狀態(tài)改變,存在很多不確定性.
  • 人工檢測的精度和準確度無法和機器檢測相提并論.
  • 速度上和工作強度上,人工無法和機器相比.

所以說,在工業(yè)場景中,生產技術密集型企業(yè),連續(xù)生產產線上等場合,通過增加機器視覺的缺陷檢測環(huán)節(jié),可以大幅減少人工,提升品控效率,提高生產率和良品率,最終增加產品附加值.

相比于目前人工智能在其他一些領域的應用,在工業(yè)現(xiàn)場的基于計算機視覺的缺陷檢測,瑕疵檢測的人工智能技術應用,更加接地氣,更加能直接給企業(yè)帶來價值.

|
i1.jpeg

|
i2.jpeg

|
i3.jpeg

|

1.探索

下面我針對工業(yè)現(xiàn)場的不同場景,基于算法的角度,做一下缺陷檢測的探索工作.

  1. A fast and robust convolutional neural network-based defect detection model in product quality control

檢測對象:適合于目標對象為平面的表面缺陷檢測:如布匹缺陷,金屬表面缺陷,產品外表面的缺陷和瑕疵檢測等.

主要通過對輸入圖像進行切片子刮,然后把切片圖像送入深度學習網(wǎng)絡中做判斷威酒,做圖像分類訓練窑睁。在推理時,通過滑窗檢測方式進行逐位置識別葵孤。

優(yōu)缺點:

1担钮、 由于使用分類方式,準確率較為高

2尤仍、 由于滑窗遍歷箫津,速度慢

a1.jpg
a2.jpg
  1. Automatic Defect Detection of Fasteners on the Catenary Support Device Using Deep Convolutional Neural Network(基于深度卷積網(wǎng)絡的接觸網(wǎng)支架緊固件缺陷自動檢測)

    檢測對象:適合復雜外形的支架和關鍵固件和連接件的缺陷檢測,比如:高壓輸電線路的巡檢,大型器械的連接件的檢測等等.

三步檢測

算法采用方式為Object Detection的方法做目標檢測,針對小目標的準確檢測,采用了三步檢測的方法.

b2.jpg

第一階段:定位主要結構件位置,采用SSD作為檢測網(wǎng)絡,先做第一步的定位檢測.

b3.jpg

第二階段:對第一階段檢測出的各個結構圖像中的緊固件做檢測宰啦,也是采用Object Detection方式 比如 yolo,進行目標檢測和識別苏遥。

b4.jpg

第三階段:在第二階段的基礎上,對檢測圖像進行crop绑莺,將其送到分類網(wǎng)絡進行分類暖眼,看是否缺少緊固件。

![c1.jpg](https://upload-images.jianshu.io/upload_images/3160023-459a25fc9693949e.jpg?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
  1. Automatic Fabric Defect Detection with a Multi-Scale Convolutional Denoising Autoencoder Network Model(基于多尺度卷積消噪自編碼網(wǎng)絡模型的織物疵點自動檢測)

    檢測對象:紡織物和布匹的瑕疵點檢測纺裁。
    

主要思想:織物疵點檢測是紡織制造業(yè)質量控制中必不可少的環(huán)節(jié)诫肠。傳統(tǒng)的織物檢測通常采用人工視覺的方法進行,效率低欺缘,長期工業(yè)應用精度差栋豫。論文提出使用高斯金字塔結合語義分割的方式來重建缺陷,推理階段通過結合多尺度結果谚殊,完成融合丧鸯。這種方法在織物疵點檢測中有幾個突出的優(yōu)點。首先嫩絮,只需少量的無缺陷樣本就可以進行訓練丛肢。這對于收集大量有缺陷樣品困難且不可行的情況尤其重要。其次剿干,由于采用了多模態(tài)積分策略蜂怎,與一般的檢測方法相比,該方法具有更高的魯棒性和準確性置尔。第三杠步,根據(jù)我們的結果,它可以處理多種類型的紡織面料榜轿,從簡單到復雜幽歼。實驗結果表明,該模型具有較強的魯棒性和良好的整體性能谬盐。

模型結構:

c1.jpg
c2.jpg

檢測結果:

c3.jpg
c4.jpg
c5.jpg
d1.jpg
  1. Automatic Metallic Surface Defect Detection and Recognition with Convolutional Neural Networks

檢測對象:金屬表面缺陷檢測

主要思想: 用一種能準確定位和分類從實際工業(yè)環(huán)境中獲取的輸入圖像中出現(xiàn)的缺陷的雙重過程來自動檢測金屬缺陷甸私。設計了一種新的級聯(lián)自動編碼器(CASAE)結構,用于缺陷的分割和定位飞傀。級聯(lián)網(wǎng)絡將輸入的缺陷圖像轉化為基于語義分割的像素級預測掩模颠蕴。利用壓縮卷積神經網(wǎng)絡(CNN)將分割結果的缺陷區(qū)域劃分為特定的類泣刹。利用工業(yè)數(shù)據(jù)集可以成功地檢測出各種條件下的金屬缺陷。實驗結果表明犀被,該方法滿足金屬缺陷檢測的穩(wěn)健性和準確性要求椅您。同時,它也可以擴展到其他檢測應用中寡键。

其實還是使用語義分割網(wǎng)絡先定位像素級別的缺陷位置掀泳,然后通過分類網(wǎng)絡對缺陷進行識別。

d1.jpg
d2.jpg

實驗結果:

d3.jpg
  1. A Surface Defect Detection Method Based on Positive Samples

    檢測對象:密集織物

    主要思想:本文提出了一種新的基于正樣本訓練的缺陷檢測框架西轩≡倍妫基本檢測的概念是建立一個重建網(wǎng)絡,它可以修復樣本中存在的缺陷區(qū)域藕畔,然后對輸入樣本與恢復樣本進行比較马僻,以指示缺陷區(qū)域的準確。結合GAN和自動編碼器進行缺陷圖像重建注服,利用LBP進行圖像局部對比度檢測缺陷韭邓。在算法的訓練過程中,只需要正樣本溶弟,不需要缺陷樣本和人工標注女淑。

    e1.jpg
    e3.jpg

    在訓練階段,x是從訓練集中隨機拍攝的隨機照片辜御。C(x~| x)是一個人工缺陷模塊鸭你。它的功能是自動生成損壞的、有缺陷的樣本擒权,x~是它的輸出袱巨。EN和DE構成一個自動編碼器,EN是一個編碼器碳抄,DE是一個解碼器愉老,整個自動編碼器在G an模型中可以看作是一個生成器。G的任務是修復有缺陷的圖片纳鼎。D是一個鑒別器,D的輸出是它的鑒別器是真正樣本的概率裳凸。

    在測試階段贱鄙,我們將測試圖像x輸入到自動編碼器G中,得到恢復圖像y姨谷,然后使用LBP算法提取x和y的特征逗宁,并比較x的每個像素的特征,其中x和y的特征差異較大梦湘,即缺陷瞎颗。

    實驗結果:

    e4.jpg
通過GAN的方式來進行缺陷檢測和重建一直是個熱點方向件甥,而且效果比較好,本文的思路算是比較新穎哼拔,值得借鑒引有。
  1. Segmentation-based deep-learning approach for surface-defect detection

檢測對象:表面缺陷檢測、裂紋檢測(金屬)

主要思想:本文主要采用了兩個網(wǎng)絡倦逐,一個是判別網(wǎng)絡譬正,一個是分割網(wǎng)絡。分割網(wǎng)絡主要完成缺陷的分割檬姥,而判別網(wǎng)絡在此基礎上對缺陷作進一步分類曾我。

f1.jpg
f2.jpg

算法很新穎,實驗結果也還不錯:

f3.jpg
g1.jpg
  1. SDD-CNN: Small Data-Driven Convolution Neural Networks for Subtle Roller Defect Inspection(小數(shù)據(jù)驅動卷積神經網(wǎng)絡在軋輥微小缺陷檢測中的應用)
    檢測對象:軋輥微小缺陷檢查

主要思想:滾柱軸承是旋轉機械中最關鍵健民、應用最廣泛的部件之一抒巢。外觀缺陷檢測是軸承質量控制的關鍵。然而秉犹,在實際工業(yè)中蛉谜,軸承缺陷往往是極其細微的,并且發(fā)生的概率很低凤优。這就導致了正負樣本數(shù)量的分布差異悦陋,使得依靠數(shù)據(jù)驅動的檢測方法難以開發(fā)和部署。本文提出了一種用于軋輥微小缺陷檢測的小數(shù)據(jù)驅動卷積神經網(wǎng)絡(SDD-CNN)一種用于小數(shù)據(jù)預處理的集成方法筑辨。首先俺驶,應用標簽膨脹(LD)來解決類分布不平衡的問題。其次棍辕,提出了一種半監(jiān)督數(shù)據(jù)增廣(SSDA)方法暮现,以更有效和可控的方式擴展數(shù)據(jù)集。該方法通過訓練一個粗糙的CNN模型來生成地面真值類激活楚昭,并指導圖像的隨機裁剪栖袋。第三,介紹了CNN模型的四種變體抚太,即SqueezeNet v1, Inception v3,VGG-16, and ResNet-18塘幅,并將其用于軋輥表面缺陷的檢測和分類。最后尿贫,進行了一系列豐富的實驗和評估电媳,表明SDD-CNN模型,特別是SDD Inception v3模型庆亡,在滾筒缺陷分類任務中執(zhí)行得非常好匾乓,top-1精度達到99.56%。此外又谋,與原始CNN模型相比拼缝,SDD-CNN模型的收斂時間和分類精度都有顯著提高娱局。
網(wǎng)絡結構:

g1.jpg

實驗結果:

g2.jpg

2.布局

針對以上的論文中的算法,我們不難發(fā)現(xiàn)一些不錯的思路和方法:

  1. 采用目標檢測定位缺陷部位

  2. 采用圖像分類區(qū)分缺陷類型

  3. 采用非監(jiān)督學習(自編碼和GAN的算法)實現(xiàn)少量負樣本,或者都是正樣本的情況下的訓練和檢測

  4. 采用多模型串聯(lián)耦合模式增強模型的精度

    等等...

但是我們也會發(fā)現(xiàn)一些不足:

  1. 依賴預先的設計的模型
  2. 依賴事先采集的數(shù)據(jù)集訓練
  3. 模型的優(yōu)化依賴設計者

這對以上問題,我們大膽假設,提出以下思路:

  1. 采用串聯(lián)模型,多模型耦合建模

  2. 使用孿生網(wǎng)絡做正樣本的模型

  3. 少量正樣本即可訓練

  4. 使用孿生網(wǎng)絡甄別負樣本

  5. 使用動態(tài)的自學習網(wǎng)絡模型,動態(tài)學習,可以在產線上不斷完善模型權重,更新模型

  6. 配合人工判別,增強線上學習的能力

3.實驗

我們使用英偉達的入門級AI開發(fā)板 jetson nano,搭建運行模型,并作為邊緣計算的AI設備.

jetson3.png
jetson2.png
jetson1.png

4.產品

(先占位... ) 我們在jetson nano上做的產品和演示:

out.gif

5.未來

(先占位... )

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市咧七,隨后出現(xiàn)的幾起案子衰齐,更是在濱河造成了極大的恐慌,老刑警劉巖猪叙,帶你破解...
    沈念sama閱讀 211,042評論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件娇斩,死亡現(xiàn)場離奇詭異,居然都是意外死亡穴翩,警方通過查閱死者的電腦和手機犬第,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 89,996評論 2 384
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來芒帕,“玉大人歉嗓,你說我怎么就攤上這事”丑。” “怎么了鉴分?”我有些...
    開封第一講書人閱讀 156,674評論 0 345
  • 文/不壞的土叔 我叫張陵,是天一觀的道長带膀。 經常有香客問我志珍,道長,這世上最難降的妖魔是什么垛叨? 我笑而不...
    開封第一講書人閱讀 56,340評論 1 283
  • 正文 為了忘掉前任伦糯,我火速辦了婚禮,結果婚禮上嗽元,老公的妹妹穿的比我還像新娘敛纲。我一直安慰自己,他們只是感情好剂癌,可當我...
    茶點故事閱讀 65,404評論 5 384
  • 文/花漫 我一把揭開白布淤翔。 她就那樣靜靜地躺著,像睡著了一般佩谷。 火紅的嫁衣襯著肌膚如雪旁壮。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,749評論 1 289
  • 那天谐檀,我揣著相機與錄音抡谐,去河邊找鬼。 笑死稚补,一個胖子當著我的面吹牛童叠,可吹牛的內容都是我干的框喳。 我是一名探鬼主播课幕,決...
    沈念sama閱讀 38,902評論 3 405
  • 文/蒼蘭香墨 我猛地睜開眼厦坛,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了乍惊?” 一聲冷哼從身側響起杜秸,我...
    開封第一講書人閱讀 37,662評論 0 266
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎润绎,沒想到半個月后撬碟,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經...
    沈念sama閱讀 44,110評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡莉撇,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 36,451評論 2 325
  • 正文 我和宋清朗相戀三年呢蛤,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片棍郎。...
    茶點故事閱讀 38,577評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡其障,死狀恐怖,靈堂內的尸體忽然破棺而出涂佃,到底是詐尸還是另有隱情励翼,我是刑警寧澤,帶...
    沈念sama閱讀 34,258評論 4 328
  • 正文 年R本政府宣布辜荠,位于F島的核電站汽抚,受9級特大地震影響,放射性物質發(fā)生泄漏伯病。R本人自食惡果不足惜造烁,卻給世界環(huán)境...
    茶點故事閱讀 39,848評論 3 312
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望狱从。 院中可真熱鬧膨蛮,春花似錦、人聲如沸季研。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,726評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽与涡。三九已至惹谐,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間驼卖,已是汗流浹背氨肌。 一陣腳步聲響...
    開封第一講書人閱讀 31,952評論 1 264
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留酌畜,地道東北人怎囚。 一個月前我還...
    沈念sama閱讀 46,271評論 2 360
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親恳守。 傳聞我的和親對象是個殘疾皇子考婴,可洞房花燭夜當晚...
    茶點故事閱讀 43,452評論 2 348

推薦閱讀更多精彩內容