目前，基于機器視覺的表面缺陷檢測理論研究和實際應用等環節均有可喜的成果。
缺陷的種類繁多
缺陷通常是不規則的，同一工業產品可能存在不同種類的缺陷。例如，手機外觀缺陷包括有手機外殼上出現的污點、劃痕、邊緣缺失、裂紋、水跡水印、氣泡、手指紋、異物、油墨、異色等問題。這些缺陷可能單獨出現，也可能以組合的形式存在，這使得缺陷檢測變得異常復雜。
同類缺陷的差異較大
比如同樣是劃痕，表現形式各種各樣，有的發白，有的發黑，有的吃視角，有的發生在邊緣地帶等等，出現在不同位置，表現形式都不一樣。因此導致一個問題：你很難收集到全部形態的缺陷樣本，所以在測試集上很難有一個不錯的表現。也就是你的訓練集和測試集存在的明顯影響性能的偏差，這里的偏差不是標注導致的，而是數據本身導致的。
缺陷所在的背景復雜
產品表面缺陷檢測時，往往會受到復雜的背景干擾。例如，產品的背景可能具有復雜的紋理或圖案，這些紋理和圖案可能與缺陷在視覺上產生混淆，導致系統難以準確區分缺陷和背景。另外，產品的背景顏色和亮度可能因材料、光照條件和表面處理等因素而發生變化，這些變化都可能影響系統準確識別缺陷。
缺陷與背景的對比度低下
比如劃痕檢測，利用機器視覺進行劃痕檢測的基本過程分為兩個步驟：檢測產品表面是否存在劃痕、對產品表面劃痕進行提取。
如果產品的表面光滑、灰度變化均勻、紋理特征不明顯，在這種情況下進行劃痕檢測時，一般使用基于統計的灰度特征或閾值分割法將劃痕部分標記出來。而有些產品圖像的灰度值變化較小，對比度并不明顯，劃痕部分和正常部分相比，缺乏明顯的特征，這時候要偵測到劃痕，存在著一定的難度。
現場光照對缺陷識別的影響較大
機器視覺中優質的成像是第一步，由于不同材料物體表面反光、折射等問題都會影響被測物體特征的提取，因此光源與成像可以說是機器視覺檢測要攻克的第一個難關。例如玻璃、反光表面的劃痕檢測，由于零件表面的高亮特性，容易產生局部過曝或周圍環境映射等問題，給后續圖像分析帶來較大難度。
缺陷判定的模糊性較大
學術一點來說就是正負樣本類間差距較小，無法非黑既白的一刀切，很難有一個一致性的標注將正負樣本分開，即便是人工也很難保證。不管用什么手段去描述缺陷，都不能做到明顯可分，比如按照面積、灰度值等繪制其直方圖，中間過渡區域永遠存在一定量的樣本，處于灰色地帶，模棱兩可。不管是多人標注，還是做量化指標，都很難有好的辦法改變這一現狀。
缺陷標注有一定的誤差性
缺陷標注時不可避免會把部分的缺陷類別標注錯誤，這就造成了所謂機器視覺數據臟的問題。還有一種數據臟的情況是，標注時把OK品判定為NG品或者把NG品判定為OK品。臟數據會對網絡訓練帶來不利的影響，強行訓練會有過擬合的風險。因為網絡提取通用特征，擬合不到缺陷只能去擬合其他噪聲了。所以一般情況下，數據越干凈越好。
