從 SuperPixels 中提取特征的最佳方法，例如 gabor 和 HOG 特征

Question

我已經使用 slic 聚類算法來創建生物醫學圖像的超像素（生物醫學成像專家的整個幻燈片圖像）。 我想為超像素提取不同的特征、紋理和空間以創建特征表示，然后將其輸入分類器（SVM、RF）以嘗試對每個超像素進行分類，因為我有每個超像素的標簽。 最終目標是對每個超像素進行分類，然后使用它來構建分割。

對於每個超像素，我根據所有超像素的平均高度和寬度在其周圍繪制一個具有一致大小的邊界框，因為尺寸分布在平均值周圍相當高（有些會切掉小部分，其他會包括一些填充。我有幾個問題

1. 關於每個超像素的 gabor 濾波器，我得到一個 gabor 特征，每個像素都有一個值，然后我取這些的平均值來獲得超像素 gabor 特征值。 這是正確的方法嗎？ 下面的代碼

   def getGabor(img, ksize, sigma, theta, lamda, gamma, l, ktype): kernel=cv2.getGaborKernel((ksize, ksize), sigma, theta, lamda, gamma, l, ktype=ktype) fimg = cv2.filter2D(img, cv2.CV_8UC3, kernel) filteredImage=fimg.reshape(-1) return filteredImage def getGabors(img): ksize=5 thetas = list(map(lambda x: x*0.25*np.pi, [1, 2])) gabors=[] for theta in thetas: for sigma in (1,3): for lamda in np.arange(0, np.pi, np.pi*0.25): for gamma in (0.05, 0.5): gabor = getGabor(img.reshape(-1), ksize, sigma, theta, lamda, gamma, 0, cv2.CV_32F) . gabors.append(np.mean(gabor)) return gabors

2. 這將如何與 HOG 一起使用？ 我是否會采用相同的方法平均特征向量，以及如何防止 HOG​​ 描述符過大？

3. 將超像素輸入 CNN 以學習特征表示是否明智？

4. 如果有人在對其他有用的圖像特征描述符提出任何建議之前使用過這種數據，這將是該類型數據的好方法？

任何有關構建功能或查看超像素的功能類型的建議將不勝感激！

謝謝

Answer 1

我不確定醫學圖像分割的最新技術水平，但在所有深度學習模型出現之前，超像素、HOG 和 gabor 聽起來肯定像 2012 年之前的特征工程方法。 結果必然在很大程度上取決於超像素分割圖像的方式（可能不太穩健）。

為什么不使用最近的圖像分割 CNN，比如 DeepLab（ https://github.com/tensorflow/models/tree/master/research/deeplab ）？ 只需提供分割的訓練示例（其中很多，無可否認），然后看看模型本身是否學習了正確的特征。 它會的可能性非常高。