如何將一條信息添加到 UNet 輸入

Question

我正在使用 segment_models 執行分段，它是 keras 的包裝器。 這是定義我的 UNet 的簡介：

jaccard_loss = sm.losses.JaccardLoss(class_weights=class_weights)
focal_loss = sm.losses.CategoricalFocalLoss()
total_loss = jaccard_loss + (1 * focal_loss)
metrics = [sm.metrics.IOUScore()]    
model = sm.Unet(BACKBONE1, encoder_weights=None,classes=n_classes, activation='softmax',input_shape=(None, None, num_channels))
model.compile(opt, total_loss, metrics=metrics)

我的問題相對簡單，我將一堆切片輸入到 UNet 中，但是缺少很多空間信息（即，只是切片的物理位置）。 我想將其輸入到模型中，看看這是否有助於改進分割。 最簡單的方法是使用另一個通道，該通道的圖像值都相同（即，根據物理位置，0 到 1 的統一圖像）。 我覺得這不是最好的方法，所以我想知道是否有人有任何好主意或以前做過類似的事情？ 非常感謝您的幫助。

Answer 1

相對位置可以是一個非常有用的分割線索。 將其添加為附加通道可能非常有益。

例如，在我們最近的工作中：
O. 弗蘭克等人。 ， 將領域知識集成到肺部超聲的深度網絡中，並在 IEEE 醫學成像交易 (2021) 中 應用於 COVID-19 。
我們用額外的相對位置通道增強了肺超聲 (LUS) 框架，事實證明這對 COVID-19 相關生物標志物的分類和分割非常有用。
這項工作舉例說明了如何使用額外的渠道來引入“領域知識”是非常有效和有益的。

另一項相關工作，關於在胸部 X 射線 (CXR) 中分析 COVID-19：
Keidar, D.、Yaron, D.、Goldstein, E. 等。使用深度神經網絡Eur Ra​​diol (2021) 對 X 射線圖像進行 COVID-19 分類。
還使用與肺部位置相關的位置信息增強了原始 XCR 幀。

您可以想到比 0/1 掩碼更好的位置編碼方法，例如視覺轉換器 (ViT) 架構中使用的位置編碼/嵌入。