使用預訓練的 CNN (inceptionv3) 訓練 3D 醫學圖像
[英]Using a pre-trained CNN (inceptionv3) for training 3D medical images
問題描述
我正在嘗試通過在醫學圖像上重新訓練 InceptionV3 來進行遷移學習 - 灰度 3D 大腦 PET 掃描。
我有兩個挑戰：將我的數據從灰度轉換為 RGB 圖像，以及為初始架構格式化我的 3D 輸入數據。
我通過將它們堆疊成 3 個通道（將相同的圖像饋送到網絡的所有 3 個通道）解決了第一個挑戰。
第二個挑戰仍然是一個問題：網絡接受二維圖像。 當前的圖像尺寸為 79 x 95 x 79 x 3，而網絡很樂意接受 79 x 95 x 3 維的圖像。
解決這個問題的好方法是，是否可以將 3D 圖像提供給網絡，或者是否必須將它們轉換為 2D。 如何將圖像轉換為 2D？
在一項研究中，使用網格方法從每個 3D 圖像中提取 8 張 2d 圖像並顯示為網格圖像以進行分類。 這是從 3D 轉換為 2D 的唯一方法，還是有其他選擇？
1 個解決方案
解決方案1
1 2020-03-06 13:33:47
有兩種方法可以解決您的第二個問題。
快速方法：
想辦法將 79 的維度降為 1。
對此有不同的方法。 正如您所指出的，一種方法是形成一個網格。 另一種方法是對這些圖像中的幾個（示例 3 或 10）進行最大強度投影 (MIP)。 這將取決於您在此維度上的分辨率。 我有一種感覺，您所描述的圖像是 CT 掃描，在這種情況下，最好不要使用完整堆棧，而只使用屬於您有興趣分類的部分的專用圖像。
您可以將堆棧的一部分作為具有相同全局類描述符的 MIP 提供。 這可能適用於遷移學習。
漫長而困難的方法：
從頭開始查找或重新設計接受 3D 圖像作為輸入的架構。 我不知道關於該主題的當前文獻，但一個很好的例子可能是這樣的： https : //ai.googleblog.com/2020/02/ultra-high-resolution-image-analysis.html?m=1
如何刪除（彈出）Keras InceptionV3預訓練模型的初始層？
[英]How to remove (pop) initial layers of Keras InceptionV3 pre-trained model?
在不調整大小的情況下使用預訓練的 CNN 時如何使用更大的輸入圖像？
[英]How can I use larger input images when using a pre-trained CNN without resizing?
如何正確使用預訓練的 CNN 對圖像文件夾進行圖像預測
[英]How to properly use pre-trained CNN for image prediction on a folder of images
使用預訓練的 BERT 嵌入作為 CNN 的輸入，使用 tensorflow.keras 導致 ValueError
[英]Using pre-trained BERT embeddings as input to CNN with tensorflow.keras results in ValueError
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
如何使用預訓練的InceptionV3加速Keras CNN
如何刪除（彈出）Keras InceptionV3預訓練模型的初始層？
在不調整大小的情況下使用預訓練的 CNN 時如何使用更大的輸入圖像？
使用預先訓練的舉重訓練
預訓練 Keras Xception 和 InceptionV3 模型
如何正確使用預訓練的 CNN 對圖像文件夾進行圖像預測
使用預訓練的 BERT 嵌入作為 CNN 的輸入，使用 tensorflow.keras 導致 ValueError
在Tensorflow中使用InceptionV3進行預測
如何在 Python 中使用預訓練的 CNN 模型
如何將重塑層添加到預訓練 CNN 的開頭
相關標簽