简体繁体 English

用于 3D 分割的深度学习

[英]deep learning for 3d segmentation

原文 2019-12-27 19:22:02 0 1 image-processing/ deep-learning/ 3d/ conv-neural-network/ faster-rcnn

I have 20 heart images taken at the same location and there are 50 of those images.我在同一位置拍摄了 20 张心脏图像，其中有 50 张图像。 So, 20 images are one input and I have 50 inputs.因此，20 张图像是一个输入，而我有 50 个输入。 Because heart is moving, all images are different.因为心在动，所有的图像都不一样。 I want to make those images as input and then segmented binary mask images as output using deep learning.我想将这些图像作为输入，然后使用深度学习将二进制掩码图像分割为输出。

I treat my inputs as 3D and found a lot of 3D CNN or FCN online.我将我的输入视为 3D，并在网上找到了很多 3D CNN 或 FCN。 But those are the case of x,y,z 3D.但这些是 x,y,z 3D 的情况。 My case is x, y, t.我的情况是x，y，t。

Any suggestion?有什么建议吗？

1 个解决方案

This problem is similar to video object segmentation , where an object needs to be semantically segmented across several frames in a video by utilizing temporal information across frames.这个问题类似于视频对象分割，其中需要利用跨帧的时间信息对视频中的多个帧进行语义分割。 In your case, each set of input image can be thought of as a video with 20 frames with dataset containing 50 videos and you can use supervised, semi-supervised or unsupervised video object segmentation models (depending on the availability/cost of obtaining ground truth masks).在您的情况下，每组输入图像都可以被认为是一个20 帧的视频，数据集包含50 个视频，您可以使用有监督、半监督或无监督的视频对象分割模型（取决于获取地面实况的可用性/成本）面具）。 This formulation solves the task of segmenting input image stack in (x,y,t) order with FCNs.该公式解决了使用 FCN 按(x,y,t)顺序分割输入图像堆栈的任务。