3D 标注用于实例分割

Question

我正在尝试为 3D 实例分割注释一些数据。 虽然为每个 2D 平面绘制蒙版相当简单，但如何在注释后将相同的“实例”连接在一起（即，将“红色”蒙版连接在一起，将“蓝色”蒙版连接在一起）而不费力地确保实例是实例匹配的（即颜色编码以确保“红色”掩码始终与“红色”掩码连接）。

我想到的一种天真的方法是制作许多 2D 分割掩码，并为检测到的每个 object 计算质心。 稍后我可以根据最接近的匹配质心重新分配实例，但我担心这会无意中生成“交叉”分割实例（如下图所示）。 生成 3D 注释的高通量策略有哪些？

Answer 1

您的 2-d 切片的边界可用作获得最佳 3-d 表面的约束，如1 中所建议的那样。

但是，我认为从标记生成 3-d 标签更容易，例如2 。 它的实现可在此处获得（如果遇到任何问题，请免费填写打开问题：P）。

此外， napari package 可用于轻松开发 GUI。

[1] 格雷迪，里奥。 “最小曲面将最短路径分割方法扩展到 3D。” IEEE 模式分析和机器智能汇刊 32.2 (2008): 321-334。

[2] Falcão、Alexandre X. 和 Felipe PG Bergo。 “具有差分图像森林变换的交互式体积分割。” IEEE 医学影像汇刊 23.9 (2004): 1100-1108。

Answer 2

您可以使用3D Slicer 的 Segment Editor 。 它是免费的、开源的、有许多内置工具，并且可以在 Python 或 C++ 中自定义/扩展（您可以轻松插入自己的分段方法）。 要解决分割任务，通常您首先使用交互式 GUI 找出一个好的分割工作流程（使用什么工具、组合和参数），然后如果需要，您可以使用 Python 脚本使其半自动或全自动。

您可以通过对每个图像切片进行轮廓处理来创建分割，但这太乏味了。 相反，您可以使用 3D 区域生长（从种子效果中生长）或仅在几个切片上进行分段并在它们之间进行插值（在切片之间填充效果）。