使用Tensorflow和PointNet的3D點雲生成

Question

因此，我擁有一組由一組特定的3D點雲組成的數據集。 我想使用這些數據來訓練NN，以便它可以創建自己的獨特3D點雲數據，以便以后進行網格轉換。

到目前為止，這是我的研究揭示的：有一個名為PointNet的庫： https : //github.com/charlesq34/pointnet它用於在點集或3D點雲上進行深度學習，並且使用Tensorflow。

我不了解的是，在訓練了NN之后，如何使用NN根據訓練來創建3D點雲？

Answer 1

網絡的輸入是Nx3矩陣，其中N是點的數量。

據我了解，此方法有3個不同的用例。 一種是分類：單個對象的給定點雲估計給定對象的類。 第二個步驟是進行零件分割：為輸入網格模型中的每個點確定點的“標簽”。 第三種情況是給整個房間（室內）按對象分割（可以訓練它分割椅子等對象）。

給定此處的圖像，您可以看到輸入為Nx3（但在本文中，它們使用Nx9：3個xyz坐標，然后是rgb坐標（如果還有rgb圖像），然后是規范化的xyz坐標（范圍[0,1] ）。

第三種情況的輸出是矩陣nxm，其中m是類數。

我不確定您的目標是什么，但是似乎您想根據原始點雲創建另一個點雲。 但是該算法主要用於分割或分類。

Answer 2

該模型用於識別事物而不是創建事物。 要生成3D對象，您需要自己實現conv2d_transpose。 在此處查看如何將point_cluods轉換為2D圖像： https : //github.com/charlesq34/pointnet/blob/master/models/pointnet_cls.py 。

您可以執行相反的操作，以將點雲從conv2d_transpose中取出。

這個想法在這里。 它不是那么容易。 我也在搜索在線提供的一些代碼。