是否可以使用 iOS ARKit 提取面部不同区域的颜色值（例如平均 RGB）？

Question

是否可以使用 iOS ARKit 提取面部不同区域的颜色值（例如平均 RGB）？ 我见过在由三角形块组成的面上覆盖 3D 网格的示例。 无论如何执行任何类型的区域明智颜色过滤，例如提取 RGB 平均值、直方图、最大/最小值（与 CIFilter 在正常帧上允许的相同）但通过 ARKit 的 3D 面部跟踪器？

我还看到了 ARFaceAnchor.BlendShapeLocation 允许对各种元素在脸上的移动使用系数。 无论如何，是否可以为整个面部的特定元素（例如鼻子、脸颊、嘴唇、前额、眼睛等）提取网格（特别是它的颜色和其他特征）？

Answer 1

在这里查看我的回答，了解如何使用 ARKIt 获取用户脸部的实时纹理

获得面部纹理后，您可以随心所欲地对 rgb 数据进行采样。 如果您只对特定区域感兴趣：

• 将答案中链接项目的代码更新为仅从特定区域采样（一种非常基本的方法是仅绘制您关心的那部分网格）

• 从整个 2D 面部纹理中采样区域。 这种方法的一个挑战是您的所有采样区域都需要在 2D 纹理上定义