在Matlab中从脸部提取嘴唇区域和参数，以用于嘴唇同步

Question

大家好
我正在Matlab中做我的项目。 为此，我将使用嘴唇提取算法，该算法将从给定的面部图像中提取嘴唇区域。 为此，我使用了基于颜色的分割，通过该分割，我可以获得嘴唇区域。 这给了我唇部区域。 但是我没有得到嘴唇的参数。 因此，我将不得不使用标准的嘴唇进行嘴唇同步。 即，不管草图可能具有哪种类型的嘴唇，我们都必须使用相同的嘴唇。 这种技术不会给我合适和准确的结果。
我想问的是，“是否有任何算法或方法可以根据声音音素使用草图的相同嘴唇并为每个视位（最小的可视元素）适当修改相同的嘴唇”
提前谢谢大家

Answer 1

我写了关于这个主题的硕士论文。 我使用活动形状模型来确定嘴唇的确切“形状”或位置，以减少参数。

http://www.vision.ee.ethz.ch/teaching/sada/sadalink/reports/biwi_00349.pdf

它工作得很好，但鲁棒性仍然是一个巨大的问题。 我不会依靠颜色分割来提取嘴唇轮廓..它似乎仅适用于具有高分辨率和理想照明条件的数据集。 此外，有些人的嘴唇很薄或肤色。

无论如何，请查看报告中的参考文献，它们将对您有所帮助。