在Matlab中從臉部提取嘴唇區域和參數，以用於嘴唇同步

Question

大家好
我正在Matlab中做我的項目。 為此，我將使用嘴唇提取算法，該算法將從給定的面部圖像中提取嘴唇區域。 為此，我使用了基於顏色的分割，通過該分割，我可以獲得嘴唇區域。 這給了我唇部區域。 但是我沒有得到嘴唇的參數。 因此，我將不得不使用標准的嘴唇進行嘴唇同步。 即，不管草圖可能具有哪種類型的嘴唇，我們都必須使用相同的嘴唇。 這種技術不會給我合適和准確的結果。
我想問的是，“是否有任何算法或方法可以根據聲音音素使用草圖的相同嘴唇並為每個視位（最小的可視元素）適當修改相同的嘴唇”
提前謝謝大家

Answer 1

我寫了關於這個主題的碩士論文。 我使用活動形狀模型來確定嘴唇的確切“形狀”或位置，以減少參數。

http://www.vision.ee.ethz.ch/teaching/sada/sadalink/reports/biwi_00349.pdf

它工作得很好，但魯棒性仍然是一個巨大的問題。 我不會依靠顏色分割來提取嘴唇輪廓..它似乎僅適用於具有高分辨率和理想照明條件的數據集。 此外，有些人的嘴唇很薄或膚色。

無論如何，請查看報告中的參考文獻，它們將對您有所幫助。