如何提高具有高 fps 視頻的 FER 處理（分析）速度？

Question

我正在使用一個大約有 30000 幀的視頻，試圖使用下面的 FER 代碼進行情感識別

整個過程僅僅為了分析視頻就需要 10-15 小時？

有沒有辦法加快處理時間或任何其他算法來檢測面部情緒？

這是代碼：

from fer import Video
from fer import FER
import os
import sys
import pandas as pd

location_videofile = "/Users/Akash/Desktop/videoplayback.mp4"
input_video = Video(location_videofile)

processing_data = input_video.analyze(face_detector, display=False, frequency=5)

也嘗試在分析函數中添加頻率參數，但沒有用，因為處理時間幾乎相同，我假設它影響輸出而不是分析函數

Answer 1

通過以下回答，我將為您提供幾種解決方案，這些解決方案可能適用於您的特定視頻，也可能不適用於您的特定視頻。

• FER 代碼依賴於 tensorflow 和 opencv 來處理數據。 假設通過 pip 默認安裝這些包，tensorflow 已經在 gpu 上運行（您可能需要仔細檢查），而 opencv 不是。 opencv 的一些功能可以在 gpu 上運行，它們可能是 FER 正在使用的功能：在這種情況下，您可能希望構建支持 GPU 的 opencv 包（您可以在此處查看）。
• 另一種解決方案是在將視頻提供給 FER 之前自行對視頻的視頻幀進行下采樣。
• 對視頻的每一幀進行下采樣，以減少每一幀中的像素數。 如果您負擔得起，這可能會大大加快速度（即面部占據了大部分屏幕並且幀像素的數量相對較高）
• 多重處理。 您可以將視頻拆分為幾個可以使用多個 python 進程進行分析的迷你視頻。 在我看來，這是在不損失准確性的情況下處理速度問題的最便宜和更可靠的方法