使用 QThread 將 QImage 幀動態創建到 ffmpeg 標准輸入

Question

我正在嘗試使用在單獨線程上動態創建的幀來創建帶有 ffmpeg 的視頻文件。

雖然我可以創建這些幀並將它們存儲在磁盤/內存上，但我想避免該通道，因為幀的數量/大小可能很高，並且可以使用不同的格式或選項創建許多“作業”。 但是，同樣重要的是，我想更好地理解這背后的邏輯，因為我承認我對線程/處理的實際工作方式並沒有非常深入的了解。

現在我正在嘗試在 QThread object 中創建 QProcess，然后在進程啟動后立即運行圖像創建線程，但它似乎不起作用：沒有創建文件，我什至沒有從標准錯誤中獲取任何 output （但我知道我應該，因為如果我不使用線程我可以得到它）。

不幸的是，由於我對 QProcess 如何處理線程和管道（顯然，所有可能的 ffmpeg 選項）知之甚少，我真的不明白如何實現這一點。

除了顯然創建了 output 文件之外，預期的結果是能夠啟動編碼（並且可能同時排隊更多編碼），同時保持 UI 響應並獲得當前處理 state 的通知。

import re
from PyQt5 import QtCore, QtGui, QtWidgets

logRegExp = r'(?:(n:\s+)(?P<frame>\d+)\s).*(?:(pts_time:\s*)(?P<time>\d+.\d*))'

class Encoder(QtCore.QThread):
    completed = QtCore.pyqtSignal()
    frameDone = QtCore.pyqtSignal(object)
    def __init__(self, width=1280, height=720, frameCount=100):
        super().__init__()
        self.width = width
        self.height = height
        self.frameCount = frameCount

    def start(self):
        self.currentLog = ''
        self.currentData = bytes()
        self.process = QtCore.QProcess()
        self.process.setReadChannel(self.process.StandardError)
        self.process.finished.connect(self.completed)
        self.process.readyReadStandardError.connect(self.stderr)
        self.process.started.connect(super().start)
        self.process.start('ffmpeg', [
            '-y', 
            '-f', 'png_pipe', 
            '-i', '-', 
            '-c:v', 'libx264', 
            '-b:v', '800k', 
            '-an', 
            '-vf', 'showinfo',
            '/tmp/test.h264', 
        ])

    def stderr(self):
        self.currentLog += str(self.process.readAllStandardError(), 'utf-8')
        *lines, self.currentLog = self.currentLog.split('\n')
        for line in lines:
            print('STDERR: {}'.format(line))
            match = re.search(logRegExp, line)
            if match:
                data = match.groupdict()
                self.frameDone.emit(int(data['frame']))

    def run(self):
        font = QtGui.QFont()
        font.setPointSize(80)
        rect = QtCore.QRect(0, 0, self.width, self.height)
        for frame in range(1, self.frameCount + 1):
            img = QtGui.QImage(QtCore.QSize(self.width, self.height), QtGui.QImage.Format_ARGB32)
            img.fill(QtCore.Qt.white)
            qp = QtGui.QPainter(img)
            qp.setFont(font)
            qp.setPen(QtCore.Qt.black)
            qp.drawText(rect, QtCore.Qt.AlignCenter, 'Frame {}'.format(frame))
            qp.end()
            img.save(self.process, 'PNG')
        print('frame creation complete')


class Test(QtWidgets.QWidget):
    def __init__(self):
        super().__init__()
        layout = QtWidgets.QVBoxLayout(self)
        self.startButton = QtWidgets.QPushButton('Start')
        layout.addWidget(self.startButton)

        self.frameLabel = QtWidgets.QLabel()
        layout.addWidget(self.frameLabel)

        self.process = Encoder()
        self.process.completed.connect(lambda: self.startButton.setEnabled(True))
        self.process.frameDone.connect(self.frameLabel.setNum)
        self.startButton.clicked.connect(self.create)

    def create(self):
        self.startButton.setEnabled(False)
        self.process.start()


import sys
app = QtWidgets.QApplication(sys.argv)
test = Test()
test.show()
sys.exit(app.exec_())

如果我在run()的末尾添加以下行，那么文件實際上是創建的，我得到了 stderr output，但是我可以看到它是在 for 循環完成后處理的，這顯然不是預期的結果：

    self.process.closeWriteChannel()
    self.process.waitForFinished()
    self.process.terminate()

獎勵：我在 Linux 上，我不知道它在 Windows 上的工作方式是否有所不同（我想它在 MacOS 上的工作方式類似），但無論如何我想知道是否存在差異以及如何處理跟他們。

Answer 1

事實證明，我是部分正確和錯誤的。

1. ffmpeg 具有多個級別和數量的內部緩沖，具體取決於輸入/輸出格式、過濾器和編解碼器：我只是沒有創建足夠的幀來看到這種情況發生；
2. 與 QProcess 的交互應該發生在創建它的線程中；
3. 出於這個原因，數據不能從不同的線程直接寫入寫入通道，因此必須使用信號來代替；
4. 寫入所有數據后，必須關閉寫入通道（從其同一線程）以確保完成編碼；

考慮到上述情況，我只使用線程創建圖像，然后用保存的每個圖像的 QByteArray 發出信號； 最后，在圖像創建完成后，我等待實際完成（基於showinfo過濾器輸出），以便線程實際上被認為已完成。 在多個作業的情況下，可以使用一些優化來排隊進一步創建圖像，但考慮到它可能不會提高性能，我更喜歡當前的方法。

這是修改后的代碼，我用不同的格式進行了測試，它似乎按預期工作。

import re
from PyQt5 import QtCore, QtGui, QtWidgets

logRegExp = r'(?:(n:\s+)(?P<frame>\d+)\s).*(?:(pts_time:\s*)(?P<time>\d+.\d*))'

class Encoder(QtCore.QThread):
    completed = QtCore.pyqtSignal()
    frameDone = QtCore.pyqtSignal(object)
    imageReady = QtCore.pyqtSignal(object)
    def __init__(self):
        super().__init__()
        self.imageReady.connect(self.writeImage)
        self.queue = []

        self.process = QtCore.QProcess()
        self.process.setReadChannel(self.process.StandardError)
        self.process.finished.connect(self.processQueue)
        self.process.readyReadStandardError.connect(self.stderr)
        self.process.started.connect(self.start)

    def addJob(self, width=1280, height=720, frameCount=500, format='h264', *opts):
        self.queue.append((width, height, frameCount, format, opts))
        if not self.process.state():
            self.processQueue()

    def writeImage(self, image):
        self.process.write(image)
        self.imageCount += 1
        if self.imageCount == self.frameCount:
            self.process.closeWriteChannel()

    def processQueue(self):
        if not self.queue:
            return
        self.currentLog = ''
        self.lastFrameWritten = -1
        self.imageCount = 0
        self.width, self.height, self.frameCount, format, opts = self.queue.pop(0)
        args = [
            '-y', 
            '-f', 'png_pipe', 
            '-i', '-',
        ]
        if opts:
            args += [str(o) for o in opts]
        args += [
            '-an', 
            '-vf', 'showinfo',
            '/tmp/test.{}'.format(format), 
        ]
        self.process.start('ffmpeg', args)

    def stderr(self):
        self.currentLog += str(self.process.readAllStandardError(), 'utf-8')
        *lines, self.currentLog = self.currentLog.split('\n')
        for line in lines:
            match = re.search(logRegExp, line)
            if match:
                data = match.groupdict()
                self.lastFrameWritten = int(data['frame'])
                self.frameDone.emit(self.lastFrameWritten + 1)
            else:
                print(line)

    def run(self):
        font = QtGui.QFont()
        font.setPointSize(80)
        rect = QtCore.QRect(0, 0, self.width, self.height)
        for frame in range(1, self.frameCount + 1):
            img = QtGui.QImage(QtCore.QSize(self.width, self.height), 
                QtGui.QImage.Format_ARGB32)
            img.fill(QtCore.Qt.white)
            qp = QtGui.QPainter(img)
            qp.setFont(font)
            qp.setPen(QtCore.Qt.black)
            qp.drawText(rect, QtCore.Qt.AlignCenter, 'Frame {}'.format(frame))
            qp.end()
            ba = QtCore.QByteArray()
            buffer = QtCore.QBuffer(ba)
            img.save(buffer, 'PNG')
            self.imageReady.emit(ba)
        while self.lastFrameWritten < self.frameCount - 1:
            self.sleep(.5)
        self.completed.emit()


class Test(QtWidgets.QWidget):
    def __init__(self):
        super().__init__()
        layout = QtWidgets.QVBoxLayout(self)
        self.startButton = QtWidgets.QPushButton('Start')
        layout.addWidget(self.startButton)

        self.frameLabel = QtWidgets.QLabel()
        layout.addWidget(self.frameLabel)

        self.encoder = Encoder()
        self.encoder.completed.connect(lambda: self.startButton.setEnabled(True))
        self.encoder.frameDone.connect(self.frameLabel.setNum)
        self.startButton.clicked.connect(self.create)

    def create(self):
        self.startButton.setEnabled(False)
        self.encoder.addJob()


if __name__ == '__main__':
    import sys
    app = QtWidgets.QApplication(sys.argv)
    test = Test()
    test.show()
    sys.exit(app.exec_())