绝对音频同步

Question

我想将计算机与外部便携式摄像机的记录进行同步，以便我可以准确地（毫秒）知道何时发生了与计算机记录的其他传感器有关的某些记录事件。 一种想法是每秒从计算机上回放短脉冲或chi声，这些声音被摄录机上的麦克风拾取。 但是，简单的cron作业播放声音片段的准确性不够精确。 我当时在考虑使用类似gstreamer的工具，但是如何根据系统时钟在某个特定的时间播放剪辑？

Answer 1

如果您知道摄像机的开始时间，则可以从捕获的视频流中得出视频在任何时间的时间。 您无需执行任何操作。 每个帧在容器中都有与之关联的时间戳，可以知道确切的时间。 您所需要的只是记录开始时间。

编辑：另一种方法如下：如果您信任时钟，可以将其放在摄像机的路径上吗？ 因此，您始终可以对视频本身进行衡量。

Answer 2

这是我解决这个问题的尝试。 我已经从http://pygstdocs.berlios.de/pygst-tutorial/playbin.html修改了其中一个gstreamer python教程命令行playbin（示例2.3），以与系统时钟同步的固定间隔重复播放声音文件。

我确保流水线使用系统时钟，而不是接收器中的默认时钟，并禁止流水线设置元素的基本时间。 然后，文件播放完毕，它返回到开头，并手动设置了基准时间，以便接收器在下一个时期等待播放缓冲区。

#!/usr/bin/env python

import sys, os
#import time, thread
import glib,gobject
import pygst
pygst.require("0.10")
import gst

class CLI_Main:

  def __init__(self):
    self.player = gst.element_factory_make("playbin2", "player")
    fakesink = gst.element_factory_make("fakesink", "fakesink")
    self.player.set_property("video-sink", fakesink)
    bus = self.player.get_bus()
    bus.add_signal_watch()
    bus.connect("message", self.on_message)

    # use the system clock instead of the sink's clock
    self.sysclock = gst.system_clock_obtain()
    self.player.use_clock(self.sysclock)

    # disable the pipeline from setting element base times
    self.player.set_start_time(gst.CLOCK_TIME_NONE)
    # default tick interval
    self.tick_interval = 1;

    self.tick_interval = float(sys.argv[1])
    filepath = sys.argv[2]
    if os.path.isfile(filepath):
      self.playmode = True
      self.player.set_property("uri", "file://" + filepath)
      current_time = self.sysclock.get_time()
      print current_time
      play_time = (current_time/long(self.tick_interval*gst.SECOND) + 1) * long(self.tick_interval*gst.SECOND)
      print play_time
      self.player.set_base_time(play_time)
      self.player.set_state(gst.STATE_PLAYING)
      print "starting"

  def on_message(self, bus, message):
    t = message.type
    if t == gst.MESSAGE_EOS:
      # compute the next time the sound should be played
      current_time = self.sysclock.get_time()
      play_time = (current_time/int(self.tick_interval*gst.SECOND) + 1)*int(self.tick_interval*gst.SECOND)

      # setup the next time to play the sound and seek it to the beginning
      self.player.set_base_time(play_time)
      # seek the player so that the sound plays from the beginning
      self.player.seek(1.0, gst.FORMAT_TIME, gst.SEEK_FLAG_FLUSH, gst.SEEK_TYPE_SET, 0L, gst.SEEK_TYPE_NONE, 0L)   
      # make sure that the player will play
      self.player.set_state(gst.STATE_PLAYING)
      #self.playmode = False
      print play_time

    elif t == gst.MESSAGE_ERROR:
      self.player.set_state(gst.STATE_NULL)
      err, debug = message.parse_error()
      print "Error: %s" % err, debug
      self.playmode = False


mainclass = CLI_Main()
loop = glib.MainLoop()
loop.run()

对不起，如果代码被黑客入侵且混乱不堪； 我还是python新手。