在 AVAudioSession/AVAudioEngine 中选择特定的输入通道作为 mono 输入来自 USB 设备

Question

我正在开发一个录音应用程序，它使用连接到 iPhone 的外部 USB 音频接口（例如，Focusrite Scarlett Solo）。

当我运行AVAudioSession.sharedInstance().currentRoute.inputs时，它会正确返回接口。

1 element
  - 0 : <AVAudioSessionPortDescription: 0x28307c650, type = USBAudio; name = Scarlett Solo USB; UID = AppleUSBAudioEngine:Focusrite:Scarlett Solo USB:130000:1,2; selectedDataSource = (null)>

频道也正确返回。

po AVAudioSession.sharedInstance().currentRoute.inputs.first?.channels
▿ Optional<Array<AVAudioSessionChannelDescription>>
  ▿ some : 2 elements
    - 0 : <AVAudioSessionChannelDescription: 0x283070b60, name = Scarlett Solo USB 1; label = 4294967295 (0xffffffff); number = 1; port UID = AppleUSBAudioEngine:Focusrite:Scarlett Solo USB:130000:1,2>
    - 1 : <AVAudioSessionChannelDescription: 0x283070b70, name = Scarlett Solo USB 2; label = 4294967295 (0xffffffff); number = 2; port UID = AppleUSBAudioEngine:Focusrite:Scarlett Solo USB:130000:1,2>

当我将inputNode连接到AVAudioEngine中的mainMixerNode时，它使用多通道输入，因此线路/乐器输入位于右通道，麦克风输入位于左侧。

我怎样才能做到只使用第二通道（吉他）作为 mono 在两个扬声器中播放？

我一直在查看一些文档和讨论，但找不到答案。

我尝试将音频格式的频道更改为 1，但正如预期的那样，它播放了 mono 中的第一个频道，但我无法播放 select 第二个频道。

let input = engine.inputNode
let inputFormat = input.inputFormat(forBus: 0)
        
let preferredFormat = AVAudioFormat(
    commonFormat: inputFormat.commonFormat,
    sampleRate: inputFormat.sampleRate,
    channels: 1,
    interleaved: false
)!

engine.connect(input, to: engine.mainMixerNode, format: preferredFormat)

编辑：按照要求，我正在添加频道映射代码

let input = engine.inputNode
let inputFormat = input.inputFormat(forBus: 0)
        
engine.mainMixerNode.auAudioUnit.channelMap = [1]
engine.connect(input, to: engine.mainMixerNode, format: inputFormat)

编辑 2：

所以 bugix 的答案在某些时候确实有效，但我在平移方面遇到了问题。 这就是我最初修复平移的方式，但后来注意到它以 mono 的形式传递所有输入。我刚刚在 app delegate 中的一个空项目中测试了它，并发布了您可以运行并查看实际效果的完整代码。

@main
class AppDelegate: UIResponder, UIApplicationDelegate {
    let engine = AVAudioEngine()
    var inputNode: AVAudioInputNode { engine.inputNode }
    var inputFormat: AVAudioFormat { inputNode.inputFormat(forBus: 0) }
    var outputNode: AVAudioOutputNode { engine.outputNode }
    var outputFormat: AVAudioFormat { outputNode.outputFormat(forBus: 0) }
    var mainMixerNode: AVAudioMixerNode { engine.mainMixerNode }
    
    let mixerNode: AVAudioMixerNode = .init()


    func application(_ application: UIApplication, didFinishLaunchingWithOptions launchOptions: [UIApplication.LaunchOptionsKey: Any]?) -> Bool {
        
        
        engine.attach(mixerNode)
        
        let layoutTag: AudioChannelLayoutTag = kAudioChannelLayoutTag_Mono
        let layout = AVAudioChannelLayout(layoutTag: layoutTag)!
        let monoFormat: AVAudioFormat = .init(standardFormatWithSampleRate: inputFormat.sampleRate, channelLayout: layout)
       
        engine.connect(inputNode, to: mixerNode, format: inputFormat)
        engine.connect(mixerNode, to: mainMixerNode, format: monoFormat)
        
        try! engine.start()
        
        mixerNode.pan = -0.4
        
        return true
    }
}

此外，当我使用 10 输入通道音频接口进行测试时，它也不起作用。 它只传输前两个信号。 我已经用 Garage Band 测试了相同的音频接口，它在那里工作。 想知道 Apple 是如何做到的，同时也没有为我们提供一个简单的界面来做到这一点。 理想情况下，应该可以从AVAudioSession切换，但它没有该功能。 我查看了AVAudioSession 、 AVAudioEngine和诸如此类的所有文档，但在那里找不到任何东西。

Answer 1

所以这份技术说明是帮助我理解很多事情的文档。 我不会自己写细节，因为如果你也阅读这个https://developer.apple.com/library/archive/technotes/tn2091/_index.html会更好。

还不能发布图片，所以我建议在上面的链接中检查 AUHAL 的信号流（如果是 iOS，它将是 AURemoteIO）。

苹果声明：

当你想获取音频设备的输入数据时，连接应该是Source: AUHAL (output scope, element 1) and Destination Destination Unit (input scope, input element )

我们可以跳过大部分内容，因为AVAudioEngine在更高层次上完成了它们，但让我们看一下通道映射部分。

我们需要在engine.inputNode.audioUnit上创建一个通道 map，它是最接近硬件的单元，因此级别低于auAudioUnit和avAudioUnit 。 auAudioUnit实际上可能仍然显示通道 map 是[0, 1]但是在我们将属性设置为audioUnit之后我们可以说 0 和 1 都代表 1 或者如果你有更多的通道它可以是 2,3 等等。甚至可能是 [4, 6] 的幕后花絮。

typealias AudioChannelCount = UInt32
typealias AudioChannelsResolver = (AudioChannelCount) -> [UInt32]

func mapChannels(
    _ channels: [UInt32],
    inputUnit: AudioUnit,
    format: AVAudioFormat,
    toChannels destinationChannelsResolver: AudioChannelsResolver
) throws {
    var channelMap: UnsafeMutablePointer<Int32>? = nil
    let numberOfChannels: UInt32 = format.channelCount
    let mapSize: UInt32 = .init(MemoryLayout<Int32>.size * Int(numberOfChannels))
    channelMap = UnsafeMutablePointer<Int32>.allocate(capacity: Int(mapSize))
    let destinationChannels = destinationChannelsResolver(numberOfChannels)
    
    guard channels.count <= destinationChannels.count else {
        throw MyError.sourceChannelCountIsGreaterThanDestChannelCount
    }
    
    for (index, channel) in destinationChannels.enumerated() {
        guard numberOfChannels > channel else {
            throw MyError.invalidChannelIndexSent
        }
        if channels.indices.contains(index) {
            channelMap?[Int(channel)] = Int32(channels[index])
        } else {
            channelMap?[Int(channel)] = -1
        }
    }
    
    // Assign mutated channel map to audio unit's ChannelMap property
    // When you want to get the audio device's input data, the connection should be:
    // AUHAL (output scope, element 1) -> Destination Unit (input scope, input element)
    // Input - 1, Output - 0
    // https://developer.apple.com/library/archive/technotes/tn2091/_index.html
    let status = AudioUnitSetProperty(
        inputUnit,
        kAudioOutputUnitProperty_ChannelMap,
        kAudioUnitScope_Output,
        1,
        channelMap,
        mapSize
    )
    channelMap?.deallocate()
    
    if status != noErr {
        throw MyError.failedToSetChannelMap
    }
}

// Could do the same for iOS
class AppDelegate: NSObject, NSApplicationDelegate {
    let engine = AVAudioEngine()
    
    func applicationDidFinishLaunching(_ notification: Notification) {
        let format = engine.inputNode.outputFormat(forBus: 0)
        let desiredFormat = AVAudioFormat(commonFormat: format.commonFormat, sampleRate: format.sampleRate, channels: 1, interleaved: format.isInterleaved)
        guard let inputUnit = engine.inputNode.audioUnit else { return }
        
        try! mapChannels(
            [1, 1], // 2nd element doesn't really matter in case we use `desiredFormat` that has 1 channel so could have [1] as well.
// Or you could keep it stereo and both channels would still produce the same output.
            inputUnit: inputUnit,
            format: engine.inputNode.inputFormat(forBus: 0),
            toChannels: { count in
                .init(0 ..< count)
            }
        )
        
        engine.connect(engine.inputNode, to: engine.mainMixerNode, format: desiredFormat)
        try! engine.start()
    }
}

pan 在这两种情况下都有效 - 使用立体声和 [1, 1], [0, 0] 等映射或使用 mono 格式时。

engine.inputNode.pan = -0.7例如。

最重要的是，只有您设置的频道才会发出声音。 例如，如果我有 [1, 1] 频道 map 并且我将电缆从频道 1 切换到频道 0，我将听不到任何声音。

macOS 笔记

确保在App 沙箱中启用音频输入以及 Info.plist 中的麦克风使用说明，以便引擎产生声音。

Answer 2

您必须像这样在输入节点上进行通道映射：

engine.inputNode.auAudioUnit.channelMap = [1, 1]