3D位置音頻–沿Y和Z軸移動SCNAudioPlayer

Question

使用SceneKit，我可以在x軸上從左到右移動audioNode，但是在y和z軸上移動時遇到問題。 我戴着耳機，所以我可以聽到雙耳（3d音頻）效果。 我也在MacOS上運行它。

我的測試代碼如下。 有人可以讓我知道我在想什么嗎？ 我將不勝感激！

import Cocoa
import SceneKit

class ViewController: NSViewController {

    @IBOutlet weak var sceneView: SCNView!

    override func viewDidLoad() {
        super.viewDidLoad()

        let path = Bundle.main.path(forResource: "Sounds/Test.mp3", 
                                         ofType: nil)

        let url = URL(fileURLWithPath: path!)
        let source = SCNAudioSource(url:url)!
        source.loops = true
        source.shouldStream = false
        source.isPositional = true
        source.load()

        let player = SCNAudioPlayer(source: source)
        let box = SCNBox(width: 100.0, 
                        height: 100.0, 
                        length: 100.0, 
                 chamferRadius: 100.0)
        let boxNode = SCNNode(geometry: box)
        let audioNode = SCNNode()
        boxNode.addChildNode(audioNode)

        let scene = SCNScene()
        scene.rootNode.addChildNode(boxNode)
        sceneView.scene = scene
        audioNode.addAudioPlayer(player)

        let avm = player.audioNode as! AVAudioMixing
        avm.volume = 1.0
        let up = SCNAction.moveBy(x: 0, y: 100, z: 0, duration: 5)
        let down = SCNAction.moveBy(x: 0, y: -100, z: 0, duration: 5)
        let sequence = SCNAction.sequence([up, down])
        let loop = SCNAction.repeatForever(sequence)
        boxNode.runAction(loop)

        // Do any additional setup after loading the view.
    }
}

Answer 1

已更新 。

您正在將player.audioNode強制轉換為AVAudioMixing協議：

let avm = player.audioNode as! AVAudioMixing

但是要代替它，必須將其強制轉換為類。 代碼如下所示：

let avm = player.audioNode as? AVAudioEnvironmentNode

符合AVAudioMixing協議的任何節點（例如AVAudioPlayerNode ）都可以在此環境中充當源。 該環境具有隱式listener 。 通過控制聽眾的位置和方向，該應用程序可以控制用戶體驗虛擬世界的方式。 該節點還定義了距離衰減和混響的屬性，有助於表征環境。

並考慮到 ！

僅將具有與環境節點的單通道連接格式的輸入空間化。 If the input is stereo, the audio is passed through without being spatialized 。 不支持連接格式超過兩個通道的輸入。

並且，當然，您需要實現AVAudio3DMixing協議 。

這是一個工作代碼：

import SceneKit
import AVFoundation

class ViewController: NSViewController, AVAudio3DMixing {

    // YOU NEED MONO AUDIO !!!

    var renderingAlgorithm = AVAudio3DMixingRenderingAlgorithm.sphericalHead
    var rate: Float = 0.0
    var reverbBlend: Float = 0.5
    var obstruction: Float = -100.0
    var occlusion: Float = -100.0
    var position: AVAudio3DPoint = AVAudio3DPoint(x: 0, y: 0, z: -100)

    override func viewDidLoad() {
        super.viewDidLoad()            
        let scene = SCNScene()

        let cameraNode = SCNNode()
        cameraNode.camera = SCNCamera()
        cameraNode.camera?.zFar = 200
        cameraNode.position = SCNVector3(x: 0, y: 0, z: 40)
        scene.rootNode.addChildNode(cameraNode)

        let sceneView = self.view as! SCNView
        sceneView.scene = scene
        sceneView.backgroundColor = NSColor.black
        sceneView.autoenablesDefaultLighting = true

        let path = Bundle.main.path(forResource: "Test_Mono", ofType: "mp3")
        let url = URL(fileURLWithPath: path!)
        let source = SCNAudioSource(url: url)!
        source.loops = true
        source.shouldStream = false  // MUST BE FALSE
        source.isPositional = true
        source.load()

        let player = SCNAudioPlayer(source: source)
        let audioNode = SCNNode()

        let box = SCNBox(width: 1, height: 1, length: 1, chamferRadius: 0.2)
        let boxNode = SCNNode(geometry: box)

        boxNode.addChildNode(audioNode)
        scene.rootNode.addChildNode(boxNode)

        audioNode.addAudioPlayer(player)
        let avm = player.audioNode as? AVAudioEnvironmentNode
        avm?.reverbBlend = reverbBlend
        avm?.renderingAlgorithm = renderingAlgorithm
        avm?.occlusion = occlusion
        avm?.obstruction = obstruction

        let up = SCNAction.moveBy(x: 0, y: 0, z: 70, duration: 5)
        let down = SCNAction.moveBy(x: 0, y: 0, z: -70 , duration: 5)
        let sequence = SCNAction.sequence([up, down])
        let loop = SCNAction.repeatForever(sequence)
        boxNode.runAction(loop)

        avm?.position = AVAudio3DPoint(
                 x: Float(boxNode.position.x),
                 y: Float(boxNode.position.y),
                 z: Float(boxNode.position.z))
    }
}

Answer 2

經過研究和實驗，我終於找到了答案。 我需要修復兩件事。

1. 我必須將SCNAudioPlayer.AVAudioNode的默認renderingAlgorithm從equalPowerPanning更改為HRTF或HRTFHQ。 但是，AVAudioNode不具有renderingAlgorithm屬性。 但是，我能夠將SCNAudioPlayer.AVAudioNode強制轉換為AVAudioPlayerNode，並且AVAudioPlayerNode確實具有renderingAlgorithm屬性。 這是相關的代碼。

if let apn = player.audioNode as? AVAudioPlayerNode {
    apn.renderingAlgorithm = .HRTFHQ
}

2. 我必須將SCNCamera的節點分配給SCNView的pointOfView。 另外，我還必須更改相機節點的位置，使其遠離audioNode。 否則，我會聽到一開始的劇烈運動。 這是相關的代碼。

let cameraNode = SCNNode(geometry: SCNBox(width:1, height:1, length:1, chamferRadius: 0.1))
cameraNode.camera = SCNCamera()
        cameraNode.position = SCNVector3(x: 0, y: 0, z: -10)
sceneView.pointOfView = cameraNode

我的scene.rootNode是尺寸為100x100x100的盒子幾何。 在scene.rootNode內部，我有一個50x5050尺寸的boxNode。 然后在boxNode中，我讓audioNode生成尺寸為1x1x1的聲音以及cameraNode尺寸為1x1x1的聲音。 AudioNode的開始位置是0,0,0，cameraNode的位置是0,0，-20。

最后是完整的工作代碼。

導入可可粉導入AVFoundation導入SceneKit

類ViewController：NSViewController {

@IBOutlet weak var sceneView: SCNView!

override func viewDidLoad() {
    super.viewDidLoad()
    let path = Bundle.main.path(forResource: "Sounds/Test_mono.mp3", ofType: nil)
    let url = URL(fileURLWithPath: path!)
    let source = SCNAudioSource(url: url)!
    source.loops = true
    source.shouldStream = false
    source.isPositional = true
    source.load()
    let player = SCNAudioPlayer(source: source)
    if let apn = player.audioNode as? AVAudioPlayerNode {
        apn.renderingAlgorithm = .HRTFHQ
    }

    let audioNode = SCNNode(geometry: SCNBox(width:1, height:1, length:1, chamferRadius: 0.1))
    let cameraNode = SCNNode(geometry: SCNBox(width:1, height:1, length:1, chamferRadius: 0.1))

cameraNode.camera = SCNCamera（）讓boxNode = SCNNode（幾何形狀：SCNBox（寬度：50，高度：50，長度：50，倒角半徑：1））boxNode.addChildNode（audioNode）audioNode.position = SCNVector3（x：0，y ：0，z：0）boxNode.addChildNode（cameraNode）cameraNode.position = SCNVector3（x：0，y：0，z：-10）

    let scene = SCNScene()
    scene.rootNode.geometry = SCNBox(width:100, height:100, length:100, chamferRadius: 0.1)
    scene.rootNode.addChildNode(boxNode)

boxNode.position = SCNVector3（x：0，y：0，z：0）

    sceneView.scene = scene
    sceneView.pointOfView = cameraNode
    sceneView.audioListener = cameraNode

    audioNode.addAudioPlayer(player)
    let move = SCNAction.moveBy(x:1, y:0, z:0, duration: 1)
    let sequence = SCNAction.sequence([move])
    let loop = SCNAction.repeatForever(sequence)
    audioNode.runAction(loop)

//加載視圖后進行其他任何設置。 }

override var representedObject: Any? {
    didSet {
    // Update the view, if already loaded.
    }
}

}