使用 AVAudioSourceNode 播放声音时音高和噪音不正确

Question

赏金将在 6 天后到期。 此问题的答案有资格获得+50声望赏金。 Tamás Sengel想提请更多人关注这个问题。

我正在使用TinySoundFont在 watchOS 上使用 SF2 文件。 我想实时播放框架生成的原始音频（这意味着在按下相应按钮时立即调用tsf_note_on ，并在需要新数据时立即调用tsf_render_short ）。 我正在使用 AVAudioSourceNode 来实现这一点。

尽管我将其渲染到文件中时声音渲染良好，但它以低于应用程序所需的音调播放声音。 另外，声音有点吵。 是什么导致了这些问题，我该如何解决？

您可以在此处下载示例 GitHub 项目。

ContentView.swift

import SwiftUI
import AVFoundation

struct ContentView: View {
    @ObservedObject var settings = Settings.shared

    init() {
        settings.engine = .init()

        settings.prepare()
    }

    var body: some View {
        Button("Play Sound") {
            SoundFontHelper.sharedInstance().playSound()

            if !settings.engine.isRunning {
                do {
                    try settings.engine.start()
                } catch {
                    print(error)
                }
            }
        }
    }
}

设置.swift

import SwiftUI
import AVFoundation

class Settings: ObservableObject {
    static let shared = Settings()

    var engine: AVAudioEngine!
    var sourceNode: AVAudioSourceNode!
    var wavData: Data!

    func prepare() {
        if let sourceNode = sourceNode {
            engine.detach(sourceNode)
        }

        let mixerNode = engine.mainMixerNode

        let audioFormat = AVAudioFormat(
            commonFormat: .pcmFormatInt16,
            sampleRate: 44100,
            channels: 1,
            interleaved: false
        )

        guard let audioFormat = audioFormat else {
            return
        }

        sourceNode = AVAudioSourceNode(format: audioFormat) { silence, timeStamp, frameCount, audioBufferList in
            guard let data = SoundFontHelper.sharedInstance().getSound(Int32(frameCount)) else {
                return 1
            }

            let ablPointer = UnsafeMutableAudioBufferListPointer(audioBufferList)

            data.withUnsafeBytes { (intPointer: UnsafePointer<Int16>) in
                for index in 0 ..< Int(frameCount) {
                    let value = intPointer[index]

                    // Set the same value on all channels (due to the inputFormat, there's only one channel though).
                    for buffer in ablPointer {
                        let buf: UnsafeMutableBufferPointer<Int16> = UnsafeMutableBufferPointer(buffer)
                        buf[index] = value
                    }
                }
            }

            return noErr
        }

        engine.attach(sourceNode)
        engine.connect(sourceNode, to: mixerNode, format: audioFormat)

        do {
            try AVAudioSession.sharedInstance().setCategory(.playback)
        } catch {
            print(error)
        }
    }
}

SoundFontHelper.h

#import <UIKit/UIKit.h>

@interface SoundFontHelper : NSObject

+ (instancetype)sharedInstance;

- (void)playSound;
- (NSData *)getSound:(int)length;

@end

SoundFontHelper.m

#import "SoundFontHelper.h"
#define TSF_IMPLEMENTATION
#import "tsf.h"

@implementation SoundFontHelper

tsf *tinySoundFont;

// https://stackoverflow.com/a/7569010/3151675
+ (instancetype)sharedInstance
{
    static SoundFontHelper *sharedInstance = nil;
    static dispatch_once_t onceToken;

    dispatch_once(&onceToken, ^{
        sharedInstance = [[SoundFontHelper alloc] init];
    });

    return sharedInstance;
}

- (id)init {
    const char *soundFontPath = [[[NSBundle mainBundle] pathForResource:@"GMGSx" ofType:@"sf2"] UTF8String];
    tinySoundFont = tsf_load_filename(soundFontPath);
    tsf_set_output(tinySoundFont, TSF_MONO, 44100, 0);

    return self;
}

- (void)playSound {
    tsf_note_on(tinySoundFont, 0, 60, 1.0f); //preset 0, middle C
}

- (NSData *)getSound:(int)length {
    short storage[length];
    tsf_render_short(tinySoundFont, storage, length, 0);

    NSData *data = [[NSData alloc] initWithBytes:storage length:length];

    return data;
}

@end

Answer 1

AVAudioSourceNode初始值设定项采用渲染块。 在您使用的模式（实时回放）中，这是一个实时回调，因此您有一个非常紧迫的期限来用请求的数据填充块并返回它以便可以播放。 您没有太多时间进行计算。 您肯定没有时间访问文件系统。

在您的块中，您在每个渲染周期重新计算整个 WAV，然后将其写入磁盘，然后从磁盘读取它，然后填充请求的块。 您忽略请求的时间戳，并始终从样本零开始填充缓冲区。 不匹配是导致嗡嗡声的原因。 事实上，你做得太慢可能是导致音调下降的原因。

根据文件的大小，最简单的实现方法是首先将所有内容解码为 memory，然后为请求的时间戳和长度填充缓冲区。 看起来您的 C 代码已经生成了 PCM 数据，因此无需将其转换为 WAV 文件。 它似乎已经是正确的格式。

Apple 为信号发生器提供了一个很好的示例项目，您应该将其用作起点。 下载它并确保它按预期工作。 然后努力换入您的 SF2 代码。 您可能还会发现有关此内容的视频很有帮助： AVAudioEngine 中的新增功能。