Stream 从 S3 到客户端的音频通过 REST API

Question

描述

我正在使用 NEXT.js 构建音乐流媒体 SPA。
音频文件存储在 AWS S3 上。

目标是通过REST从S3到客户端的stream音频文件
以便可以进行身份验证，并“隐藏”AWS 端点。

问题

当通过 REST 端点将数据流式传输到客户端时，音频出现故障并且仅加载正在播放的音频文件的 ~15 秒。

我通过手动创建读取 stream 并为其提供选项，在单独的项目上测试了此行为：

fs.createReadStream("path", {start: startByte, end: endByte}) 

它工作得很好。

尽管来自 s3 的 createReadStream（我相信我使用的是 v2）不接受任何选项。 所以我无法通过这种方式解决这个故障。

我考虑了很多解决方案，其中一个涉及手动将传入缓冲区从 S3 转换为可流数据，但我相信这会导致数据在服务器的 RAM 中处理，我不希望这种行为，即使音频文件通常非常“小” .
我还考虑过为文件创建一个预签名的 url，然后在最坏的情况下重定向。

问题

我将在下面提供源代码。 我相信由于读取流缺少开始和结束位置，我的音频会在前 ~15 秒循环播放。
我如何修复给定的行为和 stream 数据从 s3 到服务器再到客户端而不将整个文件保存在服务器 RAM 中？

代码

用于数据流的实用程序 function 的一部分：

const downloadParams = {
        Key,
        Bucket: bucketName,
    };
const fileStream = s3.getObject(downloadParams).createReadStream();

fileStream 从此 function 返回并在 API 端点中访问，如下所示：

const CHUNK_SIZE = 10 ** 3 * 500; // ~500KB
const startByte = Number(range.replace(/\D/g, ""));
const endByte = Math.min(
    startByte + CHUNK_SIZE,
    attr.ObjectSize - 1
);
const chunk = endByte - startByte + 1;

const headers = {
    "Content-Range": `bytes ${startByte}-${endByte}/${attr.ObjectSize}`,
    "Accept-Ranges": "bytes",
    "Content-Length": chunk,
    "Content-Type": "audio/*",
};

res.writeHead(206, headers);

fileStream.pipe(res);

这是客户端上的音频接收器：

"use client";

const Audio = () => {
    return (
        <audio src="http://localhost:3000/api/stream/FILE_KEY_HERE" controls></audio>
    );
};

export default Audio;

这是请求标头的样子：

Accept: */*
Accept-Encoding: identity;q=1, *;q=0
Accept-Language: en,ru;q=0.9,sv-SE;q=0.8,sv;q=0.7,en-US;q=0.6
Connection: keep-alive
Cookie:
Host: localhost:3000
Range: bytes=65536-
Referer: http://localhost:3000/
sec-ch-ua: "Not_A Brand";v="99", "Google Chrome";v="109", "Chromium";v="109"
sec-ch-ua-mobile: ?1
sec-ch-ua-platform: "Android"
Sec-Fetch-Dest: video
Sec-Fetch-Mode: no-cors
Sec-Fetch-Site: same-origin
sec-gpc: 1
User-Agent: Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Mobile Safari/537.36

第二个 sheader 仅在范围上有所不同：bytes=65536-

第一个要求：

Request URL: http://localhost:3000/api/stream/track/4
Request Method: GET
Status Code: 206 Partial Content
Remote Address: [::1]:3000
Referrer Policy: strict-origin-when-cross-origin

响应标头：

Accept-Ranges: bytes
Connection: keep-alive
Content-Length: 500001
Content-Range: bytes 65536-565536/3523394
Content-Type: audio/*
Date: Wed, 25 Jan 2023 21:35:51 GMT
Keep-Alive: timeout=5

聚苯乙烯

我确实检查了 my.network 选项卡，标题包含有关正在流式传输的对象的真实信息。 请求似乎下载了完整的文件大小（例如 3.2mb 的 3.2mb），但音频仍然在前 15 秒循环播放。 即使我手动操作持续时间栏。
在这里没有找到这样的信息所以认为这对将来的人有帮助

尝试过

除了提到的事情之外，我尝试创建新流并通过管道传输它们，尝试在 createReadStream() 上使用 stream 事件，阅读写得不好的 aws 文档。 但由于缺乏信息，询问某人比连续 4 天尝试解决同一问题更省时。

Answer 1

问题是前 X 个字节是从源 MP3 中读取的，无论客户端是否请求了稍后的“范围”。

快速的解决方案是告诉GetObject function 寻找Range header 中请求状态的相同字节，因为 S3 本身也支持范围请求。