如何在 NodeJs 中按块解析 Json 数据

Question

我正在创建一个 REST API，它从 Internet 获取原始数据，然后对其应用 REGEX 并以 JSON 格式返回。

这是我将数据作为 JSON 获取的功能。
首先，我使用 got() 获取原始数据，然后我应用 ANIME_LIST_REGEX.exec() 使用正则表达式对其进行过滤，使其成为 JSON 格式。

async function getAnimeList(url) {
const {body} = await got(url);

let ANIME_LIST_DATA = ANIME_LIST_REGEX.exec(body)

if (!ANIME_LIST_DATA) {
    return null;
}

return {
    animeList: ANIME_LIST_DATA[1]
};

}

在此端点中，我从第一个函数中检索数据并解析 JSON，并将其作为响应返回。

app.get('/anime-list', async (req, res, next) => {
    const appData = await getAnimeList(URL_BASE_ANIME_LIST);
    var listJson = JSON5.parse(appData.animeList)
    res.json(listJson)
})

问题是返回的数组非常大（5000 个 js 对象条目）并且请求需要很长时间才能返回并显示数组
我想要做的是每次调用函数或到达端点时返回该数组的一个块。
尝试了几种方法，但没有一种是有意义的。
有人知道吗？

Answer 1

您可以使用Array.prototype.splice()将大数组分成小块。 要确定块的范围，您可以将查询传递给端点。

app.get("/anime-list", async (req, res, next) => {
  const appData = await getAnimeList(URL_BASE_ANIME_LIST)
  var listJson = JSON5.parse(appData.animeList)

  const from = req.query.from || 0
  const count = req.query.count || 100
  res.json(listJson.splice(from, count))
})

但是，正如其他人所提到的，每个请求调用getAnimeList()将导致另一个性能问题。 我强烈建议您重构函数以缓存结果。

Answer 2

由于该数据似乎并不经常更改，因此不必对每个请求调用API并解析JSON ，您应该缓存它，并设置任何您认为合适的TTL。

这是一个粗略的实现：

let cache {};


async function getAnimeList(url) {

    if(!cache[url]) {
        // Improve caching logic, implement a TTL if you need
        // You can even cache the promise to only execute a single API call
        // if this method gets called very fast before any caching is set
        const {body} = await got(url);

        let ANIME_LIST_DATA = ANIME_LIST_REGEX.exec(body)

        if (!ANIME_LIST_DATA) {
            return null;
        }

        cache[url] = JSON5.parse(ANIME_LIST_DATA[1]);
    }

    return cache[url];
}



app.get("/anime-list", async (req, res, next) => {
  const list = await getAnimeList(URL_BASE_ANIME_LIST)

  const from = req.query.from || 0
  const count = req.query.count || 100
  res.json(list.slice(from, from + count))
})

如果您不直接在前端关心整个数据，则可以按@senta的说明对数组进行分页。 由于数据在cache ，因此请使用.slice而不是.splice来避免对数组进行.splice 。