在运行之前异步不等待功能

Question

我正在尝试从我的计算机上保存的HTML解析规范网站。 我可以根据要求发布文件。

我试图弄清楚它为什么不会同步运行而烧坏了。 评论应该记录CCCC的第一个，然后是BBBB的，然后最后一个AAAA 。

我正在运行的代码不会在第一个障碍等待（它首先打印AAAA... ）。 我是否错误地使用了request-promise ？ 到底是怎么回事？

这是由于.each()的方法cheerio （我假设它是同步的）？

const rp = require('request-promise');
const fs = require('fs');
const cheerio = require('cheerio');

async function parseAutodeskSpec(contentsHtmlFile) {
  const topics = [];
  const contentsPage = cheerio.load(fs.readFileSync(contentsHtmlFile).toString());
  const contentsSelector = '.content_htmlbody table td div div#divtreed0e338374 nobr .toc_entry a.treeitem';

  contentsPage(contentsSelector).each(async (idx, topicsAnchor) => {
    const topicsHtml = await rp(topicsAnchor.attribs['href']);
    console.log("topicsHtml.length: ", topicsHtml.length);
  });

  console.log("AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA");

  return topics;
}

Answer 1

正如@lumio在他的评论中所说，我也认为这是因为each函数都是同步的。

你应该使用map方法，并在结果上使用Promise.all()来等待足够的时间：

const obj = contentsPage(contentsSelector).map(async (idx, topicsAnchor) => {
  const topicsHtml = await rp(topicsAnchor.attribs['href']);
  console.log("topicsHtml.length: ", topicsHtml.length);

  const topicsFromPage = await parseAutodeskTopics(topicsHtml)
  console.log("topicsFromPage.length: ", topicsFromPage.length);

  topics.concat(topicsFromPage);
})

const filtered = Object.keys(obj).filter(key => !isNaN(key)).map(key => obj[key])

await Promise.all(filtered)

console.log("AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA");

Answer 2

试试这种方式：

let hrefs = contentsPage(contentsSelector).map((idx, topicsAnchor) => {
  return topicsAnchor.attribs['href']
}).get()


let topicsHtml
for(href of hrefs){
  topicsHtml = await rp(href);
  console.log("topicsHtml.length: ", topicsHtml.length);
}

现在await在地图之外，或者每个都不像你想象的那样工作。

Answer 3

基于其他答案，我得出了一个相当优雅的结论。 注意在.map()回调中避免使用async / await ，因为cheerio的回调（以及我所了解的async / await ，通常是所有的回调）似乎都没有遵守await的同步特性：

async function parseAutodeskSpec(contentsHtmlFile) {
  const contentsPage = cheerio.load(fs.readFileSync(contentsHtmlFile).toString());
  const contentsSelector = '.content_htmlbody table td div div#divtreed0e338374 nobr .toc_entry a.treeitem';

  const contentsReqs = contentsPage(contentsSelector)
    .map((idx, elem) => rp(contentsPage(elem).attr('href')))
    .toArray();

  const topicsReqs = await Promise.all(contentsReqs)
    .map(req => parseAutodeskTopics(req));

  return await Promise.all(topicsReqs);
}