使用Node.js从不同的站点下载数据

Question

我应该创建一些代码，使我可以从不同的站点下载数据（例如： WHO ， Unicef ， Eurostat等），然后将这些数据转换为我认为有用的格式，例如JSON 。 （如果我理解正确，那就意味着要进行网络抓取 ，对吧？）。

数据可以采用不同的格式： html ， PDF ， xlsx ， tsv ， csv等。例如：

• [html] http://apps.who.int/immunization_monitoring/globalsummary/timeseries/tscoveragebcg.html
• [PDF] http://www.salute.gov.it/portale/documentazione/p6_2_8_3_1.jsp?id=20
• [html] http://apps.who.int/flumart/Default?ReportNo=12
• [各种格式] http://appsso.eurostat.ec.europa.eu/nui/show.do?dataset=nama_10r_2gdp&lang=en

我需要对其进行处理并将其转换为统一格式，以便可以对其进行比较。

显然，数据收集可以手动完成，但我更喜欢自动执行的过程。

我从来没有做过这样的事情，我也不知道如何开始。

目前，我仅使用客户端Javascript而对服务器端编程知之甚少。 他们建议我使用Node.js ， Express.js和MongoDB 。 我已经读到MEAN存在：一种用于构建动态网站和Web应用程序的JavaScript软件，但我不知道如何使用它。

我从未使用过Node.js ， Express.js或MongoDB 。 我很高兴学习，但我需要帮助。

有人能帮我吗？ 我没有找到适合我的情况的教程或指南。

谢谢！

Answer 1

您只需要与URL对话的内容即可。 您可以使用Node.js或任何其他框架进行操作，该框架提供了与URL对话的功能。 之后，您可以编写一个解析器来根据需要清理数据。

这是到页面的链接，该页面描述了如何在Node中执行此操作。

在Node.js / Express中，如何“下载”页面并获取其HTML？