Web 抓取 - 从亚马逊抓取常规价格和销售价格

Question

首先，全面披露：我以前从未写过 web 刮刀，但我想尝试一下。 我将按照一些教程资源来学习如何做到这一点。 但这不是我的问题。 我的刮刀仅供个人使用，作为获得编程经验的一种方式。

我想在亚马逊上抓取某种产品类型（变形金刚玩具）。 但我只想刮掉那些打折的，即从正常价格降低（基本上，我想在打折时得到提醒，因为我错过了很多销售）。 在网站上，对于打折的商品，它会显示正常价格和销售价格。

问题是，当我在 web 上搜索如何抓取亚马逊数据时，我发现的资源仅提及价格作为字段。 我找不到任何说明我可以使用哪个字段来查找销售价格。 而且我不知道标有“价格”的字段是反映正常价格还是当天的销售价格。 显然，如果亚马逊同时显示两种价格，那么它们必须是每个价格的一个字段。

有谁知道包含正常价格和销售价格的字段的具体名称是什么？ 有没有办法获取可用于在亚马逊或任何其他网站上抓取数据的所有可能字段的列表？

我在网上看到你可以使用 /robots.txt 来查看允许和不允许被抓取的内容。 我是为亚马逊做的，但它甚至没有列出一些可抓取的基本字段，例如产品名称、url、评级和评论，所以我认为这不是了解所有可能字段的好资源一个可以被抓取的网站。

任何帮助表示赞赏。 谢谢！