该网站上的表格数据是如何填充的？ （网页抓取）

Question

我试图从该网站的表格中提取整个股票列表以供练习（我知道有用于金融等的 Yahoo API，但这是为了自学）：

https://www.nyse.com/listings_directory/stock

使用 Python，我不想依赖诸如 selenium 之类的繁重内容，并多次单击下一步以遍历整个列表。

所以我试图通过“网络”选项卡进行挖掘，看看是否有数据来源。 也许是一个 json 左右的文件。

我好像找不到。 我也试图挖掘 Javascript 个文件（有这么多。），我觉得我正在深入一个永无止境的海洋。 我真的不知道我应该去哪里找。

我假设应该与数据库有某种联系？ 谢谢您的帮助！

更新：

根据 Carcigenicate 提供的信息：

我尝试了以下但仍然没有得到正确的回应

url = 'https://www.nyse.com/api/quotes/filter'


payload = {"instrumentType":"EQUITY","pageNumber":5,
           "sortColumn":"NORMALIZED_TICKER",
           "sortOrder":"ASC","maxResultsPerPage":10,
           "filterToken":""}

response = requests.post(url, data = payload)
print(response)

根据我是否使用POST或GET我得到以下响应：

<Response [404]>
<Response [415]>
<Response [404]>

Answer 1

我通过以下方式找到它：

• 在 Edge 中（尽管 Chrome 可能也能正常工作），我进入了 .network 选项卡，开始录制，然后刷新。

• 在右上角的搜索栏中，我搜索了“安捷伦”（表格中的股票名称）。

• 它表明它是一个 JSON 源自https://www.nyse.com/api/quotes

我以前从未使用过他们的 API，但您可以向该地址发送 POST 请求以获取信息。 不过，您需要查看他们的文档以了解如何使用他们的 API。