從JS網站抓取網頁

Question

我想從https://www.investing.com/commodities/gold-historical-data抓取表單數據，但是此表單是由js生成的。 我試圖伊馬克洛斯看動作，得到了這個：

TAG POS=1 TYPE=DIV ATTR=ID:widgetFieldDateRange
    TAG POS=1 TYPE=A ATTR=TXT:20
    TAG POS=2 TYPE=A ATTR=TXT:13
    TAG POS=1 TYPE=A ATTR=ID:applyBtn

誰能告訴我如何將其更改為我可以在硒中使用的python代碼？

Answer 1

似乎您需要POST請求（Ajax）。

我是怎么找到的？

好吧，我從“網絡”部分檢查了XHR

您需要的POST數據是（用所需的日期替換）：

curr_id=8830
smlID=300004
st_date=08/09/2017
end_date=08/21/2017
interval_sec=Daily
sort_col=date
sort_ord=DESC
action=historical_data

來自aobe POST數據的ID可能僅適用於該市場（黃金歷史數據），因此對於其他人，再次檢查網絡並每次查看POST數據。

您如何在Python中實現呢？

您需要一個稱為requests的模塊。

具體來說，讀這