在用戶互動后從網站提取數據

Question

我正在嘗試創建一個Web應用程序，在該Web應用程序中，與用戶進行交互之后，該應用程序會從第三方網站提取數據。

例如：一個用戶登錄xyz.com並在表單中輸入一些值，然后單擊Submit按鈕，將出現一個新頁面，現在我的應用程序將提取此數據並將其存儲在db中，以供用戶將來參考。

我嘗試使用<iframe>執行此操作，但是某些網站似乎阻止了此請求。 如果有人可以幫助我解決這個問題，我將非常樂意。

干杯。

Answer 1

由於來自其他一些站點的訪問限制（如Eric所指出的），這是一個棘手的情況。

簡單的答案是使用與所討論的站點相同的輸入來構建表單，然后將ajax請求發布到處理器，然后將結果解析到數據庫中。 問題在於，除非涉及到API，否則大多數網站都不允許跨瀏覽器發布或抓取。

AJAX最常見的是：

XMLHttpRequest cannot load http://test.com/. No 'Access-Control-Allow-Origin' header is present on the requested resource. Origin 'http://my.domain.com' is therefore not allowed access.

即使執行jquery“ .contents（）”也會產生：

Uncaught SecurityError: Failed to read the 'contentDocument' property from 'HTMLIFrameElement': Blocked a frame with origin "http://my.domain.com" from accessing a frame with origin "http://www.test.com". Protocols, domains, and ports must match.

因此，除非您與其他站點合作，否則您可能會很不幸。