使用http / https時是否有識別“不屬於”站點的標准方法？

Question

我正在使用節點Webshot庫來拍攝網站的圖像，例如http：// xyzcom / blah 。 如果該網站存在，我會得到很好的印象。 如果該網站不存在，我可能會或可能不會出現錯誤。 如果遇到錯誤情況，可以使用默認圖像。 但是，我發現某些域被重定向到臭名昭著的Domain出售站點或“搜索” Domain站點。 例如， http://notawebsite.com.org被重定向到http://www.com.org/?notfound=notawebsite.com.org 。 我還檢查了dns，以查看是否可以提前使該站點失效，但是它可以很好地解決（訪問www.com.org地址）。 那么，有什么我可以確定URL站點是否重​​定向到這些域搜索/銷售站點之一的方法嗎？

Answer 1

使用http / https時是否有識別“不屬於”站點的標准方法？

不，不是。 在您引用的示例中， http://notawebsite.com.org的服務器返回301重定向。 在我看來，您只是決定要重定向到另一個域（而不僅僅是重定向到同一域上的另一個頁面，而不僅僅是從http重定向到同一域上的https），那么您嘗試訪問的URL本身並不活躍。

沒有標准的方法可以知道您重定向到的站點僅僅是域名賣方還是實際的活動域。 您可以手動調查要重定向到的一堆網站，並教您的代碼如何識別這樣做的一些常見域名賣家，但這將是一項永無止境的工作，可能需要定期進行人工干預才能分辨出真實網站與域名銷售網站。 最后，您可以建立一個域名賣方域名的黑名單，並拒絕對重定向到黑名單上任何域名的URL進行分類。 但是，可能需要一些人工干預才能建立和維護黑名單。

您也無法確定要重定向的給定域中的所有URL都執行類似的重定向，但是您可以肯定地說，嘗試從中獲取快照的URL本身並不是直接活動的。 如果用戶在瀏覽器中轉到該域，則他們將在瀏覽器中看不到該域的任何內容，因為重定向將更改URL。

那么，有什么我可以確定URL站點是否重​​定向到這些域搜索/銷售站點之一的方法嗎？

建立您自己的經銷商網域黑名單，這些黑名單會顯示在這樣的重定向中。 然后，每當您嘗試請求網頁URL以獲取Webshot的目的，並且從請求中獲得3xx狀態代碼時，您都要檢查重定向域以查看其是否在黑名單中。