forms身份驗證中轉移而不是重定向登錄

Question

我給谷歌一個包含我所有頁面的站點地圖，當爬蟲試圖訪問它們時，他會被重定向到登錄頁面。

在登錄頁面中，我會解釋頁面的作用，以便爬蟲可以看到每個頁面都是不同的。

現在的問題是機器人足夠聰明，可以識別出它是一個重定向：

未遵循的 URL 當我們測試您站點地圖中的 URL 樣本時，我們發現一些 URL 重定向到其他位置。 我們建議您的站點地圖包含指向最終目的地（重定向目標）的 URL，而不是重定向到另一個 URL。 HTTP 錯誤：302

如果微軟沒有在 RedirectToLoginPage(String) 中使用重定向，而是使用了 Server.Transfer，谷歌永遠不會發現它實際上是同一個頁面。

有任何想法嗎？

Answer 1

正如卡爾所說，如果訪問您的內容需要登錄，那么您無能為力。

但是，如果您可以將每個內容頁面的“預告片”分開，並從需要登錄的頁面中獲得“閱讀更多”的鏈接，那么您會很喜歡 go。

預告頁面應該有足夠的可搜索文本，以便 google 能夠成功地將其包含在搜索結果中。

有許多網站可以做到這一點。 你搜索一些東西，點擊 go 的鏈接到他們的網站。 在那里，您可能會看到兩段信息。 如果您想要更多鏈接，請訪問登錄/注冊頁面。

Answer 2

好吧，我找到了一個不優雅的解決方案，但它適合我的需求：

http://forums.asp.net/t/1358997.aspx

""目前，我找到了一個解決方法：我捕獲了 End-request 事件並查看狀態碼是否為 "302 redirected"； 如果是的話，我會從那里更改地址並做我需要做的任何事情。 不是最優雅的解決方案（並且需要對每個頁面請求進行更多處理；不僅僅是登錄重定向），但至少它有效。""