搜索引擎如何抓取網站？

Question

我正在創建一個多語言網站，並且為每種語言使用資源管理器。

當用戶選擇一種語言時，所有頁面都使用選定的資源綁定。

由於整個網站僅以一種語言提供，搜索引擎如何搜尋其他語言？ 還是搜索引擎會爬網提供的可選語言？

Answer 1

如您所知，當您擁有一個靜態的多語言網站時，每種語言都有單獨的頁面，那么搜索引擎就沒有任何問題。 而每個頁面都有一個唯一的URL。

但是在動態應用程序中，每種語言沒有單獨的頁面，而必須使用資源，您可以添加新語言或刪除已經存在的語言，依此類推。

因此，我們必須使用Url Rewriter / Routing為每種語言生成唯一的url。 請檢查以下示例。

假設我們在以下網址中有一個Web表單，並且我們的應用程序支持兩種語言（例如，美國英語en-US，英國英語en-GB）。

www.domain.com/home.aspx

存在一些問題，我們為所有語言提供了永久的url。 因此，無論如何，搜索引擎將為默認語言建立索引。 解決方案很簡單，您必須使用Url Rewriter / Routing為每種語言生成單獨的url，如下所示。

www.domain.com/{country}/{language}/home.aspx

之后，您必須從上面的URL推斷指定的區域性名稱，並設置當前的Culture和UICulture屬性。 因此，所請求的頁面將以所需的語言顯示。

在這種情況下，應該以編程方式生成站點地圖，並使用與上述相同的方式。

www.domain.com/{country}/{language}/sitemap.xml

您必須根據上述網址推斷出指定的區域性，並根據區域性生成站點地圖。 要將可用的站點地圖引入搜索引擎，您必須使用robots.txt ，它也應該以編程方式生成。

Answer 2

您可能正在使用cookie /會話來記住所選的語言，對嗎？ 它們都不影響搜索引擎。 他們只是忽略cookie。 但是，如果u依賴於會話變量來記住所選語言，則在沒有cookie的情況下，每次創建新會話時都會取消語言選擇。

• 安奇