Rails和Javascript：奇怪的404……也許是履帶式機器人？

Question

這可能是一個模糊的問題，但似乎某個機器人正在抓取我的網站，並且做得很差。 看來是在從我的應用程序js文件中猜測ID，並將其放入網址中，例如：

Couldn't find Post with id=keypress

更奇怪的是，HTTP Referrer被列為application.js。

有誰之前經歷過這個嗎？ 關於如何阻止這些爬蟲的任何想法？

Answer 1

如果它是合法的搜尋器，則可以通過將robot.txt文件放在根域目錄中來停止它-http: //en.wikipedia.org/wiki/Robots_exclusion_standard

您將在robots.txt文件中包含以下文本：

User-agent: *
Disallow: /YOUR_PATH_TO_FILE/application.js

您還可以將此標簽添加到頁面標題中：

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

如果它是惡意爬網程序，那么這當然不會阻止它。 對於搜尋器，您可以采用其他方法，這些方法不遵守robots.txt，但這取決於您所使用的Web服務器。