这个robot.txt代码会禁止每个搜索引擎吗？

Question

我想知道这段代码是否禁止每个搜索引擎扫描我的目录。

User-agent: * 
Disallow: /

这段代码还会用新的htlm 5协议更新吗？

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

真的有用还是不再需要？

Answer 1

不，它只会阻止那些遵守robots.txt协议的人（存在一些搜索引擎故意违背robots.txt来查找“隐藏”的内容）。

但是，它将阻止您的普通消费者会使用的绝大多数搜索引擎。