关于htaccess和robots.txt

Question

嗨，这是我在Stackoverflow中的第一个问题，请您帮忙。 它涉及htaccess文件和robot.txt文件。 在十月份，我从以前的非WordPress网站创建了一个WordPress网站。 我已经在现有站点的子域上构建了新站点，因此当我构建新站点时，实时站点可以保持活动状态。

我在该子域上构建的网站是可用的，但是我是否应该删除旧的htaccess文件和机械手txt文件；我对此感到担心。 我在新网站上创建了新的htaccess和robots.txt文件，并将旧的htaccess文件留在那里。 只需提及所有旧内容文件仍位于服务器上名为“旧文件”的文件夹下，因此我假设这些内容不会影响事务。 以下是每个文件的内容：

我通过ftp filezilla单击“公共html”来访问htaccess和robots.txt文件。 我建立的网站（下面的htaccess详细信息）。 W3TC是我几天前安装的wordpress缓存插件，因此在这里我不询问有关W3TC的任何信息：

# BEGIN W3TC Browser Cache
<IfModule mod_deflate.c>
<IfModule mod_headers.c>
    Header append Vary User-Agent env=!dont-vary
</IfModule>
<IfModule mod_filter.c>
    AddOutputFilterByType DEFLATE text/css text/x-component application/x-javascript application/javascript text/javascript text/x-js text/html text/richtext image/svg+xml text/plain text/xsd text/xsl text/xml image/x-icon application/json
<IfModule mod_mime.c>
    # DEFLATE by extension
    AddOutputFilter DEFLATE js css htm html xml
</IfModule>
</IfModule>
</IfModule>
# END W3TC Browser Cache
# BEGIN W3TC CDN
<FilesMatch "\.(ttf|ttc|otf|eot|woff|font.css)$">
<IfModule mod_headers.c>
Header set Access-Control-Allow-Origin "*"
</IfModule>
</FilesMatch>
# END W3TC CDN
# BEGIN W3TC Page Cache core
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteCond %{HTTP:Accept-Encoding} gzip
RewriteRule .* - [E=W3TC_ENC:_gzip]
RewriteCond %{HTTP_COOKIE} w3tc_preview [NC]
RewriteRule .* - [E=W3TC_PREVIEW:_preview]
RewriteCond %{REQUEST_METHOD} !=POST
RewriteCond %{QUERY_STRING} =""
RewriteCond %{REQUEST_URI} \/$
RewriteCond %{HTTP_COOKIE} !(comment_author|wp\-postpass|w3tc_logged_out|wordpress_logged_in|wptouch_switch_toggle) [NC]
RewriteCond "%{DOCUMENT_ROOT}/wp-content/cache/page_enhanced/%{HTTP_HOST}/%{REQUEST_URI}/_index%{ENV:W3TC_PREVIEW}.html%{ENV:W3TC_ENC}" -f
RewriteRule .* "/wp-content/cache/page_enhanced/%{HTTP_HOST}/%{REQUEST_URI}/_index%{ENV:W3TC_PREVIEW}.html%{ENV:W3TC_ENC}" [L]
</IfModule>
# END W3TC Page Cache core
# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

# END WordPress

我有7个重定向到新页面URL的地方，经过测试的这些URL都没有问题，并且每个都可以。

#Force non-www:
RewriteEngine on
RewriteCond %{HTTP_HOST} ^www\.websiteurl\.co.uk [NC]

RewriteRule ^（。*）$ http：// websiteurl / $ 1 [L，R = 301]

以前的站点（旧站点的htaccess）：全部拒绝

---

我建立的网站（Robots.txt）：用户代理：*不允许：/ wp-admin /

网站地图：

http：//websitehomepageurl/sitemap_index.xml

上一个站点（Robots.txt）：用户代理：*禁止：

---

请您帮忙。 非常感谢您的宝贵时间。

非常感谢。

Answer 1

删除旧的robot.txt和htaccess。

Answer 2

嗨，谢谢您的回应。 我在其他地方得到了帮助。 我向开发站点添加了robots.txt文件，因此不允许使用机器人。 我将所有附件重定向到其原始页面。 所有其他文件都到位。 我会把它留在那里。 致回复的人，谢谢。 但是要说的是，我只需要删除旧的机械手，htaccess文件是不正确的，因为在大型方案中仍然需要它们。 Stackoverflow在网上享有很高的声誉，因此在帮助他人尝试解释时，他们可以理解您的建议背后的逻辑。 很高兴我没有接受您的建议，因为我本来可以解决一个更大的问题。 祝你有美好的一天。

Answer 3

后续技巧：除了通过robots.txt阻止内容外，我建议您在每个页面上使用

meta content =“ noindex，noarchive，nofollow” name =“ robots”（您需要为此添加<和结束标记）。

原因是某些漫游器没有考虑robots.txt内容。

而且我永远也不允许任何人或机器人看到旧的htaccess文件！ 如果人们可以阅读您的htaccess内容，则可能会带来严重的安全问题。