怎么禁止百度收录www域名前缀?
资源外星人导读:本站为大家带来怎么禁止百度收录www域名前缀?文章,更多建站技术,请继续关注资源外星人!
一. 百度site结果
资源外星人使用site指令在百度上粗略查询网站收录量时,发现一个问题,site:ziyuanet.com,发现搜索结果中竟然含有带www的ziyuanet.com。
带www的ziyuanet.com竟然排在第一位;ziyuanet.com排在第二位。于是又在百度上搜索了一下,结果如下:
这个结果让资源外星人特别地意外。资源外星人在建站初期就确定了网站的首选域,将ziyuanet.com作为首选域。
二. 站长工具检查首选域
在站长工具中也能查询到将带www的域名跳转到不带www。
三. 谷歌site结果
Perfect~谷歌的这个结果让我特别满意,Google完全认可首选域的设置。难道百度不认可301跳转?对于百度,我也只能呵呵了。百度同时收录了带www的ziyuanet.com和ziyuanet.com这样极易造成大量重复页面的产生。
四. 解决方法
1.在WordPress主题根目录新建robots.txt,代码如下:
User-Agent: * Disallow: /
告诉搜索引擎禁止收录任何内容。
2.资源外星人使用的是虚拟主机
RewriteEngine on RewriteCond %{HTTP_HOST} ^www.ziyuanet.com [NC] RewriteRule ^robots.txt wrobots.txt [L]
告诉搜索引擎带www的ziyuanet.com收录请参考robots.txt,禁止收录带www的ziyuanet.com的所有内容。
3.百度投诉快照
将带有www的链接到百度投诉平台进行投诉。
五.检查
1. 在浏览器地址栏输入:ziyuanet.com/robots.txt
2. 在浏览器地址栏输入如下,会直接跳转到ziyuanet.com/robots.txt
再去查看带www的ziyuanet.com的收录情况,只剩下1条记录了,且提示:
由于该网站的robots.txt文件存在限制指令(限制搜索引擎抓取),系统无法提供该页面的内容描述。
说明带www的ziyuanet.com的robots.txt已经开始生效了。但是百度依然还会索引这个非首选域名。愤怒~
再次查看site:ziyuanet.com的结果,竟然找不到ziyuanet.com,百度是不是抽了?
所以这种方法只适合新站点的设置,对于老站点还是无法屏蔽非首选域。
以上就是资源外星人整理的怎么禁止百度收录www域名前缀?全部内容,希望对大家有所帮助!