经营项目:盐城网站建设、推广、SEO优化、手机微信网站开发、400电话,Logo制作和广告策划,400电话: 180-3629-6280
盐城网站建设 >建站套餐

您当前的位置:明翔网络首页 >最新动态

建站套餐
功能开发
网站维护
网站推广
用户体验
域名主机
网络服务
上一篇盐城企业网站改版要注意的优化细节问题下一篇拿过来一个网站要进行网站优化,需要做哪些工作呢?

网站做好之后必须了解的robots.txt语法大全

『作者:明翔 』『2012-8-27』 tags:『』『打印此页』『关闭窗口

网站做好之后必须了解的robots.txt语法大全

例1. 禁止任何一个搜索引擎访问网站的首页及网站的任意地方:
User-agent: *
Disallow: /

例2. 任何搜索引擎的蜘蛛(抓取机器人)可以自由访问你的网站:
User-agent: *
Disallow:
或者
User-agent: *
Allow: / 
(注:下面一句是必须的)
或者
在网站根目录下建一个空文件robots.txt

例3. 仅禁止Baiduspider访问您的网站:
User-agent: Baiduspider
Disallow: /

例4. 仅允许Baiduspider访问您的网站

User-agent: Baiduspider
Disallow:
User-agent: *
Disallow: /

例5. 禁止spider访问特定目录
在这个例子中,该网站有三个目录对搜索引擎的访问做了限制,即robot不会访问这三个目录。
需要注意的是对每一个目录必须分开声明,而不能写成 "Disallow: /cgi-bin/ /tmp/"。
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/

例6. 允许访问特定目录中的部分url
User-agent: *
Allow: /cgi-bin/see
Allow: /tmp/hi
Allow: /~joe/look
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/

例7. 使用"*"限制访问url
禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
User-agent: *
Disallow: /cgi-bin/*.htm
 
例8. 使用"$"限制访问url
仅允许访问以".htm"为后缀的URL。
User-agent: *
Allow: .htm$
Disallow: /

例9. 禁止访问网站中所有的动态页面
User-agent: *
Disallow: /*?*

例10. 禁止Baiduspider抓取网站上所有图片,仅允许抓取网页
User-agent: Baiduspider
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$

例11. 仅允许Baiduspider抓取网页和.gif格式图片,不允许抓取其他格式图片
User-agent: Baiduspider
Allow: .gif$
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .png$
Disallow: .bmp$

例12. 仅禁止Baiduspider抓取.jpg格式图片
User-agent: Baiduspider
Disallow: .jpg$


文章作者:明翔
本文地址:http://www.seobbc.net/news-515.html
版权所有-转载时必须以链接形式注明作者和原始出处!

盐城网站建设 | 盐城SEO | 盐城网站优化 | 案例展示 | 网站新闻 | 关于我们 | 盐城做网站 | 隐私申明

Copyright 2009-2013 All Rights Reserved @ 明翔网络 地址:盐城市亭湖区步凤镇 常年法律顾问:陈志颖律师
邮政编码:224045 客服电话:13375255190 苏ICP备11043233号 客服邮箱:seobbc@qq.com