许多seo新手可能对robots的语法不是很清楚，今天盐城seo就为大家自己阐述下robots.txt语法教程
  用几个最常见的情况，直接举例说明：
  1. 允许所有SE收录本站：robots.txt为空就可以，什么都不要写。
  2. 禁止所有SE收录网站的某些目录：
  User-agent: *
  Disallow: /目录名1/
  Disallow: /目录名2/
  Disallow: /目录名3/
  3. 禁止某个SE收录本站，例如禁止百度：
  User-agent: Baiduspider
  Disallow: /
  4. 禁止所有SE收录本站：
  User-agent: *
  Disallow: /
  5. 加入sitemap.xml路径,例如：
  Sitemap: http://www.seobbc.net/sitemap.xml

下面是盐城seo整理的常见Robots名字
  名称 搜索引擎
  google蜘蛛： googlebot
  百度蜘蛛：baiduspider
  yahoo蜘蛛：slurp
  alexa蜘蛛：ia_archiver
  msn蜘蛛：msnbot
  altavista蜘蛛：scooter
  lycos蜘蛛： lycos_spider_(t-rex)
  alltheweb蜘蛛： fast-webcrawler/
  inktomi蜘蛛： slurp
  一个在线写robots.txt的工具。
  最后需要注意，robots.txt文件名必须是小写，而且放在网站根目录，比如：http://www.seobbc.net/robots.txt

下面是常见Robots META标签的写法：
  Robots META标签中没有大小写之分，name=”Robots”表示所有的搜索引擎，可以针对某个具体搜索引擎写为name=”BaiduSpider”。 content部分有四个指令选项：index、noindex、follow、nofollow，指令间以“,”分隔。
  INDEX 指令告诉搜索机器人抓取该页面；
  FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去；
  Robots Meta标签的缺省值是INDEX和FOLLOW，只有inktomi除外，对于它，缺省值是INDEX,NOFOLLOW。
  这样，一共有四种组合：
  ＜META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”＞
  ＜META NAME=”ROBOTS” CONTENT=”NOINDEX,FOLLOW”＞
  ＜META NAME=”ROBOTS” CONTENT=”INDEX,NOFOLLOW”＞
  ＜META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”＞
  其中
  ＜META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”＞可以写成＜META NAME=”ROBOTS” CONTENT=”ALL”＞；
  ＜META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”＞可以写成＜META NAME=”ROBOTS” CONTENT=”NONE”＞
  目前看来，绝大多数的搜索引擎机器人都遵守robots.txt的规则，而对于Robots META标签，目前支持的并不多，但是正在逐渐增加，如著名搜索引擎GOOGLE就完全支持，而且GOOGLE还增加了一个指令“archive”，可以限制GOOGLE是否保留网页快照。例如：
  ＜META NAME=”googlebot” CONTENT=”index,follow,noarchive”＞
  表示抓取该站点中页面并沿着页面中链接抓取，但是不在GOOLGE上保留该页面的网页快照。

只要了解上面的seo常识，robots的运用就会得心应手了。