robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。

robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。

语法：最简单的 robots.txt 文件使用两条规则：

· User-Agent: 适用下列规则的漫游器

· Disallow: 要拦截的网页

使用事例：

User-agent: *

Disallow: /admin/ 后台管理文件

Disallow: /require/ 文件

Disallow: /attachment/ 附件