Crawl-delay

更新时间:2023-06-01 18:29

Crawl-delay:雅虎YST一个特定的扩展名,可以通过它对我们的抓取程序设定一个较低的抓取请求频率。您可以加入Crawl-delay:xx指示,其中,“XX”是指在crawler程序两次进入站点时,以秒为单位的最低延时

指令语法

如果搜索引擎网页抓取频率太高的情况下,需要用Crawl-delay语句来控制搜索引擎的抓取频率,时间以秒为单位。例如设定搜索引擎两次抓取的时间间隔为15秒。则在robots协议中的指令如下:

User-agent: * Crawl-delay: 15

文件通知

百度于2012年9月20在百度站长平台发出通知。该通知表明:百度对网站访问频率不再参考该设置,即不支持Crawl-delay配置,如果您希望配置网站针对百度spider的访问频率,建议您使用百度站长平台的抓取压力反馈工具,先查询网站在百度近一个月的天级抓取量趋势图,可调节百度spider每天访问您网站的抓取压力上限,供百度参考,避免百度spider对站点抓取压力过大,造成网站服务器负载及抓取异常。

免责声明
隐私政策
用户协议
目录 22
0{{catalogNumber[index]}}. {{item.title}}
{{item.title}}