三十而立 » robots http://as30.com Fri, 18 May 2012 16:21:58 +0000 en hourly 1 http://wordpress.org/?v=3.3.1 wordpress的robots规则展示 http://as30.com/robots-120 http://as30.com/robots-120#comments Thu, 04 Jun 2009 10:02:01 +0000 普洱 http://as30.com/robots-120.html 继续阅读

]]> robots,根据维基百科上的说法是，是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不能被搜索引擎的漫游器获取的，哪些是可以被（漫游器）获取的。白话来说，就是设置给搜索引擎看的规则，允许它收录什么，不允许它收录什么的规则。[......]

继续阅读

]]> http://as30.com/robots-120/feed 2