Tag Archives: robots

robots,根据维基百科上的说法是，是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不能被搜索引擎的漫游器获取的，哪些是可以被（漫游器）获取的。白话来说，就是设置给搜索引擎看的规则，允许它收录什么，不允许它收录什么的规则。
r[......]

继续阅读