控制搜索引擎访问和索引你的网站[转]

我经常被问到 Google（谷歌）和搜索引擎是怎样运转的。一个核心问题是：谷歌是怎样知道一个网站的哪些部分是网站所有者想让它们显示在搜索结果中？网站内容发布者能够指定部分网站不被搜索吗？好消息是，网站内容发布者可以使用很多方法控制你们的网页在搜索结果中的显示。文件 robots.txt 是这里的主角，该文件已经成为业界标准好多年了。它让一个网站所有者控制搜索引擎访问他们的网站。你可以用 robots.txt 不同层次地控制访问，比如让搜索引擎只访问整个网站，单个目录，特定类型的网页，或者某一网页。有效地使用 robots.txt 能让你更好地控制对你的网站 的搜索，但是如何达到这一目标不是很显而易见的。这是我们关于如何使用 robots.txt 来控制对你的网站的存取的一系列帖子的第一篇。