很多站长可能都发现了，有的时候，你网站的内容在一个搜索引擎中被索引，即使你从来没有向这个搜索引擎提交过你的网站。这就归功于搜索引擎Robot（又叫Spider），这个永远不知道倦怠的WebCrawler,不放过任何串门的机会。但是什么事都有利有弊，为了掩护你不愿公布于世的内容，我们可以做一些设置，既不至于让Robot在你网站上横行霸道，又能引导Robot更好的为你的网站服务。为你的网站生成一个Robot.txt文件是不错的办法。Robot.txt是一个纯文本文件，放在网站根目录下，其中指定哪些内容收录，哪些内容不收录，当搜索引擎来你网站时，会先检查Robot.txt，如果这个文件存在，则会根据文件中指定的范畴来爬取网站。犹同为繁华的街道设了路标，让Robot顺着标示畅快通行。Robot.txt格式设置方法如下：User-agent：*Disallow：Robot.txt文件中至少有一条User-agent，该项的值设为*，则答应任何搜索引擎访问。Disallow用来阻挠一个URL被访问，比如涉及网站隐私或站长个人不想让搜索引擎访问的页面，绝对URL和相对URL均可，所有被Disallow的URL都不会被Spider访问到。那么Robot.txt与SEO是什么关系呢？其实二者并没有充分必要条件，将其放在一起讨论是为了说明Robot.txt在网站SEO过程中的不容忽视性。所以在做网站SEO的同时，利用Robot.txt巧妙地处理棘手的问题，可谓是一举两得啊。Robot.txt具体设置方法请参考官网：http://www.robotstxt.org/与, SEO-杭州seo博客
发布评论取消回复