搜浪干货soola dry cargo
网站首页 他仍然痴心不改这位起草者还认为 >seo入门robots文件何奇重要

seo入门robots文件何奇重要?

时间:2012-12-12   
导读:seo入门robots文件何奇重要

  seo优化中,robots的重要性新手千万不要忽略,这不是开玩笑。很多新手根本不看网站robots,甚至不知道robots为何物。那么,这样必会造成一个严重的问题。新手接过手的优化中的网站,在robots文件中究竟禁止了什么文件,什么路径,对网站的收录是否有影响。
  如果新手不看robots文件,那么极有可能沿袭前人的错误做法,继续优化下去。如果,前人所做的robots文件存在错误,那么新手接下来所做的工作都有可能会是白费功夫。那么,新手该如何查看robots文件呢?
  其实,这个属于细节问题。只要细心查看,很多问题都能迎刃而解。首先,如果新手没有网站的FTP,那么可以直接在本网站的地址后加上robots.txt。如:www.hndtech.com/robots.txt 直接查看robots文件里面的内容。这是查看robots文件最简单的方法。
  另外,是robots命令的认识。robots文件的命令较为简单,一般只有“允许全站访问—‘user-agent’”、“允许访问—‘Allow’”、“不允许访问—‘Disallow’”及网站地图路径“sitemap”。要查看robots文件,先要明确这些命令。
  另外,就是robots文件的内容分析。robots文件里面的内容,就是要告诉蜘蛛网站里哪些可以爬取,哪些不要爬取。通常,我们禁止的是网站程序上,一些不必要被收录的文件、或文档,减少占用蜘蛛时间。比如下图:
  soola robots文件
  最后要注意的一点是,如果在网站robots使用一段时间后,要修改robots文件。那么,修改后的robots文件要到百度站长工具上重新提交,否则不能生效。

分享到:QQ空间新浪微博腾讯微博人人网微信
返回首页 回顶部