当前位置:上海SEO > 网站robots.txt是什么?robots有什么作用?-光哥SEO博客

网站robots.txt是什么?robots有什么作用?

发布时间:2017-10-25 14:46| 共浏览

SEO导读:什么是robots.txt?robots.txt 就是网站协议,如何写robots.txt网站协议?1、可以自己创建一个记事本直接写.常见robots写法举例:User-agent: * (允许所有搜索引擎抓取,但是禁止搜索引擎抓取以下内容)……

  什么是robots.txt?

  robots.txt 就是网站协议,是搜索引擎在访问一个网站的时候首先要查看的第一个文件。然后搜索引擎就会通过robots.txt文件判断哪些页面可以抓取,哪些页面不能抓取。

  如果你的网站没有robots.txt,那就是没有网站协议,就等于你的网站对于搜索引擎来说是完全开放的,可以抓取网站的所有内容。

  对于我们的网站来说一般都是有前台和后台的,我们都是希望搜索引擎多抓取收录网站的前台页面,而我们的后台是不能让他收录的,如果我们的后台被别人知道了,说不定那天我们的网站就被别人悄无声息的给盗取了或者给替换了。所以我们的网站需要一个robots.txt网站协议和告诉搜索引擎应该如何爬行我们的网站

robots写法

  如何写robots.txt网站协议?

  1、可以自己创建一个记事本直接写

  2、可以在网站搜索robots.txt在线生成工具进行

  robots.txt网站协议书写语法:

  User-agent:定义进制搜索引擎,常见搜索引擎:百度(Baiduspider)、谷歌(Googlebot)、360(360Spider)等。如果用*号则代表全部搜索引擎

  Disallow:表示不允许收录

  Allow:表示允许收录

  常见robots写法举例:

  User-agent: * (允许所有搜索引擎抓取,但是禁止搜索引擎抓取以下内容)

  Disallow:/seo/(禁止搜索引擎抓取seo栏目下面的所有内容页面)

  Disallow:/seo(禁止以seo开头的所有栏目内容页面,比如:seoyouhua栏目同样禁止抓取)

  Allow:/seo/youhua/(禁止了搜索引擎抓取seo栏目下面的所有内容页面,但是可以抓取seo栏目下面的youhua栏目文件名)

  Disallow:*?*(网站所有带“?”的路径都会禁止抓取,一般带“?”的都是网站动态页面,同时说明:禁止抓取所有的动态页面)

  Disallow:/*.php$(网站所有路径以.php结尾全部禁止抓取)

  Disallow: .jpg$(不允许搜索引擎抓取.jpg格式图片)

  Disallow: .gif$(不允许搜索引擎抓取.gif格式图片)

  robots网站协议有什么好处?

  1、屏蔽网站死链

  2、屏蔽不想让搜索引擎抓取的文件

  3、告诉搜索引擎优先抓取的文件

  4、提升网站排名:所有的robots协议写好以后,对网站的排名有很多好处
 

  总结:对于seo网站优化来说许多细节都很有可能是你网站排名不上的原因,而这些小小的细节往往被大家给忽略了。同时希望站长在做网站优化的时候多多关注一些网站细节的问题。

  以上就是光哥分析总结的网站robots.txt是什么?robots有什么作用?如果你对网站robots.txt是什么?robots有什么作用?还有疑问,欢迎添加光哥QQ:1260585560

  光哥SEO博客(SEO研究中心)免费提供:SEO入门、百度SEO、黑帽SEO、SEO优化、关键词优化、SEO搜索优化、网站优化、SEO培训、SEO教程、SEO顾问、SEO推广、SEO服务、SEO教学、SEO技术、SEO学习、SEO工具、SEO营销、SEO外包、SEO文案、SEO诊断、SEO排名、SEO攻略、SEO赚钱、SEO技巧、SEO网站诊断等SEO相关的所有SEO培训教程


相关SEO标签: 网站robots robots作用 robots是什么 robots写法

上海SEO顾问-光哥推荐

  • SEO周
  • SEO月
  • SEO总

上海SEO优化