欢迎访问羿鲲网络科技!公司专注于企业网站建设,关键词排名优化,网站营销策划!
打开客服菜单
羿鲲网站建设
羿鲲网站建设 > 新闻资讯 > 网站robots文件的作用是什么?泰安网站建设公司详解如何书写网站robots文件
网站robots文件的作用是什么?泰安网站建设公司详解如何书写网站robots文件
时间 : 2020-09-24 16:19 浏览量 : 72

网站建设不仅仅是设计开发一个网站那么简单,通过网站SEO优化获取关键词排名,达到网站引流获客和产品推广才是网站建设的最终目的。网站SEO优化不光是内外部链接建设,还有很多细节工作是容易被忽视的。例如网站robots文件,它是网站与搜索引擎建立联系的重要纽带,但是很多网站的robots文件设置都存在问题,有些网站甚至没有设置网站robots文件。泰安网站建设公司详解如何书写网站robots文件,帮助大家让网站和搜索引擎建立良好的联系。

什么是网站robots文件?网站robots文件的作用是什么?

网站robots文件格式为txt格式的文件,有明确的格式规定如何书写,搜索引擎蜘蛛spider访问网站时,会首先访问检查网站根目录下是否存在robots.txt文件。

网站robots文件的作用主要是告诉搜索引擎网站中哪些内容允许抓取收录,哪些内容不允许抓取收录。如果网站内容希望搜索引擎全部抓取收录,可以不添加robots文件,但如果需要屏蔽掉一些不想被搜索引擎抓取收录的内容,则需要建立这样一个robots文件。robots文件的书写格式可以参考百度搜索资源平台中的平台工具使用手册,关于robots文件的相关介绍。这里我们重点说明下网站robots文件的通用写法。

robots文件


如何书写网站robots文件?

  1. 建立一个robots.txt的文件,首行书写:User-agent: *,该项的值是用于描述搜索引擎robot的名字,*代表对任何robot均有效;

  2. 然后书写不允许搜索引擎抓取收录的内容链接,格式为:Disallow:    ;

  3. 对于大多数企业站而言,robots文件中最好设置以下几点不允许搜索引擎抓取收录的内容:404页面,网站后台管理页面,动态url,部分图片内容等。

    404页面没有实质性内容,建议添加到网站robots文件中;

      网站管理后台页面主要是方便网站管理员使用,对用户而言也没有任何意义,因此也建议屏蔽掉;

      搜索引擎更喜欢静态url,因此对于网站存在的动态url,建议做伪静态处理,保险起见建议添加Disallow: /*?*进行屏蔽。

  4. 除了通过Disallow屏蔽相关链接外,最好在robots文件最后输入”Sitemap网站地图“的地址;

  5. 当然网站robots文件还可以通过设置User-agent和Disallow指令来屏蔽指定搜索引擎蜘蛛。

如何查看网站robots文件?

  1. 通过网站管理后台或相关站长工具进行查看,很多网站管理后台可以直接编辑上传查看robots文件,站长工具软件也可以检测查看;

  2. 通过百度搜索资源平台进行查看,检测更新robots文件,可以显示当前网站robots文件中的内容;

  3. 直接搜索查看,在页面链接地址栏内输入网站域名+robots.txt后缀即可查看,例如:www.yikuntec.com/robots.txt

    网站robots文件

对于比较重视网站SEO优化的朋友,泰安网站建设公司建议最好完善自己网站的robots文件,而且也要告知网站管理员,根据企业网站营销推广需求,适时调整robots文件,将网站SEO优化的细节工作做好。如果您对于网站robots文件的使用还存在疑问,欢迎咨询羿鲲网络科技,请求技术支持,电话:13175227005!


相关阅读>>

羿鲲建站系统如何上传sitemap文件及robots文件?


cache
Processed in 0.002575 Second.