网站首页 建站套餐 客户案例 建站优势 主机域名 关于凯发体育app苹果手机 联系凯发体育app苹果手机

资讯中心
了解网站建设资讯引领网站建设开发方向
凯发体育app苹果手机网络之一个做网页的人的robots.txt痛苦经历
今天来说一个大家十分熟悉的东西robot文件,相信大家对这个不陌生吧!但是我发现很多做网页的人朋友们忘记了这个文件的重要性,而且在设置的时候很随意。这种理解是错误的。我自已在一边听课一边自学,今天碰到了这个问题;随后,我就咨询了一位seo的老师,我问他:老师这个robots重要吗?当时,老师语重心长的对我说了一句;robots既可以成就你的网页;也可以毁掉你的网页。所以嘛,还是很重要的。
言归正传吧!来和大家聊聊robots在我们网页的一些情况;在seo研究中心有一位和我是比较好的朋友,有一次,他的网页有收录上千,突然一个下午收录为0了。当时他慌了,因为网页收录没有了;流量也没有了,辛辛苦苦的忙了一个多月。到头来却发现;竹篮子打水一场空。当时他心灰意冷;就跑到群里聊天,到处去问;我网页被k了,求解决方法啊!心急如焚,然后,有很多人帮他忙;检查原因,经过一段很长的时间检查,大家发现了原因是他的网页robots屏蔽了BAIDU蜘蛛抓取网页页面。

为什么会出现这种情况呢?原因在于它在做网页的时候robots是完全屏蔽了BAIDU蜘蛛抓取。大家知道一个事实吧!就是当你写好了规则;屏蔽了BAIDU蜘蛛的时候,可以发现BAIDU还是会抓取的。道理很简单,BAIDU不可能做到人一样智能化。所以你屏蔽蜘蛛他还是会来抓取的。但是你也别慌啊!等过段时间BAIDU就会把已经抓到的页面、但是你robots文件中有屏蔽的页面;他会从索引库删除,BAIDU也会有一个发现的过程;到改正和纠错的过程。
当时,我就记得他说了一句话,就是为什么会去屏蔽BAIDU蜘蛛?因为网页刚做;而且他本人也学习了seo,所以也听过seo的老师讲过一些这方面的内容,明白自已做一个新站可以暂时屏蔽网页蜘蛛;等网页做好了再提交给搜索引擎,并且把robots文件修下,允许BAIDU抓取;可能是他忘记了,把这关键一步给忘记了。导致他辛苦做的网页和外链;被BAIDU删除了收录的页面,那段时间很痛苦;他整个人情绪也是十分低落的。
今天,我通过这个朋友的经历也是希望大家能够去重视robots这个问题?很重要,请不要忽视了;顺带自已谈谈我做的robots的一些经验,我记得网页在新建的时候。我自已也是没有注意robots文件这个东西,觉得无所谓啊!然后昨天听老师讲到了这个问题;我自已开始重视了,然后我开始把一些很垃圾的页面和图片全部给屏蔽了,页面主要是一些动态页面,大家都知道;BAIDU喜欢静态的;如果你网页是动态;会造成搜索引擎多次抓取,给搜索引擎印象又不友好。浪费蜘蛛时间和资源。你说他能对你又好吗?还有图片也是一些网上采集的图片;因为BAIDU把一些原创图片给抓取了,如果你网页再用;这会导致BAIDU认为你网页是抄袭的和伪原创的。这会导致BAIDU不收录你的网页。
说了这么多,我个人建议就是希望广大的做网页的人朋友能够去重视这个问题!
原文地址:
凯发体育app苹果手机网络http://www.heiyu100.cn
凯发体育app苹果手机网络品牌建站
本地做网站就选凯发体育app苹果手机网络
Tel:0813-5104030 15348110304 QQ或微信:22232591
地址:四川省自贡市自流井区丹佳大街泰丰大厦写字楼19楼10号
Copyright © 2018-2058 自贡凯发体育app苹果手机网络科技有限公司 All rights reserved. ICP备案号蜀ICP备12014994号-1  技术支持:凯发体育app苹果手机网络
网站建设制作项目 网站建设制作地区 网站建设案例 网站地图