当前位置:首页 > seo技巧 / 正文
后台-系统设置-扩展变量-手机广告位-内容页头部广告位
作者:admin

站长必知基础(一):如何阻止垃圾蜘蛛的抓取

admin 2年前(2016-11-01 15:25:22) seo技巧

作为一个网站的负责人,你是否有关注过IIS日志的信息详情?如果没有,我敢肯定你网站的不少带宽都被所谓的蜘蛛占去了,即使你的带宽很猛,不在乎那么点流量,但是从优化到极致来说,这都是远远不达标的。蜘蛛分为真假蜘蛛,一般大型搜索引擎的蜘蛛,如百度、谷歌的蜘蛛,假蜘蛛一般归总为垃圾搜索引擎和恶意抓取程序。其中百度蜘蛛的真假分析,你可以通过语法“ nslookup ip”,查看来源是否是百度的子站点,如果不是,那么就是伪装的百度蜘蛛。如果仔细分析,你会发现一些国内或国外的蜘蛛,例如 EasouSpider、AhrefsBot等,这些蜘蛛都是没有什么用的,如果你面向的市场是国内的,百度 BaiduSpider,谷歌 Googlebot,360 360Spider,soso Sosospider,搜狗Sogou+web+spider,保留这几个蜘蛛的抓取就足够了,其他的蜘蛛一律屏蔽掉就行了,还有把你的静态资源,如Image和JS、CSS的路径也屏蔽掉,这些资源都是不需要蜘蛛抓取的,因为没有展现的价值;具体如何加屏蔽呢?你可以手动新建一个robots.txt文件,放到网站根目录下,内容填写例如:User-Agent: AhrefsBot Disallow: / ,表示不允许AhrefsBot蜘蛛抓取任何页面,其他的屏蔽都可以类似这样填写;如果你不会填写内容,你也可以到百度站长平台上,直接生成robots.txt文件,地址为:http://zhanzhang.baidu.com/robots/index ,然后将文件更新到网站根目录即可;例如我之前查看日志发现了一些垃圾蜘蛛,直接才去屏蔽措施,这样屏蔽不必要的蜘蛛抓取,便可以轻松实现避免浪费带宽和流量,当然这对于遵循互联网协议的网络公司来说,是非常有效的办法,也不排除存在一些不遵循行业标准的恶意抓取程序,要禁止这些,只能是在确切证据证明下,直接对Ip进行屏蔽,才能行之有效了。 本文属深圳seo首发: /113.html 原创不易,转载请注明出处。

标 签seo优化

试试用"←"或"→"方向键快速翻页把 (^o^)/

后台-系统设置-扩展变量-手机广告位-内容页头部广告位
留言与评论(共有 0 条评论)
   
验证码:
搜索
热门图片
最近更新

Powered By AG8亚游SEO博客

粤ICP备16041893号-1 seo技术交流群