搜索引擎蜘蛛参考大全
seo基础
浏览
admin
2016-11-23 10:11:59

搜索引擎蜘蛛参考大全

文章目录[隐藏]

  • 1百度蜘蛛

  • 2谷歌蜘蛛

  • 3360蜘蛛

  • 4SOSO蜘蛛

  • 5雅虎蜘蛛

  • 6有道蜘蛛

  • 7搜狗蜘蛛

  • 8MSN蜘蛛

  • 9必应蜘蛛

  • 10一搜蜘蛛

  • 11Alexa蜘蛛

  • 12宜sou蜘蛛

  • 13即刻蜘蛛

  • 14一淘网蜘蛛

    1.百度蜘蛛

    Baiduspider(抓取页面蜘蛛)

    Baiduspider-image(抓取图片的蜘蛛)

    Baiduspider-mobile(抓取wap)

    Baiduspider-image(抓取图片)

    Baiduspider-video(抓取视频)

    Baiduspider-news(抓取新闻)。

    *注:以上百度蜘蛛目前常见的是Baiduspider和Baiduspider-image两种。

    2.谷歌蜘蛛

    谷歌蜘蛛:Googlebot

    谷歌蜘蛛:compatible; Googlebot/2.1

    Googlebot-Mobile:抓取wap内容

    3.360蜘蛛

    360蜘蛛:360Spider

    4.SOSO蜘蛛

    SOSO蜘蛛:Sosospider

    5.雅虎蜘蛛

    雅虎蜘蛛:“Yahoo! Slurp China”或者Yahoo!

    名称中带“Slurp”和空格,名称有空格robots里名称可以使用“Slurp”或者“Yahoo”单词描述,不知道有效无效。

    6.有道蜘蛛

    有道蜘蛛:YoudaoBot,YodaoBot(两个名字都有,中文拼音少了个U字母读音差别很大嘎,这都会少?)

    7.搜狗蜘蛛

    搜狗蜘蛛:Sogou News Spider

    Sogou web spider

    Sogou inst spider

    Sogou spider2

    Sogou blog

    Sogou News Spider

    Sogou Orion spider

    (参考一些网站的robots文件,搜狗蜘蛛名称可以用Sogou概括,无法验证不知道有没有效)

    看看最权威的百度的robots.txt ,http://www.baidu.com/robots.txt 就为Sogou搜狗蜘蛛费了不少字节,占了一大块领地。

    “Sogou web spider;Sogou inst spider;Sogou spider2;Sogou blog;Sogou News Spider;Sogou Orion spider”目前6个,名称都带空格。

    线上常见"Sogou web spider/4.0" ;"Sogou News Spider/4.0" ;"Sogou inst spider/4.0"

    8.MSN蜘蛛

    MSN蜘蛛:msnbot,msnbot-media(只见到msnbot-media在狂爬……)

    9.必应蜘蛛

    必应蜘蛛:bingbot

    线上(compatible; bingbot/2.0;)

    10.一搜蜘蛛

    一搜蜘蛛:YisouSpider

    11.Alexa蜘蛛

    Alexa蜘蛛:ia_archiver

    12.宜sou蜘蛛

    宜sou蜘蛛:EasouSpider

    13.即刻蜘蛛

    即刻蜘蛛:JikeSpider

    14.一淘网蜘蛛

    一淘网蜘蛛:EtaoSpider

    "Mozilla/5.0 (compatible; EtaoSpider/1.0; http://省略/EtaoSpider)"

    根据上述蜘蛛中选择几个常用的允许抓取,其余的都可以通过robots屏蔽抓取。如果你暂时空间流量还足够使用,等流量紧张了就保留几个常用的屏蔽掉其它蜘蛛以节省流量。至于那些蜘蛛抓取对网站能带来有利用的价值,网站的管理者眼睛是雪亮的。

    另外还发现了如 YandexBot、AhrefsBot和ezooms.bot这些蜘蛛,据说这些蜘蛛国外,对中文网站用处很小。那不如就节省下资源。

    国内外真蜘蛛(IP+UA)8000+.zip

    屏蔽国外蜘蛛robots.txt.zip

    链接: http://pan.baidu.com/s/1qW4qNqG 密码: kjfj

    【版权与免责声明】如发现内容存在版权问题,烦请提供相关信息发邮件至1655730209@qq.com,我们将及时沟通与处理。本站内容除非来源注明深圳seo(www.xinxing327.com),否则均为网友转载,涉及言论、版权与本站无关。