前言

最近有个项目需要研究SEO,基本有了方向,收集些资料,以便后续使用。转的别人的成果,不知道这些搜索引擎爬虫特征正确率几何,有待后续验证。

百度蜘蛛:Baiduspider

网上的资料百度蜘蛛名称有BaiduSpiderbaiduspider等,都洗洗睡吧,那是旧黄历了。百度蜘蛛最新名称为Baiduspider。日志中还发现了Baiduspider-image这个百度旗下蜘蛛,查了下资料(其实直接看名字就可以了……),是抓取图片的蜘蛛。
常见百度旗下同类型蜘蛛还有下面这些:Baiduspider-mobile(抓取wap)、Baiduspider-image(抓取图片)、Baiduspider-video(抓取视频)、Baiduspider-news(抓取新闻)。
注:以上百度蜘蛛目前常见的是BaiduspiderBaiduspider-image两种。

谷歌蜘蛛:Googlebot

这个争议较少,但也有说是GoogleBot的。谷歌蜘蛛最新名称为compatible; Googlebot/2.1;。还发现了Googlebot-Mobile,看名字是抓取wap内容的。

360蜘蛛:360Spider

它是一个很“勤奋抓爬”的蜘蛛。

雅虎蜘蛛:Yahoo! Slurp China或者Yahoo!

名称中带Slurp和空格,名称有空格robots里名称可以使用Slurp或者Yahoo单词描述,不知道有效无效。

有道蜘蛛:YoudaoBotYodaoBot

两个名字都有,中文拼音少了个U字母读音差别很大嘎,这都会少

搜狗蜘蛛:Sogou News Spider

搜狗蜘蛛还包括如下这些:Sogou web spiderSogou inst spiderSogou spider2Sogou blogSogou News SpiderSogou Orion spider
(参考一些网站的robots文件,搜狗蜘蛛名称可以用Sogou概括,无法验证不知道有没有效)
看看最权威的百度的robots.txthttp://www.baidu.com/robots.txt 就为Sogou搜狗蜘蛛费了不少字节,占了一大块领地。
Sogou web spiderSogou inst spiderSogou spider2Sogou blogSogou News SpiderSogou Orion spider目前6个,名称都带空格。
线上常见Sogou web spider/4.0Sogou News Spider/4.0Sogou inst spider/4.0 可以为它颁个“占名为王”奖。

必应蜘蛛:bingbot

线上(compatible; bingbot/2.0;)

其他基本残废的小蜘蛛

  • MSN蜘蛛:msnbotmsnbot-media,只见到msnbot-media在狂爬……
  • 一搜蜘蛛:YisouSpider
  • Alexa蜘蛛:ia_archiver
  • 宜sou蜘蛛:EasouSpider
  • 即刻蜘蛛:JikeSpider
  • 一淘网蜘蛛:EtaoSpider
    Mozilla/5.0 (compatible; EtaoSpider/1.0; http://省略/EtaoSpider)
    根据上述蜘蛛中选择几个常用的允许抓取,其余的都可以通过robots屏蔽抓取。如果你暂时空间流量还足够使用,等流量紧张了就保留几个常用的屏蔽掉其它蜘蛛以节省流量。至于那些蜘蛛抓取对网站能带来有利用的价值,网站的管理者眼睛是雪亮的。

另外还发现了如 YandexBotAhrefsBotezooms.bot这些蜘蛛,据说这些蜘蛛国外噶,对中文网站用处很小。那不如就节省下资源。

原文出处处:https://blog.csdn.net/RSS_40728440/article/details/79174157