最新消息:重庆SEO博客欢迎SEO爱好者发帖提问互动交流,唯一QQ:1055889898

搜索引擎蜘蛛是什么?【常见的搜索引擎蜘蛛介绍】

SEO知识分享 重庆SEO 5070浏览 0评论
搜索引擎蜘蛛

搜索引擎蜘蛛

搜索引擎用来爬行和访问页面的程序被称为蜘蛛(spider),也称为机器人(bot)。

蜘蛛访问网站时,会先访问网站的robots.txt文件。当robots.txt文件不允许搜索引擎的蜘蛛抓取某些文件或页面时,蜘蛛将不会抓取这些页面的内容及网址。

常见的蜘蛛有以下几种类型:

1、Baiduspider+(+http://www.baidu.com/search/spider.html)百度蜘蛛名称及咨询地址

网页搜索 Baiduspider
竞价蜘蛛Baiduspider-sfkr
图片搜索 Baiduspider-image
无线搜索 Baiduspider-mobile
移动搜索 baidu+Transcoder
新闻搜索 Baiduspider-news
百度联盟Baiduspider-cpro
视频搜索 Baiduspider-video
百度搜藏 Baiduspider-favo

2、Sogou+web+robot+(+http://www.sogou.com/docs/help/webmasters.htm#07)搜狗蜘蛛名称及咨询地址

3、Mozilla/5.0(compatible;YodaoBot/1.0;http://www.yodao.com/help/webmaster/spider;)有道蜘蛛名称及咨询地址

总结:

站长可以在网站日志文件中看到搜索引擎蜘蛛的爬行时间,对自己网站的综合分析会有帮助。

点击查看:搜索引擎工作原理

转载请注明出处:【重庆SEO】: » 搜索引擎蜘蛛是什么?【常见的搜索引擎蜘蛛介绍】

发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

渝公网安备 50011502000157号