SEO名词解释-蜘蛛spider
我们在网站SEO时经常会提到的蜘蛛spider指的都是搜索引擎机器人(robot),之所以称为蜘蛛的原因是搜索引擎机器人(robot)是通过互联网上的链接进行爬行和抓取的,就好像在互联网上爬行的蜘蛛。其实蜘蛛spider就是搜索引擎自动抓取网页内容的一个程序,搜索引擎蜘蛛的作用主要是通过这些爬行抓取会将网页添加到搜索引擎的数据库当中,搜索引擎蜘蛛会自动判断网页的质量,根据设定的程序判断是否抓取。我
我们在网站SEO时经常会提到的蜘蛛spider指的都是搜索引擎机器人(robot),之所以称为蜘蛛的原因是搜索引擎机器人(robot)是通过互联网上的链接进行爬行和抓取的,就好像在互联网上爬行的蜘蛛。
其实蜘蛛spider就是搜索引擎自动抓取网页内容的一个程序,搜索引擎蜘蛛的作用主要是通过这些爬行抓取会将网页添加到搜索引擎的数据库当中,搜索引擎蜘蛛会自动判断网页的质量,根据设定的程序判断是否抓取。
我们想要查看搜索引擎蜘蛛的来访记录,需要通过网站访问日志文件来查看,常见搜索引擎蜘蛛的名称如下:
Google蜘蛛: Googlebot
百度蜘蛛:baiduspider
有道蜘蛛:YoudaoBot
搜狗蜘蛛:Sogou web spider
360蜘蛛:360Spider