推广

如何查看网站被百度抓取的情况。

iseeyu2年前 (2024-01-29)推广151

百度用于抓取网页的程序叫做Baiduspider - 百度蜘蛛,我们查看网站被百度抓取的情况主要是分析,网站日志里百度蜘蛛Baiduspider的活跃性:抓取频率,返回的HTTP状态码。

查看日志的方式:

通过FTP,在网站根目录找到一个日志文件,文件名一般包含log,下载解压里面的记事本,这即是网站的日志,记录了网站被访问和操作的情况。

因为各个服务器和主机的情况不同,不同的主机日志功能记录的内容不同,有的甚至没有日志功能。

日志内容如下:

如何查看网站被百度抓取的情况。

61.135.168.22 - - [11/Jan/2009:04:02:45 +0800] \"GET /bbs/thread-7303-1-1.html HTTP/1.1\" 200 8450 \"-\" \"Baiduspider+(+http://www.baidu.com/search/spider.htm)\"  

分析:

GET /bbs/thread-7303-1-1.html   代表,抓取/bbs/thread-7303-1-1.html 这个页面。

200  代表成功抓取。

8450  代表抓取了8450个字节。

如果你的日志里格式不是如此,则代表日志格式设置不同。

很多日志里可以看到 200 0 0和200 0  64 则都代表正常抓取。

抓取频率是通过查看每日的日志里百度蜘蛛抓取次数来获知。抓取频率并没有一个规范的时间表或频率数字,我们一般通过多日的日志对比来判断。当然,我们希望百度蜘蛛每日抓取的次数越多越好。

 

扫描二维码推送至手机访问。

版权声明:本文由西安泽虎代运营发布,如需转载请注明出处。

转载请注明出处https://0291.com.cn/post/95082.html

相关文章

用霸屏模式来取信用户对品牌的信任。

用霸屏模式来取信用户对品牌的信任。

全网霸屏的目的就是通过视觉、口碑、公信背书、互动、入口等全方位系统化地打造品牌互联网识别体系,从而获取用户好感,增加品牌的认知信任度,从而提高流量变现和销售转化。 互联网时代,一个用户去了解产品或者服务,往往都是通过搜索去了解的。因此,企业在网络上的形象体现,极大的影响着客户成交决策和转化率。...

想要提升网站优化排名,高质量外链不容小觑。

想要提升网站优化排名,高质量外链不容小觑。

搜索引擎优化行业一直有一句话,“内容为王,为皇”。俗话说,“搜索引擎点击率越高,代表排名网站的效率就越高”,在这样的环境下,网站外链的建设就显得尤为重要,对于如何做好效率工作,高品质的外链我相信你也在绞尽脑汁。接下来我们一起看看如何建设高质量外链吧。 一、友情链接交流 友情链接交...

经典营销案例解密之四十五《背影》演绎名篇出新意 -维他奶 ...

经典营销案例解密之四十五《背影》演绎名篇出新意 -维他奶 ...

很多人都知道,著名的散文家朱自清写有--篇脍炙人口的散文《背影》。没想到,到20世纪90年代,这一篇著名散文却在香港被演绎成一出精彩的广告。广告以浓郁的怀旧情调,从容展开画面:一位少年趁着暑假从大都市回到乡村的老家看望从未谋面的祖父。初到乡村,既新鲜又有些不适,连走路都有些...

注意观察搜索引擎更新规律。

注意观察搜索引擎更新规律。

如今,网络上充斥着各种各样的信息和各种各样的媒体信息,许多人自然很难识别其真实性,但如今大多数人仍然依靠网络获取信息并满足他们的需求,而网络搜索引擎则扮演着更重要的角色,个是百度,在广告中附加360搜索,搜狗搜索,谷歌搜索。很多时候,人们习惯了从互联网获取他们想要的信息的方式,但是忽视了它的真实存在...

企管知识:千金不换的销售十大技巧

企管知识:千金不换的销售十大技巧

千金不换的销售十大←←←←未完部分可获取原文【企管】专注于企业管理知识的分享!分享:企业管理原理、管理制度、经营战略与决策、人力资源管理、、财务管理,生产管理,设备管理,技术开发管理,物流管理,信息管理等资料知识!【资料获取】方法①:关注同名公众号[企管知识],发送文件(标...

2019年广告投放如何做好渠道和预算规划?

2019年广告投放如何做好渠道和预算规划?

据预计,2019年数字媒体广告支出将占到媒体广告总支出的55%。这意味着,对于所有的跨境企业,想要发展壮大,投资在线广告是势在必行的。然而,即便是最有经验的广告客户,在选择广告平台和制定广告预算方面也常常陷入迷茫。只要你一不留神,就很有可能误入错误的方向,给自己的成本支出...

现在,非常期待与您的又一次邂逅

我们努力让每一部企业宣传片和抖音短视频成为商业大片