主营业务:竞价账户代运营 | 品牌开拓者 

网络营销策划

添加微信号:juzhuoyx,免费学习网络营销

知名客户

上海伊轩专业美容护肤中心

杭州隐龙投资咨询有限公司

自贡天翔陶业制品有限公司

江苏精泰仪器仪表有限公司

杭州高振电器设备有限公司

北京上隆华亚制衣有限公司

ZG卡吧

上海邦湖实业有限公司

镇江市王家老太餐饮管理有限公司

北京润文翻译公司

三亚提拉米苏婚纱摄影有限公司

广州广美教育培训中心

杭州禾座贸易有限公司

北京最印象科技有限公司

苏州博航体育用品有限公司

武汉黑马骑士驾校

北京财智聚教育科技有限公司

河北邯郸现代丽人医院

南京四新科技应用研究所有限公司

辽宁大连龙摄影

北京迈动科技

杭州心心缘公关联谊有限公司

济南硕安电子技术有限公司

江西美邦实业发展有限公司

北京西藏中青旅

合肥锦浩电子科技有限公司

四川中华期刊网

武汉绝一味餐饮管理有限公司

天津铁木易新涂料科技有限公司

云南丽江品摄影

甘肃超琪美容美发

北京中国国际旅行社

上海石顿企业管理咨询有限公司

武汉市汉口电炉公司

上海铠沃阀门有限公司

杭州畅聚科技有限公司网站

山东中旺牧业发展有限公司

广州旭普医疗科技有限公司

上海庆工机械设备制造有限公司

江苏普洱网络

秘奥软件科技有限公司

郑州森塔化工有限公司

秦皇岛市施乐办公设备有限公司

杭州圆梦教育咨询有限公司

北京乾养堂健康科技有限公司

上海泓昶艺术品展览有限公司

湖南启志传媒有限公司

北京六度教育

深圳市嘉卡智能科技有限公司

许昌金铭玉语珠宝有限公司

深圳市千百年投资咨询有限公司

深圳市千百顺投资咨询有限公司

杭州神途网络科技有限公司

北京零捌个科技有限公司

西安品味轩餐饮企业管理有限公司

杭州赛德甲状腺病医院

陕西倾城映像婚纱摄影

深圳市融通才智管理咨询有限公司

杭州中梦食品有限公司

北京大瀚律师事务所

苏州市经济技术进修学院

江苏永冠动力设备有限公司

上海语翼外教

河北省沧州金骏桩基管业有限公司

北京山脉户外商城

四川恒立餐饮管理有限公司

云南海外国际旅行社

汽车江湖网

昆明龙摄影婚纱摄影

广州昊爱玩具有限公司

掌门神安检门

上海投智企业管理咨询有限公司

广州云印信息科技有限公司

安平县辰隆五金丝网厂

上海智硕投资管理有限公司

联系聚卓

杭州北京赛车论坛有限公司
咨询热线: 400-667-0113
固定电话: 0571-87803343
企业Q  Q: 营销策划咨询点击这里给我发消息
营销策划咨询点击这里给我发消息
营销策划咨询点击这里给我发消息
企业微信: juzhuoyx
咨询邮箱: ask@jz182.com
官方网站: http://www.xuvwk.com.cn
联系地址: 杭州市拱墅区莫干山路841弄23号中博文化创意园E座5层

SEO优化

怎么看蜘蛛是否爬行你的网站

 文章来源:聚卓营销 时间:2014-06-17 16:19 点击:
分享到:
    我们通常在优化的时候,很多新的站长朋友都不会去看网站日志的,其实网站日志里可以了解到很多的东西,比如说蜘蛛在你的网站爬行了哪个页面,什么时间到你的网站进行抓取的,抓取了哪个页面以及抓取情况。而且我们在日志里还能看到不同搜索引擎的蜘蛛来访问你的网站,因此我们就可以看到蜘蛛在你网站里做了什么。对于一些刚刚接触seo的朋友来讲,学会怎么看蜘蛛爬行你的网站是很重要的,现在我们也有很多强大的工具可以对这些蜘蛛进行分析,但是基础的你还是要去了解的,下面我就来为大家介绍。
 
    想要学会看蜘蛛在你网站做什么我们首先就要对各大搜索引擎的蜘蛛进行了解,不同的蜘蛛它的名字也是不一样的,他们在抓取网页的时候会发送一个请求,这个请求中就包含一个User-agcnt字段,它的用途是给这个网络蜘蛛做一个标识,确定这个蜘蛛的身份,那么常见的蜘蛛有:
 
    百度蜘蛛:Baiduspider
 
    google蜘蛛:googlebot
 
    yahoo蜘蛛:slurp
 
    alexa指出:ia_archiver
 
    有到蜘蛛:YodaoBot和OutfoxBot
 
    搜狗蜘蛛:sogou spider
 
    SOSO蜘蛛:sosospider
 
    360蜘蛛:360spider
 
    以上就就是比较常见的蜘蛛名字了,那么下面我们就要了解蜘蛛在你网站具体做了哪些事情,首先我们来看这样一段代码:
 
    [26/Dec/2013:01:32:15 +0800] "GET /silian.txt HTTP/1.1" 304 - "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.xuvwk.com.cn//search/spider.html)" jz182.com text/plain "/usr/home/hmu145206/htdocs/silian.txt"  222.216.190.14
 
    我们要看一下有下划线的那一部分,它给我们的意思就是百度蜘蛛在2013-12-26  01:32:15爬过了/silian.txt这个页面,而后面状态码显示的是304就是说你这个页面没有更新过。
 
    我们再来看下一段代码:
 
    [26/Dec/2013:03:10:21 +0800] "GET /service/sed/?wangmeng HTTP/1.0" 200 16981 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.xuvwk.com.cn//search/spider.html)" jz182.com text/html "/usr/home/hmu145206/htdocs/service/sed/index.html"  222.216.190.8
 
    我们看下划线的部分,它表示的意思是百度蜘蛛在2013-12-26 03:10:21 来你的网站爬过,而“GET”是表示抓取到的意思,等于蜘蛛抓取的是这个页面“/service/sed/?wangmeng ” ,“200 16981 ”表示的意思是正常获取了16981个字节,200协议代表了请求完成,发现了这个页面并且已入库的意思,“222.216.190.8 ”这个是表示百度的IP地址。
 
    通过上面的介绍相信我们对怎么看蜘蛛是否爬行你的网站有了一定的了解了吧,我们学会了看网站日志对我们做SEO来说是有很大用处的,只有这样我们才知道怎么样去优化网站更好,而不是每天重复着那几样工作,不管有没有效果我们都不知道,那这就失去了做优化的意义了。
 本文关键词:蜘蛛 | 路径 |
分享到:

相关文章

成功案例

首页 | 关于聚卓 | 服务项目 | 成功案例 | 客户见证 | 专家见解 | 媒体报道 | 联系聚卓  

杭州北京赛车论坛有限公司 备案号:浙ICP备13001297号-1

服务热线:400-667-0113 电话:0571-87803343 邮编:310015

地址:杭州市拱墅区莫干山路841弄23号中博文化创意园E座5层

 竞价托管咨询点击这里给我发消息   品牌传播咨询点击这里给我发消息   营销策划咨询点击这里给我发消息