近期筆者對(duì)年夜約50多位剛年夜事或已經(jīng)年夜事1-2年的seoer做了個(gè)小發(fā)芽拜訪，其中搜羅良多面試者，真正在工作中能剖析到日志的seoer比例很是很是的少，在問到訪謁日志在seo所起到的浸染，良多seoer都直搖頭，或者僅僅知道一些皮短處未親手操作過，其首要原因仍是在公司平臺(tái)中并文暌剮機(jī)緣去實(shí)踐，下面筆者分享下自己對(duì)網(wǎng)站原始訪謁日志的熟悉：

　　什么是訪謁日志

　　網(wǎng)站訪謁日志是記實(shí)web處事寡領(lǐng)受措置請(qǐng)求以及運(yùn)行時(shí)錯(cuò)誤等各類原始信息的以.log結(jié)尾的文件，切當(dāng)?shù)闹v，應(yīng)該是處事器日志。它的浸染是讓我們seoer可以清囂張的得知用戶在什么IP、什么時(shí)刻、用什么操作系統(tǒng)、什么瀏覽器、什么分辯率顯示器的情形下訪謁了你網(wǎng)站的哪個(gè)頁(yè)面，是否訪謁成功。

　　什么時(shí)辰我們需要去剖析日志及日志特征

　　我們會(huì)天天都去剖析日志嗎?不會(huì)的，因?yàn)槿罩酒饰龆穭潘腊澹�一般都是每月或者半月剖析一次。這種剖析屬于日常剖析，如不美觀您的網(wǎng)站一向都斗勁正常那可以每月剖析一次，或者可以簡(jiǎn)單的剖析一次。

　　其實(shí)日志更多是在網(wǎng)站呈現(xiàn)異常的時(shí)辰，會(huì)不雅察看半個(gè)月日志，集平剖析蜘蛛的動(dòng)向。好比會(huì)剖析是不是網(wǎng)站404，robots設(shè)置異常或者掛馬等問題造成蜘蛛消逝蹤，逐兒去查找解決問題。

　　下面是年夜筆者日常剖析的日志中取的一條訪謁記實(shí)：

　　119.254.22.200 - - [10/Apr/2012:00:04:54 +0800] "GET /bbjk/index.html HTTP/1.0" 200 25269 "-" "Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"

　　119.254.22.200 為用戶訪謁ip

　　10/Apr/2012:00:04:54 +0800 為訪謁日期 -時(shí)區(qū)

　　GET /bbjk/index.html HTTP/1.0 按照HTTP/1.1 和談 抓取(域名下)/bbjk/index.html 這個(gè)頁(yè)面(GET暗示處事器動(dòng)作)

　　200 處事器響應(yīng)狀況碼

　　25269 為頁(yè)面字節(jié)數(shù)。

　　Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07) 為搜狗蜘蛛特征。

　　注重：任何蜘蛛都僅僅為網(wǎng)站的通俗用戶。不要覺得蜘蛛很是的強(qiáng)年夜，良多人還認(rèn)為網(wǎng)站若禁止登錄查看內(nèi)容，蜘蛛都能爬取上岸后的頁(yè)面內(nèi)容，這是不成能的。除非網(wǎng)站做了蜘蛛專屬手段。

　　怎么去剖析網(wǎng)站訪謁日志

　　曾記得在幾年前，筆者剛接觸seo的時(shí)辰，工具稀少的年月，標(biāo)識(shí)表記標(biāo)幟一向都喜歡手工

　　去剖析訪謁日志，當(dāng)然手工剖析很費(fèi)時(shí)吃力，再這里只講解下筆者最喜歡手工剖析日志中的幾點(diǎn)。

　　筆者此刻手工剖析一般都集中在研究每日蜘蛛在網(wǎng)站上爬行紀(jì)律與網(wǎng)站更新數(shù)據(jù)之間的關(guān)系。當(dāng)然每個(gè)網(wǎng)站需按照自己來不雅察看，最后會(huì)有一個(gè)很是完美的紀(jì)律。

　　筆者會(huì)把每日的蜘蛛訪謁時(shí)刻按時(shí)刻段排序統(tǒng)計(jì)成報(bào)表，

　　好比：2012-4-18 1-2點(diǎn)爬行5次

　　2-3點(diǎn)爬行3次

　　3-4點(diǎn)爬行10次

　　如不美觀你細(xì)心的話可以做個(gè)走勢(shì)圖就很是直不美觀。這種統(tǒng)計(jì)一般都是在網(wǎng)站剛成立后和網(wǎng)站出異常后增強(qiáng)剖析日志，日常運(yùn)營(yíng)中，更多注重的是剖析出蜘蛛每日的爬行紀(jì)律然后按時(shí)的放出充量文章，增添收錄。

　　手工剖析日志都是斗勁死板的，有時(shí)會(huì)影響神色，不外此刻工具興旺的年月，我們也借助工具來達(dá)到事半功倍。

　　筆者斗勁舉薦的是光年日志剖析工具。該工具很是簡(jiǎn)單，筆者不在此演示，有樂趣的自己百度，它的利益在于能在生成的陳述中清楚的告訴我們蜘蛛爬行異常，與頁(yè)面抓取痕跡。好比404. 獨(dú)一遺憾的是今朝筆者還未找到一款工具帶有剖析蜘蛛爬行紀(jì)律生成走勢(shì)圖的工具。

　　注重：在日志剖析中，良多時(shí)辰我們都是想年夜日志中尋找到問題，以便改良我們的自身的問題，所以需要出格關(guān)注404,301等狀況碼。

　　真假蜘蛛分辯

　　為什么會(huì)呈現(xiàn)真假蜘蛛，主若是因?yàn)榇丝绦畔⑴d旺，良多采集工具為不讓對(duì)方發(fā)現(xiàn)自己的痕跡都模擬蜘蛛的痕跡來下載數(shù)據(jù)源。所以會(huì)造成良多seoer誤認(rèn)為蜘蛛年夜量的抓取頁(yè)面卻發(fā)現(xiàn)收錄并未增添的現(xiàn)象。下面筆者告訴巨匠斗勁輕易辨當(dāng)真假蜘蛛和一些出格注重的處所。

　　1， 真蜘蛛

　　220.181.108.96 - - [07/Apr/2012:01:22:21 +0800] "GET /site/sex/index.php HTTP/1.1" 302 20 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"

　　這是筆者某網(wǎng)站的日志片段，我拿出ip，在win系統(tǒng)下cmd登錄dos框下輸入nslookup 220.181.108.96 查看回顯：

　　如上圖，若是百度蜘蛛，他會(huì)直接回顯百度的域名。

　　2， 假蜘蛛

　　假蜘蛛斗勁經(jīng)典的就是chinaz的發(fā)芽工具了，他就是模擬百度蜘蛛的，他的ip為125.90.88.96 我們反查后并未呈現(xiàn)百度域名。有樂趣的可以nslookup 125.90.88.96下，筆者就一直圖了。

　　一般假蜘蛛的存在形式為：XXX.XXX.XXX.XXX - - [07/Apr/2012:01:22:21 +0800] "GET /site/sex/index.php HTTP/1.1" 302 20 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"

　　看著跟真的一樣，唯獨(dú)ip就是貓膩！

　　3， 奸細(xì)作況的蜘蛛

　　1) cdn加速后，造成ip雜亂。

　　此類情形呈現(xiàn)一般是網(wǎng)站在做了cdn加速后，再去查看apache處事器的訪謁日志的時(shí)辰發(fā)現(xiàn)良多蜘蛛的痕跡ip都很是的近似，如不美觀按照百度官方出的分辯手法nslookup ip 后必定為匿名，因?yàn)檫@些ip都是cdn節(jié)點(diǎn)ip，所以會(huì)造成曲解。若開啟cdn后，蜘蛛現(xiàn)實(shí)訪謁次數(shù)一般都<=日志中蜘蛛總數(shù)值。

　　2) 百度匿名蜘蛛的存在性談判。

　　匿名蜘蛛？百度工程師lee一向強(qiáng)調(diào)百度蜘蛛是不會(huì)匿名去訪謁網(wǎng)站的，但筆者年夜網(wǎng)上查閱資料，加上筆者某個(gè)站的數(shù)據(jù)猜測(cè)，筆者認(rèn)為會(huì)有兩種情形:

　　第一種：假如真的存在匿名蜘蛛，這很較著與lee的話有悖。所以這點(diǎn)我們可以去辯證的去理解，假如存在，匿名蜘蛛會(huì)做什么，良多seoer包短文者都猜測(cè)可能會(huì)存在用此類蜘蛛去驗(yàn)證網(wǎng)站是否對(duì)蜘蛛與用戶做了分歧的待遇。所以此種情形，做賊就不要心虛嘛，老誠(chéng)懇實(shí)做站吧。

　　推薦閱讀

　　信用卡非法套現(xiàn)約7成發(fā)生在第三方支付平臺(tái)

>>>詳細(xì)閱讀

本文標(biāo)題：<b>小蘇:由淺到深再談網(wǎng)站原始訪問日志分析</b>

地址：http://www.sdlzkt.com/a/22/20120418/52246.html

 1/2    1  2 下一頁(yè)