SEO診斷：透過(guò)Log日志找到網(wǎng)站死結(jié)
來(lái)源:SEO優(yōu)化 2012-09-13
最后,給了朋友兩條建議:
1、聯(lián)系插件開(kāi)發(fā)者修復(fù)此BUG;
2、刪除整個(gè)archive目錄返回404狀態(tài)碼,并且在robots中屏蔽archive目錄;
整個(gè)的診斷過(guò)程就是這樣
前幾天和一位朋友聊天,互相交換了下對(duì)8月末百度算法更新的一些看法結(jié)束的時(shí)候朋友讓我?guī)退治鲆幌滤男抡?網(wǎng)站的問(wèn)題是快照停留在8月15日,并且快20天百度沒(méi)有收錄新內(nèi)容
從簡(jiǎn)單的交談得知,網(wǎng)站上線2個(gè)月,每日?qǐng)?jiān)持更新原創(chuàng)內(nèi)容和外鏈自打百度收錄后,文章隔天收錄,長(zhǎng)尾詞排名也不錯(cuò)但是8月19日快照回檔到815后,快照再未更新過(guò)通過(guò)分析這個(gè)站的整體結(jié)構(gòu)和內(nèi)容,發(fā)現(xiàn)整站結(jié)構(gòu)清晰明了,并沒(méi)有嚴(yán)重的結(jié)構(gòu)上的問(wèn)題,文章內(nèi)容圖文并茂,寫(xiě)的也不錯(cuò),而且長(zhǎng)尾詞排名確實(shí)不錯(cuò),這對(duì)一個(gè)新站來(lái)說(shuō)做的很不錯(cuò)
為什么快照不更新,新內(nèi)容不再收錄?難道是百度自身的問(wèn)題,還是有其他“肉眼”看不到的癥結(jié)?這個(gè)時(shí)候想起了日志分析,有的時(shí)候只有透過(guò)內(nèi)在看問(wèn)題
從朋友處要來(lái)了前一天的網(wǎng)站LOG日志,下圖是日志分析工具得出來(lái)的蜘蛛概要截圖從圖上我們可以看到三大主流搜索引擎的蜘蛛訪問(wèn)次數(shù)、停留時(shí)間和總抓取量等信息
朋友這個(gè)站屬于一個(gè)新站,外鏈不多,整個(gè)網(wǎng)站的資訊量也不是很大依據(jù)個(gè)人的經(jīng)驗(yàn)分析,蜘蛛單次抓取量(總抓取量÷訪問(wèn)次數(shù))達(dá)到80-100已經(jīng)算是一個(gè)非常不錯(cuò)的數(shù)字了緣何網(wǎng)站的新內(nèi)容不收錄?
第二步,來(lái)看看網(wǎng)站目錄的抓取情況下圖是截取了三大主流蜘蛛目錄抓取Top3目錄的一個(gè)截圖,從圖上我們可以看到圖上的archiver目錄的抓取量遠(yuǎn)遠(yuǎn)超過(guò)于其他的網(wǎng)站目錄這個(gè)數(shù)據(jù)讓我有點(diǎn)不安心了
從朋友的網(wǎng)站了解到,這是一個(gè)每日歸檔目錄,從圖上我們可以看到的是2010年09月05日返回的當(dāng)日發(fā)布內(nèi)容為空(朋友這個(gè)站建站才2個(gè)多月)
通過(guò)站長(zhǎng)工具可以看到,該URL返回的是200狀態(tài)碼此時(shí)心理大概有個(gè)底了,蜘蛛在這個(gè)目錄的爬行一定遇到了困難
為了驗(yàn)證自己的判斷,通過(guò)Editplus打開(kāi)了LOG文件,不出所料幾大蜘蛛在抓取archive目錄時(shí)陷入了死胡同
癥結(jié)找到了,接下來(lái)就是如何處理這個(gè)問(wèn)題由于這個(gè)文檔歸檔功能是朋友購(gòu)買(mǎi)的一款插件,所以朋友還是希望能夠保留這個(gè)每日歸檔欄目,畢竟錢(qián)花了得用到實(shí)處,不求該欄目能帶來(lái)流量但卻是個(gè)有益的補(bǔ)充剛開(kāi)始考慮通過(guò)NOFOLLOW來(lái)屏蔽蜘蛛爬取,但是想來(lái)想去還是不妥,畢竟已經(jīng)收錄的頁(yè)面還是給了蜘蛛爬行的余地,又會(huì)出現(xiàn)文中所說(shuō)的死循環(huán)很多時(shí)候當(dāng)我們網(wǎng)站出現(xiàn)問(wèn)題的時(shí)候,請(qǐng)不妨打開(kāi)你的網(wǎng)站LOG日志,仔細(xì)對(duì)比并分析里面的數(shù)據(jù),將會(huì)對(duì)你找到問(wèn)題的所在有很大的幫助
本文由來(lái)源www.shou68.net原創(chuàng)供稿,歡迎大家轉(zhuǎn)載,轉(zhuǎn)載時(shí)請(qǐng)保留此鏈接,謝謝合作!
文章編輯: 365webcall網(wǎng)頁(yè)客服(www.365webcall.com)
我的評(píng)論
| 登錄賬號(hào)： | 密碼： | 快速注冊(cè) | 找回密碼 |  |
