金暉膠品廠 發(fā)表于：
2013/5/11 15:11:39
分析網(wǎng)站日志也是日常seo工作的一部分,我們可以通過日志上顯示的各種代碼來觀察搜索引擎蜘蛛今天對(duì)網(wǎng)站的訪問和抓取情況,找出不足和原因,進(jìn)而改善網(wǎng)站的優(yōu)化方案。但是很多站長自認(rèn)為自己的網(wǎng)站做得十分完美,但是日志卻顯示蜘蛛訪問頻率很少,這無疑是給努力的站長們撥了一盤冷水。
為什么蜘蛛表示對(duì)你的網(wǎng)站訪問壓力巨大?事出必有因,蜘蛛只是一個(gè)機(jī)器人,它遵循程序的設(shè)定,如果它不愿意訪問你的網(wǎng)站,那只能說明你的網(wǎng)站肯定存在各種各樣的阻礙爬行的因素。下面筆者就自身的經(jīng)驗(yàn)來和大家分享一下,哪些問題會(huì)讓蜘蛛訪問壓力變大吧。
第一、網(wǎng)站存在大量的死鏈接：
所謂的死鏈接就是就是返回代碼為404的錯(cuò)誤頁面鏈接,這類鏈接通常產(chǎn)生于網(wǎng)站改版后、或者網(wǎng)站更換域名后。這類死鏈接無論是對(duì)用戶還是對(duì)百度蜘蛛來說,都是一種非常不友好的表現(xiàn)。試想一下,當(dāng)蜘蛛興高采烈來到你的網(wǎng)站訪問,卻接二連三地碰到那些擋道的死鏈接,重復(fù)的情況不斷出現(xiàn),最后讓蜘蛛不再信任你的網(wǎng)站,繼而也產(chǎn)生網(wǎng)站不被收錄的結(jié)果。
解決辦法：(1)提交死鏈接。利用百度站長平臺(tái)的“死鏈提交”工具來提交網(wǎng)站死鏈,具體說明請(qǐng)參考百度站長工具。
(2)對(duì)死鏈進(jìn)行301重定向。這個(gè)辦法是針對(duì)死鏈接較少的網(wǎng)站的,如果你的網(wǎng)站死鏈接只有一兩條,那么可以把死鏈接頁面重定向到首頁或者其他頁面,但是這也可能導(dǎo)致用戶體驗(yàn)不那么友好。
第二、網(wǎng)站地圖出現(xiàn)錯(cuò)誤：
以往很多seo的技術(shù)教程都告訴我們,制作網(wǎng)站地圖十分重要。但是現(xiàn)在很多站長都會(huì)忽略網(wǎng)站地圖這一塊工作,由于對(duì)代碼的不熟悉,因此很多站長會(huì)使用一些不靠譜的工具隨便制作一張網(wǎng)站地圖。筆者認(rèn)為,與其隨便制作地圖,還不如不制作。試想想,你給一張錯(cuò)誤的地圖蜘蛛走,當(dāng)蜘蛛迷路了,它會(huì)不會(huì)恨你?所以,筆者建議,如果網(wǎng)站地圖能親手制作就親手制作,如果不能可以選擇一些比較權(quán)威的工具,如百度的站長工具和chianz的站長工具等等。做好后還要測(cè)試一下,看哪里存在問題,并且通過日志觀察,蜘蛛是否能夠在地圖上順暢地爬行。
第三、網(wǎng)站存在蜘蛛陷阱：
所謂的蜘蛛陷阱就是網(wǎng)站存在某些問題,讓蜘蛛在爬行網(wǎng)站時(shí)候發(fā)生錯(cuò)誤,陷入網(wǎng)站之中,繼而無法走出網(wǎng)站。這種情況其實(shí)我們很難去發(fā)現(xiàn),因?yàn)槲覀儫o法確定蜘蛛是否真的被困在蜘蛛陷阱之中,但是當(dāng)我們發(fā)現(xiàn)蜘蛛爬行網(wǎng)站頻率變小后,就應(yīng)該開始意識(shí)到并檢測(cè)自己網(wǎng)站是否真的存在蜘蛛陷阱了。筆者認(rèn)為,造成蜘蛛陷阱大多數(shù)還是兩個(gè)原因：
(1、網(wǎng)站url參數(shù)過多。盡管百度告訴我們,現(xiàn)在百度蜘蛛已經(jīng)能夠抓取非靜態(tài)url,但是包含參數(shù)過度的非靜態(tài)url對(duì)于百度蜘蛛來說還是很有壓力的,如下圖：
這種復(fù)雜的非靜態(tài)url會(huì)讓百度蜘蛛感到頭暈?zāi)X脹,最后就可能造成蜘蛛無法走出這個(gè)頁面而引致所謂的蜘蛛陷阱了。
(2、網(wǎng)站錨文本過多,造成內(nèi)鏈鏈輪。外部鏈輪相信大家都會(huì)認(rèn)識(shí),但是其實(shí)內(nèi)部鏈接也是可以產(chǎn)生鏈輪的。很多站長為了提升關(guān)鍵詞排名,不惜使用過多的錨文本,然后造成頁面之間的鏈接輪回效應(yīng),最后也讓蜘蛛走進(jìn)了無底洞,無法走出來了。
搜索引擎蜘蛛雖然只是一個(gè)機(jī)器人,不能與人類的智商比較,但是我們作為站長還是應(yīng)該尊重蜘蛛,遵循它的規(guī)定,不應(yīng)該讓網(wǎng)站存在過多的問題而導(dǎo)致它壓力變大。只有我們的網(wǎng)站能夠改善以上的問題,相信直至?xí)絹碓狡淝嗖A我們的網(wǎng)站的
