我們從事網(wǎng)站優(yōu)化的過程中,尤其是現(xiàn)在收入對于網(wǎng)站而言是非常重要的網(wǎng)站,只有有了比較不錯的收錄之后,才有可能會取得不錯的排名,因此在網(wǎng)站設(shè)計的時候,我們就要盡可能的讓蜘蛛能夠獲取到網(wǎng)站的全部內(nèi)容信息,如果說在網(wǎng)站的程序上,或者說是設(shè)計上出現(xiàn)了蜘蛛陷阱,就會導(dǎo)致蜘蛛無法獲取站點的內(nèi)容。
有些朋友為了網(wǎng)站好看、炫酷等等,但是卻導(dǎo)致了蜘蛛抓取困難,這在一定程度上就形式了蜘蛛陷阱,那么具體有哪些情況會出現(xiàn)這種蜘蛛陷阱呢?
一、JS
有些朋友為了讓網(wǎng)站吸引用戶的眼球,就把導(dǎo)航、網(wǎng)站的首頁界面等等都使用了大量的JS腳本,這對于蜘蛛抓取也是不利的。對于這一點可能存在一定的爭議,問題在于到底要不要把它劃到蜘蛛陷阱這一塊。
JS在網(wǎng)站建設(shè)中有著舉足輕重的作用,因為它能為網(wǎng)站實現(xiàn)很多酷炫的效果,但是它依舊擺脫不了不利于蜘蛛爬取的問題,就這一點來說它可以算是蜘蛛陷阱,但是它也可以用在網(wǎng)站的其他方面對咱們做SEO的還是有所幫助的,比如為了避免網(wǎng)站權(quán)重的分散,不想讓一些對網(wǎng)站排名毫無意義的頁面被收錄,我們就可以用JS腳本阻止蜘蛛對該頁面的抓取,而就這一點來說它又是我們做網(wǎng)站優(yōu)化的好幫手,所以對于JS腳本這一點還是全憑自己且用且拿捏吧!
二、框架結(jié)構(gòu)
框架結(jié)構(gòu)里面的html通常情況下是可以被蜘蛛抓取的,但是一般情況下這里面的內(nèi)容不是完整的,導(dǎo)致的結(jié)果就是搜索引擎無法判斷框架里面的內(nèi)容到底是主框架還是框架調(diào)用的文件。
框架結(jié)構(gòu)就目前來說算的上是網(wǎng)站建設(shè)界的老古董了,業(yè)界在剛開始建設(shè)網(wǎng)站的時候會用框架結(jié)構(gòu)來設(shè)計相關(guān)的頁面,在當(dāng)時來講的確提供了不少方便,但在現(xiàn)如今建站愈來愈簡單智能的時代,框架結(jié)構(gòu)逐漸落伍并且非常不利于蜘蛛爬取網(wǎng)站的內(nèi)容,所以框架結(jié)構(gòu)是被逼成了蜘蛛陷阱,老實講這不能怪它,可是也不得不怪它,這同時也驗證了一句話:落后就要挨打。
三、有過多的flash
不得不說Flash能為我們的網(wǎng)站增色不少,恰到好處的Flash能夠讓我們的網(wǎng)站看起來高端大氣上檔次,但是不要因為它有這些優(yōu)點我們就可以濫用,不管什么地方都去整個Flash什么的,那樣只會適得其反,之所以這么說是由于搜索引擎對Flash的抓取很不理想,偶爾用到幾乎沒什么影響,但是如果你的整個首頁就只用了一個超大的Flash亦或是頁面上面到處都是Flash,這就變成了蜘蛛陷阱。雖然搜索引擎一直在竭盡全力攻克這方面抓取的難題,但到目前為止效果還是不怎么好,所以我們也只能主動避開這些問題。
目前的flash也是蜘蛛難以識別的,這對于搜索引擎來說也是一種看不懂的東西,那么及時再好的視覺效果,也會讓搜索引擎無法判斷對應(yīng)的相關(guān)性。
四、Session ID
Session ID用戶跟蹤訪問,造成的現(xiàn)象就是用戶每訪問一個頁面,就會出現(xiàn)不一樣的Session ID,也就是說訪問同樣的頁面,但是出現(xiàn)不一樣的ID,這就造成了大量重復(fù)性的內(nèi)容,也不利搜索引擎優(yōu)化的。
五、異常跳轉(zhuǎn)
網(wǎng)站的跳轉(zhuǎn)方法多種多樣,常見的例如:JS跳轉(zhuǎn)、Flash跳轉(zhuǎn)、302跳轉(zhuǎn)等,而301跳轉(zhuǎn)要單獨來說,因為它是搜索引擎推薦和認可的跳轉(zhuǎn)形式,它主要用在網(wǎng)站域名更改后將此域名指向彼域名,并且還可以將老域名的權(quán)重全部繼承給新域名。除此之外的雜七雜八的跳轉(zhuǎn)對搜索引擎來說都是不友好的,因為跳轉(zhuǎn)本身就不利于蜘蛛的爬取,這也就是所謂的蜘蛛陷阱了。
普通情況下是不會做出這樣的操作,一般灰帽或黑帽的朋友比較喜歡這種操作,采用變相引流的方法,讓頁面跳來跳去,但是實際上等于欺騙搜索引擎和用戶。
六、動態(tài)URL
動態(tài)URL目前對于搜索引擎來說還是說可以識別的,但是如果大量的動態(tài)URL是不利于蜘蛛抓取的,時間長,也不利于優(yōu)化。
搜索引擎比較喜歡靜態(tài)網(wǎng)站,所以很多的動態(tài)網(wǎng)站都會使用偽靜態(tài)設(shè)置。動態(tài)URL通俗的解釋就是網(wǎng)站鏈接中帶有各種參數(shù)、等號、問號或者其它符號而長度還很長的鏈接,對于那些有密集恐懼癥的朋友來說這絕對是不能容忍的,恰巧的是蜘蛛也患有這種癥狀(哈哈哈),其實最根本的原因還是動態(tài)URL不利于蜘蛛的爬取。
七、登錄限制
有登錄限制的內(nèi)容,對于搜索引擎來說它即不會注冊也不會登錄,這樣的內(nèi)容蜘蛛是發(fā)現(xiàn)不了的。
八、強制使用cookies
目前很少有網(wǎng)站采用這種限制了,為了想讓用戶記住網(wǎng)站、登錄信息、跟蹤訪問路徑等等情況,強制使用cookies等,造成的結(jié)果就是沒有啟用cookies的用戶就訪問不了,會提示頁面無法正常顯示,或者蜘蛛無法正常訪問識別等情況。
九、很多彈出式聊天窗口
有些網(wǎng)站為了跟用戶交流就時不時的強出很多聊天窗口,但是這些聊天窗口搜索引擎也是無法識別的。
本文來自轉(zhuǎn)載至佛山市企劃動力信息技術(shù)有限公司網(wǎng)站:https://www.qihuadongli.com.cn/cjwt/1535.html
申請創(chuàng)業(yè)報道,分享創(chuàng)業(yè)好點子。點擊此處,共同探討創(chuàng)業(yè)新機遇!