蜘蛛、機(jī)器人和爬蟲是你的朋友。如果要進(jìn)行SEO,你不只需要喜歡它們,同時(shí)你真的需要特意地把它們吸引到你的網(wǎng)站上來。
在SEO中,蜘蛛、機(jī)器人和爬蟲大體上講的是同一種東西,但是別過分擔(dān)憂—它們都沒有腿和觸角。所以,讓我們統(tǒng)一用“爬蟲(crawler)”這個(gè)詞來稱呼它們。請牢記,有時(shí)你需要吸引這些機(jī)器人,或者把你的網(wǎng)站偽裝成“蜘蛛誘餌”。這都屬于同一個(gè)原則。 那么,什是爬蟲,為什么我們要把它請到我的網(wǎng)站上來呢。 爬蟲是一種程序,或者是一段自動(dòng)化的腳本(經(jīng)常被稱為 bot,即 robot的縮寫),它在網(wǎng)上不停辛勤奔跑到各個(gè)URL上去。爬蟲通過它們所瀏覽的網(wǎng)頁上面的鏈接從一個(gè)URL爬到另一個(gè)URL。
主流搜索引擎接連不斷地將它們的爬蟲派出去瀏覽廣闊的互聯(lián)網(wǎng)。爬蟲首先找到各個(gè)頁面,然后把頁面上的文本和代碼復(fù)制并儲(chǔ)存在它們巨大的索引服務(wù)器上,這個(gè)過程叫做爬行(spidering)。這個(gè)巨大的索引,實(shí)際上就是一個(gè)包含搜索引擎爬蟲可以成功訪問到的所有網(wǎng)站頁面的數(shù)據(jù)庫。該索引被用來作為當(dāng)你搜索時(shí),可以非??焖俚氐玫揭粋€(gè)結(jié)果的倉庫。當(dāng)你在一個(gè)例如Google的搜索引擎上輸入一個(gè)搜索詞并提交,你 實(shí)際搜索的是搜索引擎所索引的全部內(nèi)容,而不是當(dāng)時(shí)互聯(lián)網(wǎng)的實(shí)際內(nèi)容。 當(dāng)然,網(wǎng)頁會(huì)變化。有時(shí),網(wǎng)頁和網(wǎng)站的變化周期非常短。除此以外,新的網(wǎng)站和網(wǎng)頁隨時(shí)都在快速出現(xiàn)。這也是為什么爬蟲始終都在那里不停地爬行,一遍又一遍地瀏覽網(wǎng)頁,并且建立和更新搜索引擎的索引信息。 搜索引擎索引庫里面的內(nèi)容是爬蟲瀏覽網(wǎng)頁時(shí)看到的內(nèi)容。爬蟲所看到的內(nèi)容可能和一般的訪問者看到的大相徑庭。如果你想查看爬蟲看到的某個(gè)網(wǎng)頁的內(nèi)容是什么,你可以使用 IE瀏覽器來訪問它,然后按下Ctrl-A組合鍵,并瀏覽復(fù)制下來的內(nèi)容(如果是Mac系統(tǒng),則可以使用Apple-U組合鍵)?;蛘?,你可以借助 Google,點(diǎn)擊搜索結(jié)果下面的“網(wǎng)頁快照”鏈接,就可以看到爬蟲最近對這個(gè)頁面做的快照了。首先也是最重要的一點(diǎn)是,爬蟲將它們爬過的每個(gè)頁面的字和詞組合起來。它們索引文本和鏈接。當(dāng)你在搜索框中輸入一個(gè)搜索詞時(shí),搜索引擎盡量精確地找出和搜索詞組最匹配的網(wǎng)頁。 不同的搜索引擎有它們獨(dú)具特色的爬蟲,和你所期料的一樣,它們并不是都以完全一樣的方式來運(yùn)行。有些爬蟲獲取頁面上全部的內(nèi)容,而有些可能只是對其中的某些部分感興趣。大部分爬蟲都認(rèn)為,頁面的標(biāo)題以及靠近頁面頂部的內(nèi)容,比遠(yuǎn)在頁面下面的內(nèi)容更重要。爬蟲在爬行網(wǎng)站時(shí)經(jīng)常遇到障礙并越過這些障礙,比如說,在網(wǎng)站上,沒有讓它們繼續(xù)爬行的鏈接,或者它們遇到了由怪異技術(shù)或代碼造成的問題。爬蟲還可能由于遇到技術(shù)阻礙,而進(jìn)入陷阱,從而使它們不能輕易完成工作。 所以,任何SEO工作的第一步的重要部分都是讓爬蟲更容易發(fā)現(xiàn)和爬行你的網(wǎng)站。如果你的網(wǎng)站沒有被爬蟲爬過,它們也就不會(huì)建立關(guān)于你網(wǎng)站的搜索引擎索引。如果網(wǎng)頁沒有在索引當(dāng)中,搜索者也不會(huì)在搜索引擎中找到它,因?yàn)樗阉饕嬲J(rèn)為那個(gè)頁面根本就不存在。與此同時(shí),搜索者可能找到其他網(wǎng)頁,并且很有可能是你的競爭對手的網(wǎng)頁。 鏈接和精心設(shè)計(jì)的站點(diǎn)結(jié)構(gòu)是建立個(gè)體網(wǎng)頁、網(wǎng)站欄目與其他站內(nèi)網(wǎng)頁和欄目之間關(guān)系的橋梁。這將給爬蟲提供清晰的爬行道路。
創(chuàng)建sitemap
建立 sitemap 是幫助搜索引擎爬蟲抓取網(wǎng)站的最簡單的方法之一。sitemap是一個(gè)給爬蟲提供網(wǎng)站內(nèi)容 URL清單—至少是網(wǎng)站擁有者希望爬蟲看到的地址清單的文件(通常是 XML 格式)。 sitemap 中還可以包括針對每個(gè)URL的附加信息,例如指定頁面的最近更新時(shí)間、更新頻率,以及相對于網(wǎng)站上其他內(nèi)容的重要度(舉例來說,首頁比“聯(lián)系我們”頁面更為重要)。sitemap 所提供的信息可以幫助搜索引擎爬蟲更智能地抓取網(wǎng)站。Google、MSN、Yahoo!以及 Ask 都接受網(wǎng)站擁有者提交 sitemap 的請求。然而需要注意的是,沒有任何一家公司保證sitemap所提交的URL都會(huì)被抓取或者被索引。 sitemap 對于那些提供不容易被直接瀏覽到的信息的網(wǎng)站來說十分有用,例如有些站點(diǎn)存儲(chǔ)了大量的檔案或者信息數(shù)據(jù)庫,這些信息是通過用戶檢索才能看到的。請記住,爬蟲只是根據(jù)鏈接來抓取信息,而通常情況下,這樣的信息是缺乏鏈接指向的。
文章來源: 轉(zhuǎn)載請注明地址
申請創(chuàng)業(yè)報(bào)道,分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處,共同探討創(chuàng)業(yè)新機(jī)遇!