域名預(yù)訂/競(jìng)價(jià),好“米”不錯(cuò)過
由于雅虎搜索對(duì)于網(wǎng)絡(luò)抓取采取大量系統(tǒng),因此,我們的網(wǎng)絡(luò)服務(wù)器會(huì)從不同的YST(雅虎搜索技術(shù))抓取程序的客戶端IP地址登錄請(qǐng)求。不同的抓取程序系統(tǒng)彼此配合,來限制任何來自單一網(wǎng)絡(luò)服務(wù)器的活動(dòng)。所謂單一網(wǎng)絡(luò)服務(wù)器,是由IP地址判斷的。因此,如果我們的服務(wù)器主機(jī)擁有多個(gè)IP,它的活動(dòng)則會(huì)處于更高的級(jí)別。
YST有一個(gè)特定的擴(kuò)展名,在我們的服務(wù)器根目錄下的robots.txt里可以應(yīng)用,通過它可以對(duì)雅虎搜索的抓取程序設(shè)定一個(gè)較低的抓取請(qǐng)求頻率??梢栽趓obots.txt里加入Crawl-delay:xx的指示,其中,“xx”是指在crawler程序兩次進(jìn)入站點(diǎn)時(shí),以秒為單位的最低延時(shí)。如果crawler頻率對(duì)我們的服務(wù)器是一個(gè)負(fù)擔(dān),我們可以將這個(gè)延時(shí)設(shè)定為任何恰當(dāng)?shù)臄?shù)字,例如50或200。
例如:我們想要設(shè)定一個(gè)5秒的延時(shí),可以在robots.txt里加入以下語句 :
User-agent: Slurp
Crawl-delay: 5
也可以設(shè)定更長時(shí)間的延時(shí),在此網(wǎng)智成不再贅述。
申請(qǐng)創(chuàng)業(yè)報(bào)道,分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處,共同探討創(chuàng)業(yè)新機(jī)遇!