域名預(yù)訂/競(jìng)價(jià)，好“米”不錯(cuò)過(guò)

1、robots協(xié)議是什么

robots協(xié)議也叫 robots.txt（統(tǒng)一小寫(xiě)）是一種存放于網(wǎng)站根目錄下的ASCII編碼的文本文件，它通常告訴網(wǎng)絡(luò)搜索引擎的漫游器（又稱(chēng)網(wǎng)絡(luò)蜘蛛），此網(wǎng)站中的哪些內(nèi)容是不應(yīng)被搜索引擎的漫游器獲取的，哪些是可以被漫游器獲取的。

2、robots協(xié)議怎么寫(xiě)

因?yàn)橐恍┫到y(tǒng)中的URL是大小寫(xiě)敏感的，所以robots.txt的文件名應(yīng)統(tǒng)一為小寫(xiě)。

User-agent: *

Disallow:

allow:

"*"和"$"的含義

Baiduspider支持使用通配符"*"和"$"來(lái)模糊匹配url。

"$" 匹配行結(jié)束符。

"*" 匹配0或多個(gè)任意字符。

對(duì)于一般企業(yè)可以這樣的去寫(xiě)，在Disallow掉不想被搜索引擎抓取的文件即可，比如我們的網(wǎng)站數(shù)據(jù)，圖片等等。

申請(qǐng)創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！