按照雅虎官方的解釋，如果我們想要禁止雅虎搜索網(wǎng)站內(nèi)容，在我們的服務(wù)器的根目錄中放置一個 robots.txt 文件，加入以下內(nèi)容：
User-Agent: *
Disallow: /
因為以上是大部分網(wǎng)絡(luò)搜索程序都會遵守的標(biāo)準(zhǔn)協(xié)議，加入這些協(xié)議后，不僅雅虎搜索無法抓取網(wǎng)站內(nèi)容，其他搜索程序都不會再抓取我們的網(wǎng)絡(luò)服務(wù)器或目錄。
所以網(wǎng)智成建議您，應(yīng)慎重選擇，我們可以寫成這樣:
User-Agent: Googlebot
Disallow:
User-Agent: *
Disallow: /
這樣寫就是只有名為Googlebot的爬蟲可以抓網(wǎng)站所有的內(nèi)容，雅虎搜索和其他搜索引擎的爬蟲都不能抓取網(wǎng)站的所有內(nèi)容。
或者
User-agent: slurp
Disallow: /
只禁止雅虎的"slurp"搜索引擎蜘蛛的抓取。
申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！
