網(wǎng)上robots的寫法，說法一大堆，也不知誰對誰錯，到底robots該禁止那些文件呢？
今天大概總結(jié)一下： 首先說明一點：每天百度派出的蜘蛛是有限的，robots寫出來是為了節(jié)省蜘蛛資源讓蜘蛛能更快的進行有效爬取和收錄！
針對企業(yè)站來說，本身蜘蛛資源不會很多
，所以我們更要珍惜蜘蛛的每次爬取，讓其都有意義，不要去爬取一些無價值的頁面，浪費了蜘蛛資源，從而導致網(wǎng)站遲遲未收錄，沒排名等情況！ 下面舉例列出來： 1、模板文件(/template/)可以屏蔽； 2、這個文件/uploads/一般放的是圖片，可以屏蔽； 3、/data/系統(tǒng)數(shù)據(jù)文件，可以屏蔽； 4、/img/或/images/，如果你不是做的圖片站，也可以屏蔽； 5、/bin/系統(tǒng)文件可以屏蔽； 6、/install/安裝文件可以屏蔽； 7、/member/有會員的可以屏蔽； 8、/logreport/有統(tǒng)計報告的可以屏蔽； 9、/bjk/有加密的文件，可以屏蔽； 10、/js/，/css/可以屏蔽，留著是為了讓蜘蛛更好地了解網(wǎng)站結(jié)構(gòu)，資源少的情況下，可以屏蔽。 11、網(wǎng)站地圖，sitemap要記得放進去，不要屏蔽，讓蜘蛛第一時間去看你的網(wǎng)站地圖，更快了解網(wǎng)站鏈接結(jié)構(gòu)！ 總結(jié)到此，希望對大家有些幫助！
文章來源：懶貓seo博客
來源地址：http://www.lanmaoseo.com/seowzyh/6978.html
申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！
