當前位置:首頁 >  站長 >  搜索優(yōu)化 >  正文

robots具體應該禁止些什么文件

 2020-11-30 17:13  來源: 懶貓seo博客   我來投稿 撤稿糾錯

  阿里云優(yōu)惠券 先領券再下單

網上robots的寫法,說法一大堆,也不知誰對誰錯,到底robots該禁止那些文件呢?

今天大概總結一下: 首先說明一點:每天百度派出的蜘蛛是有限的,robots寫出來是為了節(jié)省蜘蛛資源讓蜘蛛能更快的進行有效爬取和收錄!

針對企業(yè)站來說,本身蜘蛛資源不會很多

,所以我們更要珍惜蜘蛛的每次爬取,讓其都有意義,不要去爬取一些無價值的頁面,浪費了蜘蛛資源,從而導致網站遲遲未收錄,沒排名等情況! 下面舉例列出來: 1、模板文件(/template/)可以屏蔽; 2、這個文件/uploads/一般放的是圖片,可以屏蔽; 3、/data/系統(tǒng)數據文件,可以屏蔽; 4、/img/或/images/,如果你不是做的圖片站,也可以屏蔽; 5、/bin/系統(tǒng)文件可以屏蔽; 6、/install/安裝文件可以屏蔽; 7、/member/有會員的可以屏蔽; 8、/logreport/有統(tǒng)計報告的可以屏蔽; 9、/bjk/有加密的文件,可以屏蔽; 10、/js/,/css/可以屏蔽,留著是為了讓蜘蛛更好地了解網站結構,資源少的情況下,可以屏蔽。 11、網站地圖,sitemap要記得放進去,不要屏蔽,讓蜘蛛第一時間去看你的網站地圖,更快了解網站鏈接結構! 總結到此,希望對大家有些幫助!

文章來源:懶貓seo博客

來源地址:http://www.lanmaoseo.com/seowzyh/6978.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 yy@haotui.cn 举报,一经查实,本站将立刻删除。

申請創(chuàng)業(yè)報道,分享創(chuàng)業(yè)好點子。點擊此處,共同探討創(chuàng)業(yè)新機遇!

相關文章

創(chuàng)業(yè)項目推薦

    熱門排行

    信息推薦