在SEO優(yōu)化網(wǎng)站當(dāng)中，做好robots.txt至關(guān)重要因?yàn)槊總€(gè)搜索引擎抓取網(wǎng)站信息第一步就是爬去robots.txt文件來引導(dǎo)搜索引擎爬取;合理的使用robots文件能夠更好的集中網(wǎng)站的權(quán)重，避免一些不想被搜索引擎查看的文件抓取，是非常必要的一種SEO手段，但是好多做seo的朋友對(duì)于robots的文件使用不是特別了解，僅僅知道Disallow是禁止，allow是允許，以及一些常用的搜索引擎的訪問禁止寫法，對(duì)于在復(fù)雜的一些不知道如何去寫，其實(shí)本人開始也對(duì)于robots不知道如何著手去寫，但是隨著做seo時(shí)間推移，以及經(jīng)驗(yàn)的豐富，筆者總結(jié)出了一套自己設(shè)置robots的方法，首先為大家介紹在robots設(shè)置當(dāng)中需要注意的一些事項(xiàng)：
1、作為搜索引擎最先訪問的目錄，過長的robots文件也會(huì)影響蜘蛛的爬取速度，所以對(duì)于禁止搜索引擎的網(wǎng)頁，可以適度的去使用noffollow標(biāo)記，使其不對(duì)該網(wǎng)站傳遞權(quán)重。
2、對(duì)于Disallow和Allow的設(shè)置是有先后順序之分的，搜索引擎會(huì)根據(jù)第一個(gè)匹配成功的Allow與Disallow來確定首先訪問那個(gè)url地址。
3、在robots設(shè)置當(dāng)中關(guān)于Disallow當(dāng)中/和//的區(qū)別。在robots文件設(shè)置當(dāng)中，Disallow：/abc是禁止訪問abc.html和/abc/123.html等文件，而對(duì)于disallow:/abc/來說，是允許對(duì)于/abc.html進(jìn)行訪問，但是對(duì)于/abc/123.html是進(jìn)行禁止的。
4、在robots設(shè)置當(dāng)中“*”和“$”的設(shè)置，其中”$” 匹配行結(jié)束符。”*” 匹配0或多個(gè)任意字符。
好了掌握了這些知識(shí)，你可能會(huì)說我還是不知道如何去設(shè)置robots文件，那么該怎么辦呢?
首先，確定你需要禁止的內(nèi)容，然后注冊(cè)谷歌管理員工具，通過搜索引擎查找你想禁止內(nèi)容的寫法，然后登陸百度管理員工具，選擇網(wǎng)站配置>抓取工具的權(quán)限>測試robots.txt把你想要禁止內(nèi)容的語法填入文本框當(dāng)中，然后點(diǎn)擊下面進(jìn)行測試，會(huì)出現(xiàn)測試的結(jié)果，如果有錯(cuò)誤，根據(jù)錯(cuò)誤提示在進(jìn)行相應(yīng)的修改就可以了。
申請(qǐng)創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！
