不清楚您的網(wǎng)站日志中是否有出現(xiàn)過(guò)一個(gè)不太常見(jiàn)的CC蜘蛛，訪問(wèn)名稱為：CCBot/2.0，下面我們具體來(lái)了解一下CCbot是什么蜘蛛?
一. CCbot是什么蜘蛛?
CCbot，全稱為Common Crawl Bot，是一個(gè)非營(yíng)利性基金會(huì)致力于提供可以被所有人訪問(wèn)和分析的Web爬網(wǎng)數(shù)據(jù)的開(kāi)放存儲(chǔ)庫(kù)。
二. 你如何處理CCbot蜘蛛?
方法1. 使用robots.txt
使用robots.txt文件來(lái)允許或禁止蜘蛛訪問(wèn)頁(yè)面的權(quán)限。robots.txt是放在網(wǎng)站根目錄中，蜘蛛來(lái)訪問(wèn)時(shí)會(huì)先查找并查看robots.txt文件，并遵守robots協(xié)議來(lái)訪問(wèn)網(wǎng)站上的內(nèi)容，允許訪問(wèn)則訪問(wèn)，不允許訪問(wèn)蜘蛛則離開(kāi)。
①. 不允許任何蜘蛛訪問(wèn)您站點(diǎn)的任何部分
User-agent：*
Disallow：/
②. 允許任何蜘蛛訪問(wèn)您站點(diǎn)的任何部分
User-agent：*
Disallow：
③. 不允許CCbot蜘蛛訪問(wèn)網(wǎng)站的任何部分
User-agent：ccbot
Disallow：/
④. 允許CCbot蜘蛛訪問(wèn)您站點(diǎn)的任何部分
User-agent：ccbot
Disallow：
⑤. 允許CCbot蜘蛛訪問(wèn)您站點(diǎn)，但不允許CCbot訪問(wèn)“wp-admin”文件夾
User-agent：ccbot
Disallow：/wp-admin
方法2. 使用元標(biāo)記
可以在頁(yè)面中使用元標(biāo)記來(lái)幫助控制搜索引擎蜘蛛對(duì)您網(wǎng)站的訪問(wèn)權(quán)限。如果您為所有頁(yè)面使用模板，則可以在和之間添加元標(biāo)記， 它將適用于使用該模板的所有頁(yè)面。如果要控制特定頁(yè)面，可以在和之間的各個(gè)頁(yè)面上添加元標(biāo)記 。
①. 允許所有蜘蛛訪問(wèn)您的頁(yè)面
②. 允許所有蜘蛛訪問(wèn)您的網(wǎng)頁(yè)并跟蹤頁(yè)面上的鏈接
③. 允許所有蜘蛛訪問(wèn)您的網(wǎng)頁(yè)，但不允許他們跟蹤鏈接
④. 不允許任何蜘蛛訪問(wèn)您的網(wǎng)頁(yè)
⑤. 允許CCbot訪問(wèn)您的網(wǎng)頁(yè)
⑥. 不允許CCbot訪問(wèn)您的頁(yè)面
⑦. 允許CCbot訪問(wèn)您的頁(yè)面并跟蹤更多頁(yè)面的鏈接
如果你在網(wǎng)站日志中也發(fā)現(xiàn)了CCbot，不要驚慌，你接下來(lái)需要做的就是是允許它繼續(xù)爬行還是禁止爬行?May個(gè)人覺(jué)得這類蜘蛛沒(méi)有多大的意義，一旦發(fā)現(xiàn)這類蜘蛛爬行比較頻繁，最好的方式就是禁止這些蜘蛛繼續(xù)訪問(wèn)我們的網(wǎng)站。
原創(chuàng)：MAY的SEO博客 https://may90.com/share/ccbot.html 未經(jīng)允許，請(qǐng)勿轉(zhuǎn)載!
申請(qǐng)創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！
