在這兒交流一下網(wǎng)站被搜索引擎收錄的情況，然后和大家交流交流，作為一個菜鳥，我是從菜鳥的角度觀察的，有啥幼稚可笑的地方希望大家盡管笑，博朋友們一樂足矣。
非主流大女子網(wǎng)于2007年8月5日正式上線，其實就是把初步改好的網(wǎng)站掛上去。不過注意一下，我所謂的上線并不是把非主流大女子網(wǎng)能正常訪問開始算，而是把非主流大女子網(wǎng)和其他baidu收錄的網(wǎng)站掛好鏈接，這算是正式上線，如果沒有外鏈，搜索引擎不知道有這個非主流網(wǎng)的存在，那放一年又有什么意義，談不上上線。
由于我所掛鏈接的網(wǎng)站是一個非常活躍的網(wǎng)站，通過對網(wǎng)站日志的觀察，幾乎是每小時百度和谷歌的爬蟲都會來訪問，所以，掛上后，應(yīng)該很快有他們的爬蟲到非主流大女子網(wǎng)的。
果然很快，在一個小時內(nèi)，首先來的爬蟲是雅虎的，小弟發(fā)現(xiàn)，雅虎的爬蟲最近非常的活躍，不過我對他不是很感興趣，因為雅虎帶來的流量是非常有限的，甚至不如搜狗有時候。
在一個小時以后，谷歌的爬蟲也來了，而且我每隔一個小時就觀察，谷歌的爬蟲很活躍，幾乎每個小時都在爬啊爬的，最近對谷歌還是比較喜歡的，雖然流量帶來的不多，但是每天來兩百、三百的ｉｐ很容易的，只要做到位，半個月偶就能從谷歌搞來三百以上ｉｐ。
最盼望的百度的爬蟲這次竟然太弱了，等了３天，谷歌和雅虎收錄都體現(xiàn)出來了，百度竟然還沒有動靜。急。
終于，在2007年8月7日，百度的爬蟲終于出現(xiàn)了，果不其然，百度的蟲子首先檢查的非主流大女子網(wǎng)目錄下的robot.txt文件，這個是不存在的，那就是說俺的網(wǎng)站是允許百度的爬蟲來的，不過也是廢話，在國內(nèi)，誰會主動的躲開百度呢？除非他精神有問題吧。
2007-08-07 08:53:12 GET /robots.txt - 80 - 222.222.126.113 Baiduspider+(+) - - 404 0 64
在接下來的一個小時內(nèi)，百度的爬蟲掃描了幾乎所有的頁面（本身也不多，就添加了３０多篇），而且百度的爬蟲幾乎把所有的圖片，包括文章內(nèi)上傳的和網(wǎng)頁上的小圖片，它都爬了一遍。
我現(xiàn)在有個感覺，保持百度爬蟲的活躍度，要從這個時刻開始：發(fā)現(xiàn)百度的爬蟲來了以后，每次新來過以后你要添加幾篇文章，讓爬蟲每次來都有新東西可吃，這樣子他會非常勤快的。我相信，他每小時都回來的。
不知道非主流大女子網(wǎng)能否實現(xiàn)我的預(yù)期效果，我要測試，我會在站長網(wǎng)隨時更新我的觀察結(jié)果。
謝謝大家。
恭喜你：今天是2007.8.08.你看到這條消息的時候，立即進去搶寶論壇登記信息，搶屬于你的￥50.00 尋寶贊助由 中華賞金人才網(wǎng)贊助 請各位未搶到寶的站長，關(guān)注中華賞金人才網(wǎng)（)還有更多的獎勵機會。
以下是百度的爬蟲對非主流大女子網(wǎng)掃描的記錄片段
2007-08-07 09:04:55 GET /images/banner.gif - 80 - 222.222.126.113 Mozilla/4.0+(compatible;+MSIE+6.0;+Windows+NT+5.1;+SV1) AJSTAT_ok_pages=1;+AJSTAT_ok_times=1 304 0 0
2007-08-07 09:04:55 GET /images/bea_03.gif - 80 - 222.222.126.113 Mozilla/4.0+(compatible;+MSIE+6.0;+Windows+NT+5.1;+SV1) AJSTAT_ok_pages=1;+AJSTAT_ok_times=1
申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！
