在這兒交流一下網(wǎng)站被搜索引擎收錄的情況，然后和大家交流交流，作為一個(gè)菜鳥，我是從菜鳥的角度觀察的，有啥幼稚可笑的地方希望大家盡管笑，博朋友們一樂足矣。
非主流大女子網(wǎng)于2007年8月5日正式上線，其實(shí)就是把初步改好的網(wǎng)站掛上去。不過注意一下，我所謂的上線并不是把非主流大女子網(wǎng)能正常訪問開始算，而是把非主流大女子網(wǎng)和其他baidu收錄的網(wǎng)站掛好鏈接，這算是正式上線，如果沒有外鏈，搜索引擎不知道有這個(gè)非主流網(wǎng)的存在，那放一年又有什么意義，談不上上線。
由于我所掛鏈接的網(wǎng)站是一個(gè)非?；钴S的網(wǎng)站，通過對(duì)網(wǎng)站日志的觀察，幾乎是每小時(shí)百度和谷歌的爬蟲都會(huì)來訪問，所以，掛上后，應(yīng)該很快有他們的爬蟲到非主流大女子網(wǎng)的。
果然很快，在一個(gè)小時(shí)內(nèi)，首先來的爬蟲是雅虎的，小弟發(fā)現(xiàn)，雅虎的爬蟲最近非常的活躍，不過我對(duì)他不是很感興趣，因?yàn)檠呕淼牧髁渴欠浅Ｓ邢薜?，甚至不如搜狗有時(shí)候。
在一個(gè)小時(shí)以后，谷歌的爬蟲也來了，而且我每隔一個(gè)小時(shí)就觀察，谷歌的爬蟲很活躍，幾乎每個(gè)小時(shí)都在爬啊爬的，最近對(duì)谷歌還是比較喜歡的，雖然流量帶來的不多，但是每天來兩百、三百的ｉｐ很容易的，只要做到位，半個(gè)月偶就能從谷歌搞來三百以上ｉｐ。
最盼望的百度的爬蟲這次竟然太弱了，等了３天，谷歌和雅虎收錄都體現(xiàn)出來了，百度竟然還沒有動(dòng)靜。急。
終于，在2007年8月7日，百度的爬蟲終于出現(xiàn)了，果不其然，百度的蟲子首先檢查的非主流大女子網(wǎng)目錄下的robot.txt文件，這個(gè)是不存在的，那就是說俺的網(wǎng)站是允許百度的爬蟲來的，不過也是廢話，在國內(nèi)，誰會(huì)主動(dòng)的躲開百度呢？除非他精神有問題吧。
2007-08-07 08:53:12 GET /robots.txt - 80 - 222.222.126.113 Baiduspider+(+) - - 404 0 64
在接下來的一個(gè)小時(shí)內(nèi)，百度的爬蟲掃描了幾乎所有的頁面（本身也不多，就添加了３０多篇），而且百度的爬蟲幾乎把所有的圖片，包括文章內(nèi)上傳的和網(wǎng)頁上的小圖片，它都爬了一遍。
我現(xiàn)在有個(gè)感覺，保持百度爬蟲的活躍度，要從這個(gè)時(shí)刻開始：發(fā)現(xiàn)百度的爬蟲來了以后，每次新來過以后你要添加幾篇文章，讓爬蟲每次來都有新東西可吃，這樣子他會(huì)非常勤快的。我相信，他每小時(shí)都回來的。
不知道非主流大女子網(wǎng)能否實(shí)現(xiàn)我的預(yù)期效果，我要測試，我會(huì)在站長網(wǎng)隨時(shí)更新我的觀察結(jié)果。
謝謝大家。
恭喜你：今天是2007.8.08.你看到這條消息的時(shí)候，立即進(jìn)去搶寶論壇登記信息，搶屬于你的￥50.00 尋寶贊助由 中華賞金人才網(wǎng)贊助 請(qǐng)各位未搶到寶的站長，關(guān)注中華賞金人才網(wǎng)（)還有更多的獎(jiǎng)勵(lì)機(jī)會(huì)。
以下是百度的爬蟲對(duì)非主流大女子網(wǎng)掃描的記錄片段
2007-08-07 09:04:55 GET /images/banner.gif - 80 - 222.222.126.113 Mozilla/4.0+(compatible;+MSIE+6.0;+Windows+NT+5.1;+SV1) AJSTAT_ok_pages=1;+AJSTAT_ok_times=1 304 0 0
2007-08-07 09:04:55 GET /images/bea_03.gif - 80 - 222.222.126.113 Mozilla/4.0+(compatible;+MSIE+6.0;+Windows+NT+5.1;+SV1) AJSTAT_ok_pages=1;+AJSTAT_ok_times=1
申請(qǐng)創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！
