當(dāng)前位置:首頁 >  站長 >  搜索優(yōu)化 >  正文

新浪博客更新robot文件 “屏蔽門”誤會消除

 2010-08-20 10:07  來源:   我來投稿 撤稿糾錯(cuò)

  域名預(yù)訂/競價(jià),好“米”不錯(cuò)過

前幾日有文章稱由于眾多站長濫發(fā)信息做外鏈,導(dǎo)致垃圾博文充斥新浪博客,因此新浪博客開始屏蔽百度蜘蛛,有網(wǎng)友發(fā)現(xiàn)大部分新浪博客快照在百度中已經(jīng)沒有更新,通過查看新浪robots文件()發(fā)現(xiàn)其內(nèi)容為:

#####################################################

# SINA BLOG 禁止搜索引擎收錄配置文件

# 文件: ~/robots.txt

# 編寫: 阿狼

# 日期: 2005-03-24

#####################################################

#開放百度的搜索引擎的User-Agent代碼,*表示所有###########

User-agent: Baiduspider

#限制不能搜索的目錄,Disallow: 為空時(shí)開放所有目錄####

Disallow: /admin/

Disallow: /include/

Disallow: /html/

Disallow: /queue/

Disallow: /config/

#限制的搜索引擎的User-Agent代碼,*表示所有###########

User-agent: *

#臨時(shí)限制對所有目錄的禁止抓取

Disallow: /

由于該文件中有一句:User-agent: Baiduspider 由此很多站長判定,新浪已經(jīng)徹底屏蔽百度蜘蛛,今后靠養(yǎng)新浪博客做外鏈的方法已經(jīng)不可行了。

看到這則消息后,我感覺有幾個(gè)疑點(diǎn):

1、新浪作為世界知名的中文門戶網(wǎng)站,其數(shù)據(jù)處理能力,違規(guī)內(nèi)容管理方法,都足以應(yīng)付目前的垃圾信息,而屏蔽百度蜘蛛會導(dǎo)致流量大減,這與新浪的發(fā)展戰(zhàn)略不符。

2、該robots文件的日期為:2005-03-24,似乎是新浪博客剛上線的時(shí)候建立的文件,如果近期新浪的網(wǎng)管修改過robots的話,日期應(yīng)該更改為新的日期。

3、熟悉robots寫法的朋友都知道,該robots.txt文件中僅僅是是設(shè)置了禁止百度蜘蛛訪問后臺文件夾,并沒有其他限制。

基于以上幾點(diǎn)疑慮,我感覺文章中的觀點(diǎn)有失誤的地方,事情應(yīng)該沒有那么糟糕,果然在8月18日有網(wǎng)友發(fā)現(xiàn)新浪博客悄悄更換了robots.txt文件,內(nèi)容改為:

#開放百度的搜索引擎的User-Agent代碼

User-agent: Baiduspider

#限制不能搜索的目錄,Disallow: 為空時(shí)開放所有目錄####

Disallow: /admin/

Disallow: /include/

Disallow: /html/

Disallow: /queue/

Disallow: /config/

#開放bing.com的搜索引擎的User-Agent代碼

User-agent: msnbot

#限制不能搜索的目錄,Disallow: 為空時(shí)開放所有目錄####

Disallow: /admin/

Disallow: /include/

Disallow: /html/

Disallow: /queue/

Disallow: /config/

User-agent: bing

#限制不能搜索的目錄,Disallow: 為空時(shí)開放所有目錄####

Disallow: /admin/

Disallow: /include/

Disallow: /html/

Disallow: /queue/

Disallow: /config/

#限制的搜索引擎的User-Agent代碼,*表示所有###########

User-agent: *

#臨時(shí)限制對所有目錄的禁止抓取

Disallow: /

#限制不能搜索的目錄,Disallow: 為空時(shí)開放所有目錄####

##Disallow: /admin/

##Disallow: /include/

##Disallow: /html/

##Disallow: /queue/

##Disallow: /config/

#開放搜索的目錄有####################################

# /

# /advice/

# /help/

# /lm/

# /main/

# /myblog/

可以看出新修改的robots.txt文件中的寫法已經(jīng)完全支持各類主流搜索引擎抓取博客內(nèi)容,一個(gè)開放的新浪博客又回來了!

針對前幾日出現(xiàn)的情況,個(gè)人猜測可能是由于以下幾種原因:

1、前幾日大部分新浪博客被K,可能是由于百度調(diào)整算法所導(dǎo)致的。

2、原來的robots.txt文件很可能是新浪博客剛上線得到時(shí)候建立的,由于當(dāng)時(shí)google還沒有正式進(jìn)入中國,中文搜索還是百度一家獨(dú)大,因此設(shè)置的內(nèi)容主要針對百度,此后該文件一直沒有修改,直到最近被網(wǎng)友發(fā)現(xiàn),新浪工作人員才想起重新修改。

雖然這次”屏蔽門“只是一場虛驚,但是也給各位站長敲響了警鐘,不要一味的盲目濫發(fā)垃圾信息,及污染了互聯(lián)網(wǎng)環(huán)境又耗費(fèi)了網(wǎng)絡(luò)服務(wù)商的資源,小心竭澤而漁!培養(yǎng)10個(gè)高質(zhì)量的博客比養(yǎng)100個(gè)垃圾博客更有效!

以上是我的一點(diǎn)見解,希望有朋友轉(zhuǎn)載的時(shí)候保留我的一個(gè)鏈接 多一份保留 多一倍運(yùn)氣,多一份口碑,多一份成功,謝謝!

申請創(chuàng)業(yè)報(bào)道,分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處,共同探討創(chuàng)業(yè)新機(jī)遇!

相關(guān)文章

  • 博客多久更新一次 探索網(wǎng)站更新背后的秘密

    文章質(zhì)量決定更新頻率,更新是為了滿足搜索引擎,更是為了滿足用戶需求,如果不能保證內(nèi)容質(zhì)量,不建議湊數(shù)更新,這樣反而損害了用戶體驗(yàn)。

    標(biāo)簽:
    博客更新
  • 給博主的博客文章更新頻率建議

    一旦你決定開始一個(gè)博客,你需要為博客確定你的目標(biāo)是什么。如果你想發(fā)展你的博客,吸引新讀者(并保持他們一直訪問),你就需要花一些心思到您的博客,采用考慮一下什么樣的發(fā)帖頻率。博客內(nèi)容是關(guān)鍵在博客世界里,常用的一句話是內(nèi)容為王。這就意味著你的博客,最

    標(biāo)簽:
    博客更新
  • 新浪博客秒收秒更新快照是如何煉成的

    都說獨(dú)立域名權(quán)重高,今天易科seo就要用自己的新浪博客跟大家比劃比劃,鄙人的新浪博客目前已經(jīng)可以達(dá)到秒收和秒更新快照。廢話不多說有圖為證:這里要說的是我的博客并非每天更新,大家可以到我的博客看看文章更新的日期有時(shí)候連續(xù)大半個(gè)月也不帶更新的,但是一旦我

    標(biāo)簽:
    博客更新
  • 站長博客應(yīng)該更新什么樣的文章

    作為站長,每個(gè)人手里都有一個(gè)個(gè)人博客,無論是平臺博客還是獨(dú)立博客,當(dāng)初建立的個(gè)人博客站長都有一個(gè)想法,想通過個(gè)人博客來建立自己的品牌,擴(kuò)大影響力,從而認(rèn)識更多志同道合的朋友,同時(shí)也希望利用個(gè)人博客來獲得額外收入,例如盧松松這樣。但是理想是美好的,現(xiàn)

    標(biāo)簽:
    博客更新
  • 怎樣把握博客更新的時(shí)間?

    很少有人每天都有精力更新博客,因?yàn)楹苌儆锌坎┛宛B(yǎng)家糊口、發(fā)家致富的人——博客只是我們的副業(yè)。

    標(biāo)簽:
    博客更新

熱門排行

信息推薦