域名預(yù)訂/競(jìng)價(jià)，好“米”不錯(cuò)過

由于雅虎搜索對(duì)于網(wǎng)絡(luò)抓取采取大量系統(tǒng)，因此，我們的網(wǎng)絡(luò)服務(wù)器會(huì)從不同的YST(雅虎搜索技術(shù))抓取程序的客戶端IP地址登錄請(qǐng)求。不同的抓取程序系統(tǒng)彼此配合，來限制任何來自單一網(wǎng)絡(luò)服務(wù)器的活動(dòng)。所謂單一網(wǎng)絡(luò)服務(wù)器，是由IP地址判斷的。因此，如果我們的服務(wù)器主機(jī)擁有多個(gè)IP，它的活動(dòng)則會(huì)處于更高的級(jí)別。

YST有一個(gè)特定的擴(kuò)展名，在我們的服務(wù)器根目錄下的robots.txt里可以應(yīng)用，通過它可以對(duì)雅虎搜索的抓取程序設(shè)定一個(gè)較低的抓取請(qǐng)求頻率。可以在robots.txt里加入Crawl-delay:xx的指示，其中，“xx”是指在crawler程序兩次進(jìn)入站點(diǎn)時(shí)，以秒為單位的最低延時(shí)。如果crawler頻率對(duì)我們的服務(wù)器是一個(gè)負(fù)擔(dān)，我們可以將這個(gè)延時(shí)設(shè)定為任何恰當(dāng)?shù)臄?shù)字，例如50或200。

例如：我們想要設(shè)定一個(gè)5秒的延時(shí)，可以在robots.txt里加入以下語句 ：

User-agent: Slurp

Crawl-delay: 5

也可以設(shè)定更長時(shí)間的延時(shí)，在此網(wǎng)智成不再贅述。

申請(qǐng)創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！