虛擬主機(jī)怎樣阻止蜘蛛訪問？有什么方法？

虛擬主機(jī)怎樣阻止蜘蛛訪問？有什么方法？虛擬主機(jī)組織蜘蛛訪問，可以使用robots協(xié)議來實(shí)現(xiàn)。robots是網(wǎng)站跟爬蟲間的協(xié)議，用簡單直接的txt格式文本方式告訴對(duì)應(yīng)的爬蟲被允許的權(quán)限，也就是說robots.txt是搜索引擎中訪問網(wǎng)站的時(shí)候要查看的第一個(gè)文件。下面
聚名網(wǎng)
小編就為大家介紹一下虛擬主機(jī)阻止蜘蛛訪問方法。


虛擬主機(jī)怎樣阻止蜘蛛訪問？有什么方法？（推薦閱讀：
虛擬主機(jī)怎么看ip？一個(gè)虛擬主機(jī)只有一個(gè)ip嗎？
）

我們?cè)诠芾硖摂M主機(jī)時(shí)，有些情況下，不希望搜索引擎蜘蛛來訪問我們的內(nèi)容，這時(shí)，我們需要編寫一個(gè)爬蟲協(xié)議，禁止搜索引擎來抓取數(shù)據(jù)?；蛘呤墙共糠炙阉饕媾老x來訪，而允許其他搜索引擎。都是可以通過robots文件實(shí)現(xiàn)。

當(dāng)一個(gè)搜索蜘蛛訪問一個(gè)站點(diǎn)時(shí)，它會(huì)首先檢查該站點(diǎn)根目錄下是否存在robots.txt，如果存在，搜索機(jī)器人就會(huì)按照該文件中的內(nèi)容來確定訪問的范圍;如果該文件不存在，所有的搜索蜘蛛將能夠訪問網(wǎng)站上所有沒有被口令保護(hù)的頁面。

虛擬主機(jī)阻止蜘蛛訪問，比如禁止全部搜索引擎來訪時(shí)，可以如下編寫：

User-agent: *

Disallow: /

虛擬主機(jī)阻止某個(gè)蜘蛛訪問時(shí)，可以如下編寫：

User-agent: xxxspider

Disallow:/

虛擬主機(jī)阻止某個(gè)目錄被蜘蛛訪問時(shí)，可以如下編寫：

User-agent: *

Disallow: /admin/

即表示/admin/目錄，所有搜索引擎都不得來訪問。

以上是關(guān)于
虛擬主機(jī)
的介紹，如需要更多的虛擬主機(jī)小知識(shí)，詳情請(qǐng)關(guān)注
聚名網(wǎng)
虛擬主機(jī)
。