每小我都有自己的隱私，網(wǎng)站也是這樣，網(wǎng)站中也有不但愿被蜘蛛看到的工具，好比會(huì)員密碼等等，而想要隱瞞住這部門(mén)隱私，一般情形下站長(zhǎng)城市在第一時(shí)刻想到Robots.txt。沒(méi)錯(cuò)，Robots.txt文件的使用簡(jiǎn)直可以給蜘蛛指明道路，告訴它什么處所該去，什么處所不應(yīng)去，也恰是因?yàn)檫@點(diǎn)原因，良多站長(zhǎng)都熱衷于用Robots.txt，可是巨匠真的會(huì)用Robots.txt嗎?對(duì)于它的編寫(xiě)軌則巨匠又知道若干好多呢?本人不才，但對(duì)于這方面總歸有點(diǎn)經(jīng)驗(yàn)，在這分享出來(lái)，讓巨匠有個(gè)參考，當(dāng)然老鳥(niǎo)可以飛過(guò)了。
Robots.txt編寫(xiě)的挨次問(wèn)題
舉個(gè)最簡(jiǎn)單的例子，如不美觀你想讓自己a文件中的b.html被抓取，那么你怎么編寫(xiě)呢?是
Allow:/a/b.html Disallow:/a/ 仍是Disallow:/a/ Allow:/a/b.html這樣？
在Robots.txt編寫(xiě)軌則中，它并不執(zhí)行樹(shù)狀剖析結(jié)構(gòu)，換句話說(shuō)編寫(xiě)時(shí)并不應(yīng)該把母文件夾放在最前，而是遵循一種就近原則，如不美觀我們把母文件夾放在前面，蜘蛛會(huì)認(rèn)為這個(gè)路子被封鎖了，不能訪謁，而我們最終的目的卻是訪謁，這樣一來(lái)，方針和現(xiàn)實(shí)就年夜相逕庭了。
Robots.txt編寫(xiě)的開(kāi)放性問(wèn)題
良多站長(zhǎng)，尤其是新手站長(zhǎng)對(duì)于Robots.txt的理解過(guò)清客面，他們認(rèn)為既然Robots.txt可以劃定蜘蛛的訪謁路子，那我們何須不開(kāi)放，把所有文件都設(shè)置成可訪謁，這樣一來(lái)網(wǎng)站的收錄量不久當(dāng)即上升了，其實(shí)問(wèn)題遠(yuǎn)遠(yuǎn)沒(méi)有我們想象的簡(jiǎn)單，巨匠都知道網(wǎng)站一一些固定的文件是不必傳送給搜索引擎訪謁的，如不美觀我們把網(wǎng)站“全方位開(kāi)放”，后不美觀就是加年夜網(wǎng)站處事器負(fù)載，降低訪謁速度，減緩蜘蛛的爬行率，對(duì)于網(wǎng)站收錄沒(méi)有一點(diǎn)用處，所以對(duì)于固定不需要訪謁的文件，我們直接Disallow失蹤就可以了。
一般情形下，網(wǎng)站不需要訪謁的文件有后臺(tái)打點(diǎn)文件、軌范劇本、附件、數(shù)據(jù)庫(kù)文件、等等。
Robots.txt編寫(xiě)的一再性問(wèn)題
我們天天都在寫(xiě)著原創(chuàng)內(nèi)容，然后更新到自己的網(wǎng)站中，巨匠想過(guò)沒(méi)有我們這樣做的目的是什么?當(dāng)然是為了討搜索引擎的好，巨匠都知道搜索引擎很垂青原創(chuàng)內(nèi)容，對(duì)于原創(chuàng)內(nèi)容的收錄很快，相反，如不美觀你的網(wǎng)站中充溢著年夜量的復(fù)制內(nèi)容，那么我只能遺憾的告訴你，網(wǎng)站的前途一片渺茫。不外這也年夜另一個(gè)方面告訴我們要積極的操作robots文件禁止一再頁(yè)面的代碼，降低頁(yè)面的一再度，可是在編寫(xiě)robots文件時(shí)必然要記得
在User-agent后插手某個(gè)搜索引擎，例如User-agent:BaiduSpider Disallow:/，如不美觀沒(méi)有插手，編寫(xiě)成User-agent: * Disallow: /形式，則是對(duì)網(wǎng)站所有內(nèi)容的“屏障”。
Robots.txt編寫(xiě)的meta問(wèn)題
在 Robots.txt編寫(xiě)軌則中，有一個(gè)取最強(qiáng)參數(shù)法例，而且如不美觀網(wǎng)站以及頁(yè)面標(biāo)簽上同時(shí)呈現(xiàn)robots.txt文件和meta標(biāo)簽，那么搜索引擎就會(huì)年夜命兩個(gè)軌則中較為嚴(yán)酷的一個(gè)，即禁止搜索引擎對(duì)于某個(gè)頁(yè)面的索引，當(dāng)然如不美觀robots.txt文件和meta標(biāo)簽不是呈現(xiàn)一個(gè)文件中，那么搜索引擎就會(huì)遵循就近原則，就會(huì)索引meta標(biāo)簽前的所有文件。
Robots.txt編寫(xiě)的細(xì)節(jié)性問(wèn)題
1.反斜杠的插入
仍是以Disallow:/a/b.html為例，在編寫(xiě)該語(yǔ)句的時(shí)辰，如不美觀健忘插手了反斜杠，則是對(duì)全數(shù)內(nèi)容進(jìn)行開(kāi)放，這與編心暌癸句的設(shè)法相悖，因?yàn)榉葱备艿囊饬x是根目錄。
2.空格的呈現(xiàn)
空格的呈現(xiàn)就很好理解了，因?yàn)樗阉饕鎸?duì)于這個(gè)非凡符號(hào)的呈現(xiàn)并不識(shí)別，它的插手只會(huì)使語(yǔ)句失蹤饒暌功有的效用。
此刻巨匠理解我為什么說(shuō)有人知道robots.txt文件，可是少有人知道該怎么正確編寫(xiě)了robots.txt文件了吧。其實(shí)robots.txt文件中還會(huì)其他的細(xì)節(jié)以及注重問(wèn)題，在往后的時(shí)刻里我會(huì)繼續(xù)和說(shuō)一下robots.txt文件編寫(xiě)中涉及到的目錄巨細(xì)、user-agent的數(shù)目等問(wèn)題。
推薦閱讀 <b>流量來(lái)源多樣化是成功SEO的必要條件</b> 比來(lái)我在GA帳戶里建樹(shù)了一些自界說(shuō)過(guò)濾器以期圖解seomoz在曩昔12個(gè)月的流量： seomoz曩昔12個(gè)月的流量來(lái)歷分布圖 以下按照各流量來(lái)歷占總流量百分比排序： * 搜索流量(谷歌，雅虎，必應(yīng)，百度等)：36.0% * 直接流量(>>>詳細(xì)閱讀 本文標(biāo)題：Robots.txt編寫(xiě)似雷區(qū) 稍有不慎“毒害甚深”（一） 地址：http://www.xglongwei.com/a/34/20120406/48691.html
網(wǎng)友點(diǎn)評(píng)
精彩導(dǎo)讀
科技快報(bào)
品牌展示