做網站也做了這么長時間，站長們能遇到的事情都遇到過了，最常見無非就是網站被降權，網站快照不更新網站主要關鍵字排名下降，，外鏈數量減少等等，這些問題往往就是由于網站初期準備工作沒準備好就上線的結果，導致后期更換網站板塊或者頻繁修改其它蜘蛛經常爬行的文件所引起的，今天小編和大家探討一下修改robots文件后對網站的影響及一些搜索引擎的反應。
第一次修改robots文件后百度百度谷歌反應
快照更新了，發現了是4天一周期，每天流量很大，但是用戶都在我屏蔽的/user/文件里，蜘蛛無法抓取，最大的流量就是用戶中心，我就試著把robots文件修改下，讓蜘蛛可以訪問那個文件。 以前谷歌收錄12萬，記得很深刻的一次是修改robots.txt文件后，谷歌當時是收錄已經超過12萬，第二天沒事繼續以每天1000多收錄的速度抓取，再看百度這方面，也沒事。但不幸的事情還是發生了... 快照更新后再一次的site:域名發現，谷歌收錄6萬(原來是12萬多)，百度這方面也是變了，原來的3萬5千600到更新快照后的4萬9千整的收錄，當時修改的是把robots文件寫入屏蔽團購的頁面(那個是調用的)，當時感覺不知道是什么原因導致谷歌收錄大減，百度收錄大增的，但繼續測試，才發現致命的原因...
二次修改robots文件惹怒蜘蛛，谷歌直接K站
剛開始站不是建立很久總是喜歡修改這修改那的，把首頁都動起來了，我的站的保安robots也是被我“裝飾”得極其豐富，事情發生在年底，把robots文件屏蔽了百度谷歌搜搜以外的蜘蛛(當時搜狗流氓抓取得導致網站流量不夠)，修改后的第三天，從谷歌收錄本一路下跌的淘寶廣東站直到那天的6萬多到1200條收錄，看了心都當時涼了一截了，至今谷歌都不大抓取網站了，收錄在1000上下徘徊。
小編還有一個秒收的博客站也是因為修改了robots文件，谷歌直接K站，當時那個站修改robots文件太過頻繁，導致適得其反的效果，百度也持續一周沒更新快照，蜘蛛對robots文件極度敏感，這是新站不能碰的優化地雷區。
建站初期應當全面設置好robots文件，防止后期更改
后期對robots的修改是對各大搜索引擎的一種不友好的表現，特別是谷歌，隨著引擎的人性化，搜索引擎也是有“脾氣”的，當在你的網站產生了一種習慣時，你網站的稍微改動很有可能會引起搜索引擎的反感，就像修改了robots一樣，robots的修改不僅對內容的收錄有影響，對網站的權重也有不可忽視的影響。修改robots會引起網站快照不更新，收錄減少，外鏈數目降低，網站主要關鍵字下降甚至前幾百名找不到關鍵字排名。
蜘蛛來你站首先就是看網站根目錄的robots文件，蜘蛛的時間也是很緊迫的，像谷歌這樣的全球搜索引擎公司每天要去成千上萬的站點抓取網頁內容，頻繁地修改robots文件就是修改了你網站與蜘蛛之間的協議，為了網站安全，一般的蜘蛛都會遵守robots協議，根據你制定的規則來抓取允許的網頁文件及內容。
經過小編幾個月的實戰結果我建議：robots文件是在建站初期應該制定好，不要在網站收錄很多或權重上來了的時候想修改就去修改，除非你不在乎從搜索引擎來的那些流量。
開店省錢網葉蔚卿原創文章 http://www.yeweiqing.com/ 本文版權歸葉蔚卿@開店省錢網所有，歡迎轉載，轉載請注明作者和出處。謝謝
推薦閱讀
A5的搜索seo欄目里，一天基本要審核出30篇左右的seo相關的文章。這些文章的實質內容，很多都是重復的。只不過是一個相同的內容或者是被細分了，或者是被另外的人重新原創了，或者是被與其相關的內容對比了。雖然重復>>>詳細閱讀
本文標題：實戰分析：修改robots文件百度谷歌對網站的反應
地址：http://www.xglongwei.com/a/34/20120226/34519.html
網友點評
精彩導讀
科技快報
品牌展示