對于每一個優化人員來說都需要具備必然的剖析能力,剖析用戶的搜索行為、剖析站點的數據流量等等。只有合理的剖析好這一些數據才可以更好的擬定我們的優化策略。其中在我們的站內剖析中不成缺傲幽一項就是剖析搜索引擎蜘蛛的抓取爬行行為。搜索引擎蜘蛛是我們肉眼所不能看到的,我們要若何剖析它的爬行行為呢?我們可以經由過水平析我們站點的IIS日志。
一:那么年夜剖析IIS日志我們可以年夜我們的站點上獲得什么信息
1:在外鏈的培植中我們知道網站上的每一個外鏈都是搜索引擎蜘蛛進入我們網站的進口,對此我們可以不雅察看日志上的蜘蛛的拜訪情形,就可以年夜另一角度查看我們的外鏈是否能夠更好的吸引到蜘蛛,以此擬定一個加倍合理的外鏈培植策略。
2:站點的空間問題是良多站長棘手的問題之一,站點打不開很可能使我們的站點一夜回到解放前。那么對于我們的站點來說若何最快最早的體味發現問題呢。對此同樣可以經由過水平析該日志上的搜索蜘蛛爬行情形,因為站點空間除了侍趵硎題的第一紡暌鉤就是搜索引擎蜘蛛。
3:經由過程該日志我們也可以剖析蜘蛛對于頁面內容的爬行情形。體味搜索引擎加倍喜歡我們站點上的什么內容。我們可以按照這些數據在內容上的結構或者微調,是搜索引擎加倍的愛上我們的內容。
二:若何獲得我們站點的IIS日志及IIS日志的設置
首先,我們的站點空間需沖要持站點的日志下載。對于這點我們在采辦站點空間的時辰可以先與空間商進行咨詢,是否撐持該功能,如不美觀撐持的話,一般日志文件置于weblog文件中,我們可以直接FTP到當地。對于IIS日志的記實設置,筆者認為一般如不美觀站點的內容較多,結構較復雜的可以設置成一小時生成一次,而內容較少的話可以設置成一天更新一次,這樣可以避免我們的IIS日志呈現信文件過年夜的問題。
三:若何剖析我們站點的IIS日志
1:對IIS日志文件的拆分剖析
我們使用FTP把日志下載當地后,可以經由過程記事本打開文件,同時搜索首要的搜索引擎蜘蛛名稱,其中的百度的蜘蛛名為BaiduSpider、谷歌的蜘蛛名為Googlebot 。如下圖所示

百度蜘蛛

谷歌蜘蛛
我們可以分段進行剖析
2012-04-13 06:47:10 是指蜘蛛爬行該頁面的具體日期和時刻
116.205.156.37 這個地址是指我們站點地址的IP地址
GET 代表事務,跟在這個參數后面的是指蜘蛛所爬行的頁面,而“/”代表的是站點的主頁。
220.125.51.130 這一IP是指搜索引擎蜘蛛的處事器的IP地址。當然這個IP地址并不必然就是真正的搜索引擎蜘蛛處事器的地址,因為有可能是有的酬報了采集你的站點上的內容,而假充搜索引擎蜘蛛來爬行你的站點,抓取你的內容。這種情形雖然沒有什么年夜的影響,可是如不美觀頻率高的話將會耗損站點的資本。那么我們若何分辯呢?筆者分先給自己的一小體例。我們可以打開我們電腦的節制呼吁窗口。然后打入nslookup+IP地址的呼吁。如不美觀是真的蜘蛛會有自己的蜘蛛處事器。我們就可以對假蜘蛛的IP進行屏障措置。如下圖所示

真蜘蛛

假蜘蛛
2:上文我們提到GET參數后跟的是搜索引擎蜘蛛爬行的頁面,我們可以按照這一信息剖析搜索引蜘蛛對我們站點上什么內容更青睞,然后對我們的站點內容做響應的微調。
3:我們經由過程日志可以發現蜘蛛對于我們站點頁面的爬行抓取是按照頁面的權重的遞減分品級的,一般挨次為主頁、目錄頁和內容頁。
剖析是我們優化工作一一項必不成少的工作,而我們身邊可操作的數據也良多。合理的操作好這一些數據相信會為我們的優化助力不少的。本文由淘寶皇冠店http://www.jgdq.org 獨家供稿,轉載請留鏈接,感謝!