網站的整體流量主要取決于網站頁面的整體收錄、網站頁面的整體排名以及網站頁面的整體點擊率，這三個因素也是有先后順序的，排名排一位的就是整體收錄了，那么整體收錄又是由哪些決定的呢?首先要想被收錄，肯定頁面要被搜索引擎抓取吧，沒有抓取，也就不可能有收錄。所以我們在優化收錄的時候，一定要想辦法讓搜索引擎的爬蟲程序去盡量抓取更多的頁面，那么對于搜索引擎來說，它的源也是有限的，而且由于各種限制，它也只能抓取互聯網上所有網頁的一部分，而在抓取的這些頁面中，它索引的也只是一部分，搜索引擎的蜘蛛程序會優先抓取哪些頁面呢?
1、權威性高、頁面質量高的網站
對于一些權威性比較高的網站，搜索引擎的爬蟲程序都是經常抓取的，因為權威性高的網站被搜索引擎認為是可靠的來源，在排名的時候，也會優先排名這些網頁的，它之所以這樣做，也是出于對搜索引擎用戶的考慮，如果排名在前邊的網站都是一些垃圾網站的頁面，用戶就會覺得這個搜索引擎找不到你要的結果，下次可能就不會來這里了，所以權威性的可靠站點，搜索引擎的爬蟲是比較活躍的，不但停留的時間長，而且派出的蜘蛛的數量也是很多的，因此培養網站的權重是非常重要的，長期提供高質量的頁面，堅持把網站權重做上去。
2、更新比較頻繁的站比較受搜索引擎的青萊
搜索引擎對于一些更新比較頻繁的網站，也是經常去爬行的，其實搜索引擎對于內容的需求是非常渴求的，它想盡可能的抓取更多實用的內容以提供給用戶，如果你的站點經常更新，搜索引擎也會經常來訪問的，它對于新鮮網頁是比較喜歡的，我們要培養搜索引擎來抓取的習慣，經常更新，它就會經常來訪，相反如果你的更新頻率慢慢的在下降，那么它來的頻率也會下降，因為它的資源是有限的，每次來都抓取不到新網頁，下次就會隔很長時間再來抓取。
3、從首頁到頁面的點擊距離近的優先被抓取
這個主要是從站內來說的，在同一個網站內部，搜索引擎一般是從首頁開始抓取的，首頁上的鏈接基本是被優先抓取的，而且由于首頁效應的影響，在首頁有鏈接的網頁基本排名也會比其他網頁會好一些，所以你比較重要的網頁要盡量放在首頁，或者放在從首頁算起，比較少次數就能點擊到的地方，所以大家一般主要網站的目錄結構不要超過三層，也就是出于這個考慮，而且一些比較深層次的網頁，要適當的做一些外鏈，就是因為這些深層次的網頁不容易被搜索引擎抓取。
4、導入鏈接比較多的頁面被優先抓取
搜索引擎是順著互聯網上URL鏈接來爬行抓取網頁的，要想被抓取，你的頁面URL鏈接需要出現在某個地方，當你出現在網站權重比較高的網站上邊時，就會被容易發現從而抓取，而且如果你的導入鏈接越多，那么被抓取的機會就會更多，在排名方面，你的導入鏈接越多，對于排名也是很有幫助的。所以我們在做外鏈的時候，一定要做得廣泛一些，盡量給每一個重要的頁面都做些外鏈，而不是只做首頁的外鏈。本文由www.war3ba.cn站長供稿，轉載請注明出處，謝謝!
推薦閱讀
文庫網站作為seo從業者都垂涎欲滴的一塊大肥肉，是seoer競相追逐的一項外鏈資源，由于是網友們分享的一些資源，我們很容易找到并下載自己所需要的一些資料，這也是seoer選擇用文庫推廣網站的原因吧。最近一段時間在文>>>詳細閱讀
本文標題：搜索引擎爬蟲優先抓取哪些網頁
地址：http://www.xglongwei.com/a/34/20120222/33180.html
網友點評
精彩導讀
科技快報
品牌展示