【網站優化】網站優化中應對蜘蛛抓取基本策略

              作 者:知了網絡   發表時間:2022-05-02 22:49:50   瀏覽量:3749

              導  讀:  在網站優化中蜘蛛實際抓取網頁的過程中,因為網頁內容的復雜性(文本、Flash、 視頻等)和技術實現的多樣性(純靜態、動態加載等),為了更高效地利用蛛蛛資源,搜索引擎公司會置頂不同的抓取策略,作為

                在網站優化中蜘蛛實際抓取網頁的過程中,因為網頁內容的復雜性(文本、Flash、 視頻等)和技術實現的多樣性(純靜態、動態加載等),為了更高效地利用蛛蛛資源,搜索引擎公司會置頂不同的抓取策略,作為SEO人員,可以參考搜素引擎公司對抓取策略的描述,采用最大化的SEO方法。

                作為國內最大的搜索引擎公司,百度在它的官方文檔中是如下這樣描述抓取策略的。

                互聯網資源具有龐大的數量級,這就要求抓取系統盡可能高效地利用帶寬,在有限的硬件和帶寬資源下盡可能多地抓取到有價值的資源。這就造成了另一個問題,耗費被抓取網站的帶寬造成訪問壓力,如果程度過大,將直接影響被抓取網站的正常用戶訪問行為。因此,在抓取過程中要進行一定的抓取壓力控制,實現既不影響網站的正常用戶訪問,又能盡量多地抓取到有價值資源的目標。

                通常情況下,采用的最基本的方法是基于IP的壓力控制。這是因為如果基于城名,可能存在一個域名對多個IP (很多大網站)或多個城名對應同一個IP (小網站共享IP )的問題。實際工作中,往往根據IP及域名的多種條件進行壓力控制。同時,站長平臺也推出了壓力反饋工具,站長可以人工調配對自己網站的抓取壓力,這時Baiduspider將優先按照站長的要求進行抓取壓力控制。

                對同一個站點的抓取速度控制一般分為兩類:其一 ,一段時間內的抓取頻率;其二,一段時間內的抓取流量。同一站點不同的時間抓取速度也會不同,例如,夜深人靜的時候抓取的可能就會快一些。 也視具體站點類型而定,主要思想是錯開正常用戶訪問高峰,不斷地調整。對于不同站點,也需要不同的抓取速度。

                上面的描述很簡潔,但是從這個描述里面,我們可以得到啟發,蜘蛛抓取頁面是有壓力控制的,對于特別大型的網站來說,不可能指望蜘蛛爬行到一個網站后,會一次性抓取到所有的網站,因此,作為SEO人員來說,盡量減少蜘蛛的壓力,對網站的網頁收錄是有好處的。一般來說,減輕蜘蛛壓力有以下兩種方法。

                方法一:采用Nofollow (反垃圾鏈接的標簽)的策略,將蜘蛛引導到最有價值的頁面。Nofollow標簽用來告訴蜘蛛,如果遇到帶著此標簽的頁面或者鏈接,就不要繼續追蹤了,這樣蜘蛛就可以爬行到其他更加有用的頁面。

                方法二:在Sitetap中定義不同頁面的權重和更新頻率,就是在網站的Sitemap文件中,定義好每個鏈接的權重和更新的頻率,這樣,蜘蛛在爬行到這些鏈接和頁面的時候,會識別哪些頁面比較重要, 可以重點抓取,哪些頁面更新比較頻繁,需要蜘蛛分配更多的注意力。

                以上就是《網站優化中應對蜘蛛抓取基本策略》的全部內容,僅供站長朋友們互動交流學習,SEO優化是一個需要堅持的過程,希望大家一起共同進步。


              本文標簽:  seoSEO優化網站優化

              搶占搜索先機 · 助力營銷獲客 · 讓品牌深入人心

              獲取網絡營銷方案,共贏搜索營銷機遇

              立即咨詢 業務合作 會員登錄

              ? 2013-2021 深圳市知了網絡信息技術有限公司  版權所有!  備案號:粵ICP備17052943號-2   軟著登記號:2021SR1202019 / 2021SR1200265 / 2021SR1200266   技術支持:知了網絡  

              友情鏈接: 黑酷SEO 網站優化 香港服務器 seo 商標注冊 電銷卡 SEO 網絡推廣 鋁材報價 網站建設 商標注冊 商標查詢 深圳網站建設 直播帶貨 成都網絡推廣 網站建設 谷歌SEO

              城市分站站群: 北京 上海 廣州 深圳 東莞 佛山 中山 珠海 成都 重慶 滄州 鄭州 武漢 合肥 長沙 南昌 西安 濟南 煙臺 蘇州 常州 昆明 沈陽 大連 廈門 聊城 杭州
              石家莊 保定 青島 天津 邢臺 淄博 濟寧 邯鄲 江門 濰坊 惠州 南京 泉州 福州 溫州 寧波 無錫 徐州 鹽城 安慶 菏澤 滁州 洛陽 蘭州 南寧 嘉興 更多分站 >>

              咨詢熱線
              咨詢熱線 咨詢熱線  4008 799 335
              業務直線
              業務直線 業務直線  135 1048 0364
              工具條

              掃一掃,加微信

              返回頂部
              返回頂部 返回頂部