【SEO優化】如何避免搜索引擎蜘蛛抓取重復頁面的方法

              作 者:知了網絡   發表時間:2022-01-09 18:58:47   瀏覽量:7412

              導  讀:  搜索引擎面對的是互聯網萬億網頁,如何高效抓取這么多網頁?這便是網絡爬蟲的工作。我們也叫它網絡蜘蛛,做為站長,我們每天都在與它親密接觸。做SEO要充分了解SEO的抓取情況,同時要做好哪些頁面應該被抓

                搜索引擎面對的是互聯網萬億網頁,如何高效抓取這么多網頁?這便是網絡爬蟲的工作。我們也叫它網絡蜘蛛,做為站長,我們每天都在與它親密接觸。做SEO要充分了解SEO的抓取情況,同時要做好哪些頁面應該被抓取,和哪些頁面不希望被抓取的篩選。例如,今天需要和大家講的,如何避免搜索引擎蜘蛛抓取重復頁面。

                針對每一位SEO從業者而言,爬蟲每天來我們的網站進行網頁的抓取,是十分寶貴的資源。但在這中間由于爬蟲無序的抓取,勢必會浪費一些爬蟲的抓取資源。這中間我們就需要解決搜索引擎爬蟲對我們的網頁重復抓取的問題。

                在聊這個問題之前,我們需要理解一個概念。首先爬蟲本身是無序的抓取,他不知道先抓什么再抓什么,只知道看到了什么,且計算后認為有價值就進行抓取。

                而對于我們而言,抓取的整個過程中,我們最要解決是如下幾類

                1、新產生的頁面,沒有被抓取過的

                2、產生了一段時間,遲遲不被抓取的

                3、產生了一段時間,卻一直沒收錄的

                4、產生很久的頁面,但最近更新了

                5、包含內容更多的聚合頁面,如首頁、列表頁

                6、如上幾類,按照順序我們定義哪一類最需要被爬蟲抓取。

                針對大型網站,搜索引擎爬蟲抓取資源過剩,而針對小網站,抓取資源稀缺。所以在這里我們強調一下,我們不是要解決搜索引起爬蟲重復抓取的問題,而是要解決搜索引擎爬蟲最快的抓取我們希望抓取的頁面。要把這個思路糾正!

                下面,我們聊一下怎么讓搜索引擎爬蟲最快的抓取我們希望被抓取的頁面。

                爬蟲是抓取到一個網頁,從這個網頁在找到更多的鏈接,周而復始的過程,那么這個時候我們就要知道要想被爬蟲更大概率抓取,就要給更多的鏈接,讓搜索引擎爬蟲發現我們希望被抓取的網頁。這里我拿上述的第一種情況舉例說明一下:

                新產生的頁面,沒有被抓取過的

                這類一般都會是文章頁,針對于這類我們的網站每天都會大量產生,所以我們就要在更多的網頁給予這部分鏈接。例如首頁、頻道頁、欄目/列表頁、專題聚合頁、甚至文章頁本身,都需要具備一個最新文章板塊,以此等待爬蟲抓取到我們的任何網頁時,都能發現最新的文章。

                同時,試想一下,這么多頁面都有新文章的鏈接,連接傳遞權重,那這新文章,既被抓取了,權重也不低。被收錄的速度會明顯提升。

                那針對那些長時間不收錄的,也可以考慮是不是權重太低了,我多給一些內鏈支持,傳遞一些權重。應該會有收錄的可能。當然也有可能不收錄,那你就要靠內容本身的質量了。之前有一篇文章是專門說內容質量的也歡迎大家閱讀:什么內容容易被搜索引擎判斷為優質內容?。

                所以,我們為了解決搜索引擎爬蟲重復抓取問題不是我們最終要解決的。因為本質上搜索引擎爬蟲是無序的,我們只能通過針對網站的架構、推薦算法、運營策略等進行干預。使爬蟲給予我們更理想的抓取效果。

                以上就是《如何避免搜索引擎蜘蛛抓取重復頁面的方法》的全部內容,僅供站長朋友們互動交流學習,SEO優化是一個需要堅持的過程,希望大家一起共同進步。


              本文標簽:  seoSEO優化網站seo

              搶占搜索先機 · 助力營銷獲客 · 讓品牌深入人心

              獲取網絡營銷方案,共贏搜索營銷機遇

              立即咨詢 業務合作 會員登錄

              ? 2013-2021 深圳市知了網絡信息技術有限公司  版權所有!  備案號:粵ICP備17052943號-2   軟著登記號:2021SR1202019 / 2021SR1200265 / 2021SR1200266   技術支持:知了網絡  

              友情鏈接: 黑酷SEO 網站優化 香港服務器 seo 商標注冊 電銷卡 SEO 網絡推廣 鋁材報價 網站建設 商標注冊 商標查詢 深圳網站建設 直播帶貨 成都網絡推廣 網站建設 谷歌SEO

              城市分站站群: 北京 上海 廣州 深圳 東莞 佛山 中山 珠海 成都 重慶 滄州 鄭州 武漢 合肥 長沙 南昌 西安 濟南 煙臺 蘇州 常州 昆明 沈陽 大連 廈門 聊城 杭州
              石家莊 保定 青島 天津 邢臺 淄博 濟寧 邯鄲 江門 濰坊 惠州 南京 泉州 福州 溫州 寧波 無錫 徐州 鹽城 安慶 菏澤 滁州 洛陽 蘭州 南寧 嘉興 更多分站 >>

              咨詢熱線
              咨詢熱線 咨詢熱線  4008 799 335
              業務直線
              業務直線 業務直線  135 1048 0364
              工具條

              掃一掃,加微信

              返回頂部
              返回頂部 返回頂部