【網站優化】關于搜索引擎蜘蛛對網站頁面爬行規律的一點分享

              作 者:知了網絡   發表時間:2022-02-10 20:45:40   瀏覽量:11290

              導  讀:  當網站有了蜘蛛來訪,你的網站頁面才有被收錄的可能,而搜索引擎蜘蛛會來爬行我們網站的html代碼,然后把數據拆分為標題、摘要、頭圖、正文等結構化數據,帶回給搜索引擎的服務器,進行篩選放入數據庫,接下來是關于

                當網站有了蜘蛛來訪,你的網站頁面才有被收錄的可能,而搜索引擎蜘蛛會來爬行我們網站的html代碼,然后把數據拆分為標題、摘要、頭圖、正文等結構化數據,帶回給搜索引擎的服務器,進行篩選放入數據庫,接下來是關于搜索引擎蜘蛛對網站頁面爬行規律的一點分享?!?b>網站優化

                現在的網站數量以百億計算,每個頁面都有快照備份是不現實的,所以搜索引擎蜘蛛會優勝劣汰,就像是有探路的先鋒,有主力的部隊,有功能之分,其實并沒有高低權重之分。

                搜索引擎蜘蛛對網站內頁的爬行規律:

                搜索引擎蜘蛛主要由收錄與快照兩種蜘蛛構成,通常123IP開頭的是收錄蜘蛛,220IP開頭的是快照蜘蛛,我們通過這兩種蜘蛛的日志訪問情況,基本上能判斷出這個網站在搜索引擎看來是不是一個優質的網站。

                1、內容有質量的頁面:新發一篇文章后,通常是123開頭的蜘蛛先行,然后220開頭的蜘蛛后行,接著當天或隔1-2天,快照就會有更新。

                2、404頁面爬取規律:當網站刪除了幾篇已收錄的內頁訪問變成404后,123開頭的蜘蛛來爬取時,一般發現兩次404后,搜索引擎蜘蛛就不會來了。

                3、文章內容劣質頁面:如果是用文章生成器生成的拼湊文章,排版亂無可讀性,123開頭的蜘蛛來了一次以后就沒有再來了。

                那么搜索引擎蜘蛛爬行真正的邏輯應該是:123開頭蜘蛛打沖鋒,對網頁內容進行篩選,以便減少不必要的服務器資源浪費;220開頭蜘蛛一般在123蜘蛛篩選過后才進入,如果網頁內容實在劣質,220開頭的蜘蛛不會造訪;對于已經收錄快照的頁面,是220開頭直接來訪。

                最后得出的結論如下:

                1、123開頭的IP是收錄蜘蛛,所謂收錄蜘蛛是指搜索引擎蜘蛛造訪后,搜索引擎后端會通過一系列判定手段,如反作弊處理、原創度檢測等等,決定是否能夠可以收錄,是否可以牽引網頁快照蜘蛛到訪。

                2、220開頭的IP是快照蜘蛛,當快收錄蜘蛛檢測網頁通過了收錄標準之后,通過快照蜘蛛生成結構化數據,進入倒排索引,這個時候的網頁才有快照,才能被用戶搜索到。

                所以每次快照更新前,收錄蜘蛛、快照蜘蛛均有造訪,而收錄蜘蛛與快照蜘蛛訪問比率一般不超過2:1, 如果收錄蜘蛛出現次數遠遠大于快照蜘蛛,說明網頁的內容還不過關。

                以上就是《關于搜索引擎蜘蛛對網站頁面爬行規律的一點分享》的全部內容,僅供站長朋友們互動交流學習,SEO優化是一個需要堅持的過程,希望大家一起共同進步。


              搶占搜索先機 · 助力營銷獲客 · 讓品牌深入人心

              獲取網絡營銷方案,共贏搜索營銷機遇

              立即咨詢 業務合作 會員登錄

              ? 2013-2021 深圳市知了網絡信息技術有限公司  版權所有!  備案號:粵ICP備17052943號-2   軟著登記號:2021SR1202019 / 2021SR1200265 / 2021SR1200266   技術支持:知了網絡  

              友情鏈接: 黑酷SEO 網站優化 香港服務器 seo 商標注冊 電銷卡 SEO 網絡推廣 鋁材報價 網站建設 商標注冊 商標查詢 深圳網站建設 直播帶貨 成都網絡推廣 網站建設 谷歌SEO

              城市分站站群: 北京 上海 廣州 深圳 東莞 佛山 中山 珠海 成都 重慶 滄州 鄭州 武漢 合肥 長沙 南昌 西安 濟南 煙臺 蘇州 常州 昆明 沈陽 大連 廈門 聊城 杭州
              石家莊 保定 青島 天津 邢臺 淄博 濟寧 邯鄲 江門 濰坊 惠州 南京 泉州 福州 溫州 寧波 無錫 徐州 鹽城 安慶 菏澤 滁州 洛陽 蘭州 南寧 嘉興 更多分站 >>

              咨詢熱線
              咨詢熱線 咨詢熱線  4008 799 335
              業務直線
              業務直線 業務直線  135 1048 0364
              工具條

              掃一掃,加微信

              返回頂部
              返回頂部 返回頂部