【網站優化】搜索引擎蜘蛛對獨立網站頁面的爬行規律

              作 者:知了網絡   發表時間:2022-06-18 14:24:50   瀏覽量:1190

              導  讀:  當網站有蜘蛛訪問時,你的網站頁面有可能被收錄,百度蜘蛛會抓取我們網站的html代碼,然后將數據拆分成標題、摘要、頁眉、正文等結構化數據。帶回百度的服務器,過濾后放入數據庫,然后在網站頁面分享百度蜘

                當網站有蜘蛛訪問時,你的網站頁面有可能被收錄,百度蜘蛛會抓取我們網站的html代碼,然后將數據拆分成標題、摘要、頁眉、正文等結構化數據。帶回百度的服務器,過濾后放入數據庫,然后在網站頁面分享百度蜘蛛的抓取規則?!?b>網站優化

                目前網站數以百億計算,每個頁面都有快照備份是不現實的,所以百度蜘蛛會優勝劣汰,就像有探路、有主力、有功能的開拓者一樣。事實上,高權重和低權重沒有區別。

                百度蜘蛛在網站內頁的爬行規律;

                百度蜘蛛主要由兩種蜘蛛組成,即收錄蜘蛛和快照蜘蛛。通常,123IP從包含的蜘蛛開始,220IP從快照蜘蛛開始。通過這兩種蜘蛛的日志訪問量,我們基本可以確定這個網站在百度看來是否是優質網站。

                1.有優質內容的頁面:新文章發表后,通常是123開頭的蜘蛛先走,然后220開頭的蜘蛛再回去,然后快照會在同一天或者每1-2天更新一次。

                2.404頁面的抓取規則:當網站刪除幾個收錄頁面,訪問變成404時,123開頭的蜘蛛抓取時,一般會發現百度蜘蛛兩次404后都不會來。

                3.文章內容差頁:如果是文章生成器生成的拼湊文章,排版凌亂不可讀,123開頭的蜘蛛來過一次就再也沒有來過。

                那么百度蜘蛛爬行的真正邏輯應該是:123年初,蜘蛛為了減少不必要的服務器資源浪費,對網頁內容進行收費和篩選;200開始的蜘蛛通常在123只蜘蛛被篩選后進入。如果網頁的內容真的很劣質,220開頭的蜘蛛是不會訪問的。對于已經包含快照的頁面,直接訪問從220開始。

                最終結論如下:

                1.IP開頭的123指的是包含蜘蛛。所謂收錄蜘蛛,是指百度蜘蛛訪問后,百度后端會通過反作弊處理、原創性檢測等一系列判斷手段,決定是否可以收錄,是否可以拖百度快照蜘蛛訪問。

                2.220開頭的IP是快照蜘蛛。當快速包含蜘蛛檢測到網頁已經通過包含標準時,快照蜘蛛生成結構化數據并進入倒排索引。此時,網頁在被用戶搜索之前有一個快照。

                因此,在每次快照更新之前,包含蜘蛛和快照蜘蛛都會訪問,并且包含蜘蛛和快照蜘蛛之間的訪問比率一般不超過2,333,601。如果收錄蜘蛛的數量遠遠大于快照蜘蛛,說明網頁的內容不夠。


              本文標簽:  seoSEO優化網站優化

              搶占搜索先機 · 助力營銷獲客 · 讓品牌深入人心

              獲取網絡營銷方案,共贏搜索營銷機遇

              立即咨詢 業務合作 會員登錄

              ? 2013-2021 深圳市知了網絡信息技術有限公司  版權所有!  備案號:粵ICP備17052943號-2   軟著登記號:2021SR1202019 / 2021SR1200265 / 2021SR1200266   技術支持:知了網絡  

              友情鏈接: 黑酷SEO 網站優化 香港服務器 seo 商標注冊 電銷卡 SEO 網絡推廣 鋁材報價 網站建設 商標注冊 商標查詢 深圳網站建設 直播帶貨 成都網絡推廣 網站建設 谷歌SEO

              城市分站站群: 北京 上海 廣州 深圳 東莞 佛山 中山 珠海 成都 重慶 滄州 鄭州 武漢 合肥 長沙 南昌 西安 濟南 煙臺 蘇州 常州 昆明 沈陽 大連 廈門 聊城 杭州
              石家莊 保定 青島 天津 邢臺 淄博 濟寧 邯鄲 江門 濰坊 惠州 南京 泉州 福州 溫州 寧波 無錫 徐州 鹽城 安慶 菏澤 滁州 洛陽 蘭州 南寧 嘉興 更多分站 >>

              咨詢熱線
              咨詢熱線 咨詢熱線  4008 799 335
              業務直線
              業務直線 業務直線  135 1048 0364
              工具條

              掃一掃,加微信

              返回頂部
              返回頂部 返回頂部