【網站優化】用Robots協議引導蜘蛛對頁面進行抓取

              作 者:知了網絡   發表時間:2022-05-02 19:21:40   瀏覽量:3793

              導  讀:  Robots協議是放在根目錄下的一個協議,也是蜘蛛爬行網站的時候需要訪問的第一個文件,通過解讀Robots文件的策略,蜘蛛可以知道哪些頁面可以爬行,哪些不可以爬行。一般來說,網站都是可以開發給蜘蛛

                Robots協議是放在根目錄下的一個協議,也是蜘蛛爬行網站的時候需要訪問的第一個文件,通過解讀Robots文件的策略,蜘蛛可以知道哪些頁面可以爬行,哪些不可以爬行。一般來說,網站都是可以開發給蜘蛛來抓取的,某些不允許抓取的頁面或者頻道,只需要在Robots里面設定Disallow (禁止抓取的命令)就可以。但是在實際運營中,可能面臨更復雜的情況,比如整站已經在HTTPS下,但是部分頁面需要蜘蛛爬行,怎么辦?有以下幾個解決辦法?!?b>網站優化

                (1)復制一份到HTTP下。

                (2)使用user-agent判斷來訪者,將蜘蛛引導到HTTP頁面。

                關于Robots文件,詳細說明如下。

                (1)特定頁面已經不需要蜘蛛抓取,可以進行Disallow。

                (2)某類集中的頁面具有共同的URL參數,可以實現批量禁止抓取功能。在操作批量禁止的時候,需要避免誤傷,即具有同樣URL特征的功能可能并不在禁止的目的之內,無意中被禁止了。

                關于同類特征的URL的一個特殊應用就是批量禁止動態URL的抓取。比如一個動態發布內容的網站,初始頁面都是動態頁面,從SEO角度考慮,這些動態頁面全部批量生成了對應的靜態頁面,如下。

                http://www.abc.com/?id=1

                http://www.abc.com/?id=2

                ......

                (已經批量生成了如下)

                http://www.abc.com/ 1.html

                http://www.abc.com/2.html

                ......

                如果同時被蜘蛛抓取了動態頁面和對應的靜態頁面,那么網站就存在大量的重復頁面,對SEO是不好的??梢酝ㄟ^Robots功能,統一禁止動態URL的抓取,比如在Robots文件里寫如下內容。

                Disallow : /*?*

                在抓取方面,蜘蛛會依據實際情況調整對網站的抓取頻次,即分配抓取定額,每天定量抓取網站內容,“定量”這個詞意味著是有限的,-一個大門]戶網站如果一次性提交10萬條URL,并不意味著蜘蛛會很快把10萬條數據抓取回去,因此,必須有耐心跟蹤搜索蜘蛛在網站每天的爬行和收錄情況。

                以上就是《用Robots協議引導蜘蛛對頁面進行抓取》的全部內容,僅供站長朋友們互動交流學習,SEO優化是一個需要堅持的過程,希望大家一起共同進步。


              本文標簽:  seoSEO優化網站優化

              搶占搜索先機 · 助力營銷獲客 · 讓品牌深入人心

              獲取網絡營銷方案,共贏搜索營銷機遇

              立即咨詢 業務合作 會員登錄

              ? 2013-2021 深圳市知了網絡信息技術有限公司  版權所有!  備案號:粵ICP備17052943號-2   軟著登記號:2021SR1202019 / 2021SR1200265 / 2021SR1200266   技術支持:知了網絡  

              友情鏈接: 黑酷SEO 網站優化 香港服務器 seo 商標注冊 電銷卡 SEO 網絡推廣 鋁材報價 網站建設 商標注冊 商標查詢 深圳網站建設 直播帶貨 成都網絡推廣 網站建設 谷歌SEO

              城市分站站群: 北京 上海 廣州 深圳 東莞 佛山 中山 珠海 成都 重慶 滄州 鄭州 武漢 合肥 長沙 南昌 西安 濟南 煙臺 蘇州 常州 昆明 沈陽 大連 廈門 聊城 杭州
              石家莊 保定 青島 天津 邢臺 淄博 濟寧 邯鄲 江門 濰坊 惠州 南京 泉州 福州 溫州 寧波 無錫 徐州 鹽城 安慶 菏澤 滁州 洛陽 蘭州 南寧 嘉興 更多分站 >>

              咨詢熱線
              咨詢熱線 咨詢熱線  4008 799 335
              業務直線
              業務直線 業務直線  135 1048 0364
              工具條

              掃一掃,加微信

              返回頂部
              返回頂部 返回頂部