<mark id="rp31r"><thead id="rp31r"><font id="rp31r"></font></thead></mark>

    <mark id="rp31r"><var id="rp31r"><ins id="rp31r"></ins></var></mark>

          <output id="rp31r"></output>
          <menuitem id="rp31r"><pre id="rp31r"><ol id="rp31r"></ol></pre></menuitem>

          <ruby id="rp31r"></ruby>

            173-8640-8420

            網站建設 APP開發 小程序

            KNOWLEDGE/知識

            分享你我感悟

            您當前位置> 主頁 > 知識 > 網站建設

            開發者應該怎么解除封禁百度蜘蛛

            發表時間:2022-07-04 08:43:59

            文章作者:小編

            瀏覽次數:

            近期收到一些開發者反饋,為什么網站或智能小程序資源的內容非常優質,但是沒有查詢到百度蜘蛛抓取記錄,或在百度搜索中沒有得到收錄和展現?

            在技術分析后發現,有些網站或智能小程序存在封禁百度蜘蛛的情況,導致百度蜘蛛無法正常抓取,所以無法在百度搜索中正常收錄和展現,或在搜索結果中的摘要展現為“存在robots封禁”字樣。

            為了讓廣大開發者的網站或小程序,在百度搜索中得到正常的收錄和展現,建議開發者及時根據以下內容自查,解除封禁問題,并通過鏈接提交工具主動提交給我們。

            常見的封禁行為包括robots封禁、封禁百度UA、封禁百度IP等。

            如何驗證網站和智能小程序是否存在封禁百度蜘蛛的情況?


            1、首先, 查看robots.txt文件,是否存在封禁記錄。(一般robots.txt文件放置在網站根目錄下。)

            【建議方案】解除robots封禁:robots封禁情況,請檢查robots.txt文件,及時修改。

            robots文件說明:https://ziyuan.baidu.com/college/articleinfo?id=1516

             

            2、robots文件無異常,進一步排查是否存在封禁百度UA情況;

            方案一:執行 curl --head --user-agent 'Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)' --request GET 'xxxxxxx'

            注:正常返回碼是200,其他情況為異常。

            xxxxxxx為網站域名,如:http://abc.com.cn。

            正確識別和獲取百度蜘蛛,https://ziyuan.baidu.com/college/articleinfo?id=2855

             

            方案二:變更瀏覽器UA驗證;

            【建議方案】解除百度UA封禁:查看網站反爬蟲策略,進行策略調整?;蜥槍Π俣萓A添加策略白名單。

             

            3、以上驗證均無異常,最后進一步排查是否存在IP級別的封禁;

            常見的IP封禁,源自網站的防火墻系統配置,需要查看防火墻配置系統后臺,檢查是否存在百度蜘蛛的IP級別封禁措施。

            【建議方案】解除百度IP封禁:查看網站反爬蟲策略,進行策略調整。

            相關案例查看更多

            成人免费专区,国产a级免费,a级片免费看,α片毛片免费看

              <mark id="rp31r"><thead id="rp31r"><font id="rp31r"></font></thead></mark>

              <mark id="rp31r"><var id="rp31r"><ins id="rp31r"></ins></var></mark>

                    <output id="rp31r"></output>
                    <menuitem id="rp31r"><pre id="rp31r"><ol id="rp31r"></ol></pre></menuitem>

                    <ruby id="rp31r"></ruby>