亚洲国产成人av影片在线_国产精品中文字幕日韩欧美_单亲乱l仑在线观看免费观看_黄色片A级在线观看_国产三级电影观看_男女污污app好色先生_成年人午夜福利视频播放_国产日韩AV一二三区婷婷_中文字幕aⅴ在线视频_99亚洲综合精品

1、典型的抓取異常情況

情況一：404頁面 

協(xié)議死鏈，用戶已無法訪問該頁面內(nèi)容，建議通過百度站長平臺--死鏈工具提交死鏈的方式進(jìn)行處理，以便搜索引擎更快地發(fā)現(xiàn)死鏈，減少死鏈對用戶以及搜索引擎造成的負(fù)面影響。

情況二：IP禁封

限制網(wǎng)絡(luò)出口IP地址，禁止該IP段的使用者進(jìn)行內(nèi)容訪問，即為IP禁封。請檢查系統(tǒng)服務(wù)器是否設(shè)置了針對百度spider的IP禁封規(guī)則。

情況三：UA禁封 

UA即為用戶代理（User-Agent），服務(wù)器通過UA識別訪問者的身份，當(dāng)網(wǎng)站針對指定UA的訪問返回異常頁面（如403，500）或跳轉(zhuǎn)到其他頁面的情況，即為UA禁封。請檢查系統(tǒng)服務(wù)器是否設(shè)置了針對百度spider的UA禁封規(guī)則。

情況四：異常重定向 

將網(wǎng)絡(luò)請求重新指向其他位置即為重定向。異常重定向指的是以下幾種情況：
1）當(dāng)前該頁面為無效頁面（內(nèi)容已刪除、死鏈等），直接跳轉(zhuǎn)到前一目錄或者首頁，百度建議站長將該無效頁面的入口超鏈接刪除掉

2）重定向到出錯或者無效頁面

3）重定向的跳轉(zhuǎn)超過3次，也為異常

注意：對于長時間跳轉(zhuǎn)到其他域名的情況，如網(wǎng)站更換域名，百度建議使用301跳轉(zhuǎn)協(xié)議進(jìn)行設(shè)置。

情況五：其他 

JS跳轉(zhuǎn)異常：網(wǎng)頁加載了百度無法識別的JS跳轉(zhuǎn)代碼，使得用戶通過搜索結(jié)果進(jìn)入頁面后發(fā)生了跳轉(zhuǎn)的情況。

針對百度ua的異常：網(wǎng)頁對百度UA返回不同于頁面原內(nèi)容的行為。

針對百度refer的異常：網(wǎng)頁針對來自百度的refer返回不同于正常內(nèi)容的行為。

壓力過大引起的偶然禁封：百度會根據(jù)站點(diǎn)的規(guī)模，訪問量等信息，自動設(shè)定一個合理的抓取壓力。但是在異常情況下，如壓力控制失常時，服務(wù)器會根據(jù)自身負(fù)荷進(jìn)行保護(hù)性的偶然封禁。這種情況下，請在返回碼中返回503(其含義是“Service Unavailable”)，這樣百度spider會過段時間再來嘗試抓取這個鏈接，如果網(wǎng)站已空閑，則會被成功抓取。
更多資訊來源于：佛山網(wǎng)站建設(shè)2800kj.cn



此文關(guān)鍵字：佛山網(wǎng)站建設(shè)