站點出現(xiàn)抓取異常、無法被抓取、返回碼設置錯誤、死鏈接過多、無效頁面、重定向過多等,直接影響搜索引擎對網站抓取出現(xiàn)異常。將直接導致搜索引擎會認為網站存在用戶體驗上的缺陷,并降低對網站的評價,在抓取、索引、權重上都會受到一定程度的負面影響,最終影響到網站從百度獲取的流量。
以下信息來源百度站長幫助中心
什么是抓取異常?
對于互聯(lián)網中可正常訪問的內容,百度spider抓取的結果應與普通用戶訪問的內容是一致的,除此以外的情況,就是抓取異常。
有那些抓取異常影響:
1.什么是死鏈? 具體請參考:網站死鏈接(稱:無效鏈接)
頁面已經無效,無法對用戶提供任何有價值信息的頁面就是死鏈接,包括協(xié)議死鏈和內容死鏈兩種形式。
協(xié)議死鏈:頁面的TCP協(xié)議狀態(tài)/HTTP協(xié)議狀態(tài)明確表示的死鏈,常見的如404、403、503狀態(tài)等。
內容死鏈:服務器返回狀態(tài)是正常的,但內容已經變更為不存在、已刪除或需要權限等與原內容無關的信息頁面。
對于死鏈,建議通過百度站長平臺--死鏈工具提交死鏈的方式進行處理,以便搜索引擎更快地發(fā)現(xiàn)死鏈,減少死鏈對用戶以及搜索引擎造成的負面影響。
2.什么是IP禁封?
限制網絡的出口IP地址,禁止該IP段的使用者進行內容訪問,即為IP禁封。
3.什么是UA禁封?
UA即為用戶代理(User-Agent),服務器通過UA識別訪問者的身份。當網站針對指定UA的訪問,返回異常頁面(如403,500)或跳轉到其他頁面的情況,即為UA禁封。
3.什么是異常重定向?
將網絡請求重新指向其他位置即為重定向。異常重定向指的是以下幾種情況
當前該頁面為無效頁面(內容已刪除、死鏈等),直接跳轉到前一目錄或者首頁,百度建議站長將該無效頁面的入口超鏈接刪除掉
重定向到出錯或者無效頁面
重定向的跳轉超過3次,也為異常
注意:對于長時間跳轉到其他域名的情況,如網站更換域名,百度建議使用301跳轉協(xié)議進行設置。
4.還有哪些其他異常?
針對百度refer的異常:網頁針對來自百度的refer返回不同于正常內容的行為。
針對百度ua的異常:網頁對百度UA返回不同于頁面原內容的行為。
JS跳轉異常:網頁加載了百度無法識別的JS跳轉代碼,使得用戶通過搜索結果進入頁面后發(fā)生了跳轉的情況。
壓力過大引起的偶然封禁:百度會根據(jù)站點的規(guī)模,訪問量等信息,自動設定一個合理的抓取壓力。但是在異常情況下,如壓力控制失常時,服務器會根據(jù)自身負荷進行保護性的偶然封禁。這種情況下,請在返回碼中返回503(其含義是“Service Unavailable”),這樣百度spider會過段時間再來嘗試抓取這個鏈接,如果網站已空閑,則會被成功抓取。
抓取異常對網站的影響有哪些?
對于大量內容無法正常抓取的網站,搜索引擎會認為網站存在用戶體驗上的缺陷,并降低對網站的評價,在抓取、索引、權重上都會受到一定程度的負面影響,最終影響到網站從百度獲取的流量。
文章來源:公眾號SEO實戰(zhàn)營(ID:ilottecn),原文鏈接:https://mp.weixin.qq.com/s/mxOYXPuNciA-RVPzacovPQ
申請創(chuàng)業(yè)報道,分享創(chuàng)業(yè)好點子。點擊此處,共同探討創(chuàng)業(yè)新機遇!