做網站最重要的事讓搜索引擎喜歡,這麼才能讓搜索引擎喜歡呢,一句話就是和蜘蛛做好溝通,重視網站返回值,可以讓你與在蜘蛛進行流暢的溝通。
方法/步驟
當網站臨時關閉導致網頁不能打開時,不建議立即返回404,應當使用503狀態。503可以告知蜘蛛該頁面臨時不可訪問,請過段時間再重試。
如果蜘蛛對您的站點抓取壓力過大請儘量不要使用404,同樣建議返回503。這樣spider會過段時間再來嘗試抓取這個鏈接。如果那個時間站點空閒,那它就會被成功抓取了。
如果網站希望收索引擎只收錄部分內容,如審核後的內容,或者網站正在測試,累積一段時間的新用戶頁等等。在這種情況,建議新發內容暫時返回403,等審核或做好處理之後,再返回正常狀態的返回碼。
站點遷移、域名更換時,使用301返回碼進過一段時間後,搜索引擎會把收錄全部轉移到新的網站上,不過301對於新站長慎用,因為他也是某些“黑帽”SEO的做法,容易讓收索引擎誤會。
網站, 蜘蛛, 返回值, 網站蜘蛛爬行統計系統, 網站被百度蜘蛛爬死了, 網站如何引蜘蛛, 網站狀態返回值, php獲取網站返回值, 網站蜘蛛, 蜘蛛字體制作網站, 蜘蛛園網站諮詢學習網, 網站垃圾蜘蛛有哪些,