網站改版
網站改版遭遇大量404 該如何應對
SEO ? perilla 發表了文章 ? 0 個評論 ? 6209 次瀏覽 ? 2018-02-26 10:25
隨著世界工廠網V3版本的上線,在期間多多少少還是丟掉了一些頁面。當我們遇到網站頁面被刪除的時候,究竟應該如何處理?首先說一下處理思路:
我們通常會用到的方法有兩種:
一、頁面狀態碼返回404:404頁面直接做成隨機推薦產品或其他內容(尋人啟示&情懷頁面);
二、頁面狀態碼返回200:10秒以后跳轉到網站導航頁或者其他有價值的頁面。
不過一般網站都是直接返回普通的404頁面,畢竟對于已經不存在的產品,仍然想保留在搜索引擎數據庫的話,是不符合原則的,所以我推薦是第一種。
最近站長平臺針對這塊兒也進行了相應的分享,我們一同來看下:
原標題:【大拿分享】新浪死鏈處理經驗分享
在第四次深“度”接觸結束后,spider工程師表示新浪的死鏈處理工作一直效果不錯,提醒學院應該請其做個分享。新浪穩座國家級門戶頭把交椅,誰還敢說自己網站結構的復雜程度可以超越新浪。于是我們請王久明分享一下新浪在死鏈處理和死鏈預防(重要頁面因修改而產生死鏈)方面的經驗。
一、在以下背景下會較多產生死鏈:
1、時政新聞的敏感性;
2、來自監管的刪除需求;
3、頻道(編輯)自身刪改的需求;
4、搜索方期望資源方主動優化和定期清除的需求
二、死鏈分類:
由于系統架構、歷史遺留問題、多業務系統交叉影響等多方面因素,新浪存在如下三種死鏈:
1、協議死鏈,服務器端返回HTTP狀態碼404;
例如:‘誰在偽善’http://news.sina.com.cn/movie/ ... shtml
2,內容死鏈,服務器端返回HTTP狀態碼200,無法設置為404;
例如:http://news.sina.com.cn/c/2015 ... shtml
3,頁面需要用戶和蜘蛛可以正常訪問,但由于刪改或誤操作導致反復上下線形成協議死鏈或內容死鏈。例如:http://news.sina.com.cn/2015-1 ... shtml
上線后又下線,后又上線,甚至反復多次。由于下線期間存在協議死鏈或內容死鏈的情況,導致百度認為該頁面應該被刪除,不被收錄,且即使后續重新上線也無法恢復收錄。對于這種情況,應加以預防。
三、解決方案:
1、協議死鏈,這個最符合HTML標準處理方式,站點方面無須多做什么,如果需要百度快速處理可以通過百度站長平臺的死鏈提交工具(http://zhanzhang.baidu.com/col ... itle18)進行主動提交
2,無法設置協議死鏈接,僅主體內容文本被刪除的內容死鏈死鏈,新浪的處理方法是:
1)走事先之制定好的《死鏈標準流程》:用站內標準內容死鏈模板頁面(告訴用戶該頁無法找到)覆蓋需要刪除的頁面,5秒后跳轉到統一的全站導航頁,以減少用戶流失。
2)根據需要,比如根據特定關鍵詞圈定一批最終需要處理為協議死鏈的敏感頁面,將這些頁面鏈接放到一個文件里,由專人在服務器端修改成協議死鏈。通過百度站長平臺工具進行死鏈提交
3,針對反復上下線導致百度誤判為死鏈的情況,新浪的預防辦法是:
1)制度上:系統后臺設置提醒,提醒編輯上線后除非特殊情況不要下線;
2)功能上:這種情況在專題運營中最常見,且影響比單篇新聞頁要大,由于我站點運營規定是不能刪除頁面的,因此在系統后臺將“刪除專題(對編輯來說就是刪除該專題)”和“將專題調整為不對外顯示(對編輯來說不是刪除,而是暫時下線,調整為外網用戶無法訪問,可隨時再次重新上線)”兩個功能嚴格區分開,并提供回收功能。針對“將專題調整為不對外顯示”這種情況,不再將頁面更新為內容死鏈(頁面無法找到),以免被百度誤判。專題頁面仍可訪問,只是站點不設置入口、不進行推廣,用戶沒有訪問來源而已。
? 查看全部
我們通常會用到的方法有兩種:
一、頁面狀態碼返回404:404頁面直接做成隨機推薦產品或其他內容(尋人啟示&情懷頁面);
二、頁面狀態碼返回200:10秒以后跳轉到網站導航頁或者其他有價值的頁面。
不過一般網站都是直接返回普通的404頁面,畢竟對于已經不存在的產品,仍然想保留在搜索引擎數據庫的話,是不符合原則的,所以我推薦是第一種。
最近站長平臺針對這塊兒也進行了相應的分享,我們一同來看下:
原標題:【大拿分享】新浪死鏈處理經驗分享
在第四次深“度”接觸結束后,spider工程師表示新浪的死鏈處理工作一直效果不錯,提醒學院應該請其做個分享。新浪穩座國家級門戶頭把交椅,誰還敢說自己網站結構的復雜程度可以超越新浪。于是我們請王久明分享一下新浪在死鏈處理和死鏈預防(重要頁面因修改而產生死鏈)方面的經驗。
一、在以下背景下會較多產生死鏈:
1、時政新聞的敏感性;
2、來自監管的刪除需求;
3、頻道(編輯)自身刪改的需求;
4、搜索方期望資源方主動優化和定期清除的需求
二、死鏈分類:
由于系統架構、歷史遺留問題、多業務系統交叉影響等多方面因素,新浪存在如下三種死鏈:
1、協議死鏈,服務器端返回HTTP狀態碼404;
例如:‘誰在偽善’http://news.sina.com.cn/movie/ ... shtml
2,內容死鏈,服務器端返回HTTP狀態碼200,無法設置為404;
例如:http://news.sina.com.cn/c/2015 ... shtml
3,頁面需要用戶和蜘蛛可以正常訪問,但由于刪改或誤操作導致反復上下線形成協議死鏈或內容死鏈。例如:http://news.sina.com.cn/2015-1 ... shtml
上線后又下線,后又上線,甚至反復多次。由于下線期間存在協議死鏈或內容死鏈的情況,導致百度認為該頁面應該被刪除,不被收錄,且即使后續重新上線也無法恢復收錄。對于這種情況,應加以預防。
三、解決方案:
1、協議死鏈,這個最符合HTML標準處理方式,站點方面無須多做什么,如果需要百度快速處理可以通過百度站長平臺的死鏈提交工具(http://zhanzhang.baidu.com/col ... itle18)進行主動提交
2,無法設置協議死鏈接,僅主體內容文本被刪除的內容死鏈死鏈,新浪的處理方法是:
1)走事先之制定好的《死鏈標準流程》:用站內標準內容死鏈模板頁面(告訴用戶該頁無法找到)覆蓋需要刪除的頁面,5秒后跳轉到統一的全站導航頁,以減少用戶流失。
2)根據需要,比如根據特定關鍵詞圈定一批最終需要處理為協議死鏈的敏感頁面,將這些頁面鏈接放到一個文件里,由專人在服務器端修改成協議死鏈。通過百度站長平臺工具進行死鏈提交
3,針對反復上下線導致百度誤判為死鏈的情況,新浪的預防辦法是:
1)制度上:系統后臺設置提醒,提醒編輯上線后除非特殊情況不要下線;
2)功能上:這種情況在專題運營中最常見,且影響比單篇新聞頁要大,由于我站點運營規定是不能刪除頁面的,因此在系統后臺將“刪除專題(對編輯來說就是刪除該專題)”和“將專題調整為不對外顯示(對編輯來說不是刪除,而是暫時下線,調整為外網用戶無法訪問,可隨時再次重新上線)”兩個功能嚴格區分開,并提供回收功能。針對“將專題調整為不對外顯示”這種情況,不再將頁面更新為內容死鏈(頁面無法找到),以免被百度誤判。專題頁面仍可訪問,只是站點不設置入口、不進行推廣,用戶沒有訪問來源而已。
? 查看全部
隨著世界工廠網V3版本的上線,在期間多多少少還是丟掉了一些頁面。當我們遇到網站頁面被刪除的時候,究竟應該如何處理?首先說一下處理思路:
我們通常會用到的方法有兩種:
一、頁面狀態碼返回404:404頁面直接做成隨機推薦產品或其他內容(尋人啟示&情懷頁面);
二、頁面狀態碼返回200:10秒以后跳轉到網站導航頁或者其他有價值的頁面。
不過一般網站都是直接返回普通的404頁面,畢竟對于已經不存在的產品,仍然想保留在搜索引擎數據庫的話,是不符合原則的,所以我推薦是第一種。
最近站長平臺針對這塊兒也進行了相應的分享,我們一同來看下:
原標題:【大拿分享】新浪死鏈處理經驗分享
在第四次深“度”接觸結束后,spider工程師表示新浪的死鏈處理工作一直效果不錯,提醒學院應該請其做個分享。新浪穩座國家級門戶頭把交椅,誰還敢說自己網站結構的復雜程度可以超越新浪。于是我們請王久明分享一下新浪在死鏈處理和死鏈預防(重要頁面因修改而產生死鏈)方面的經驗。
一、在以下背景下會較多產生死鏈:
1、時政新聞的敏感性;
2、來自監管的刪除需求;
3、頻道(編輯)自身刪改的需求;
4、搜索方期望資源方主動優化和定期清除的需求
二、死鏈分類:
由于系統架構、歷史遺留問題、多業務系統交叉影響等多方面因素,新浪存在如下三種死鏈:
1、協議死鏈,服務器端返回HTTP狀態碼404;
例如:‘誰在偽善’http://news.sina.com.cn/movie/ ... shtml
2,內容死鏈,服務器端返回HTTP狀態碼200,無法設置為404;
例如:http://news.sina.com.cn/c/2015 ... shtml
3,頁面需要用戶和蜘蛛可以正常訪問,但由于刪改或誤操作導致反復上下線形成協議死鏈或內容死鏈。例如:http://news.sina.com.cn/2015-1 ... shtml
上線后又下線,后又上線,甚至反復多次。由于下線期間存在協議死鏈或內容死鏈的情況,導致百度認為該頁面應該被刪除,不被收錄,且即使后續重新上線也無法恢復收錄。對于這種情況,應加以預防。
三、解決方案:
1、協議死鏈,這個最符合HTML標準處理方式,站點方面無須多做什么,如果需要百度快速處理可以通過百度站長平臺的死鏈提交工具(http://zhanzhang.baidu.com/col ... itle18)進行主動提交
2,無法設置協議死鏈接,僅主體內容文本被刪除的內容死鏈死鏈,新浪的處理方法是:
1)走事先之制定好的《死鏈標準流程》:用站內標準內容死鏈模板頁面(告訴用戶該頁無法找到)覆蓋需要刪除的頁面,5秒后跳轉到統一的全站導航頁,以減少用戶流失。
2)根據需要,比如根據特定關鍵詞圈定一批最終需要處理為協議死鏈的敏感頁面,將這些頁面鏈接放到一個文件里,由專人在服務器端修改成協議死鏈。通過百度站長平臺工具進行死鏈提交
3,針對反復上下線導致百度誤判為死鏈的情況,新浪的預防辦法是:
1)制度上:系統后臺設置提醒,提醒編輯上線后除非特殊情況不要下線;
2)功能上:這種情況在專題運營中最常見,且影響比單篇新聞頁要大,由于我站點運營規定是不能刪除頁面的,因此在系統后臺將“刪除專題(對編輯來說就是刪除該專題)”和“將專題調整為不對外顯示(對編輯來說不是刪除,而是暫時下線,調整為外網用戶無法訪問,可隨時再次重新上線)”兩個功能嚴格區分開,并提供回收功能。針對“將專題調整為不對外顯示”這種情況,不再將頁面更新為內容死鏈(頁面無法找到),以免被百度誤判。專題頁面仍可訪問,只是站點不設置入口、不進行推廣,用戶沒有訪問來源而已。
?
我們通常會用到的方法有兩種:
一、頁面狀態碼返回404:404頁面直接做成隨機推薦產品或其他內容(尋人啟示&情懷頁面);
二、頁面狀態碼返回200:10秒以后跳轉到網站導航頁或者其他有價值的頁面。
不過一般網站都是直接返回普通的404頁面,畢竟對于已經不存在的產品,仍然想保留在搜索引擎數據庫的話,是不符合原則的,所以我推薦是第一種。
最近站長平臺針對這塊兒也進行了相應的分享,我們一同來看下:
原標題:【大拿分享】新浪死鏈處理經驗分享
在第四次深“度”接觸結束后,spider工程師表示新浪的死鏈處理工作一直效果不錯,提醒學院應該請其做個分享。新浪穩座國家級門戶頭把交椅,誰還敢說自己網站結構的復雜程度可以超越新浪。于是我們請王久明分享一下新浪在死鏈處理和死鏈預防(重要頁面因修改而產生死鏈)方面的經驗。
一、在以下背景下會較多產生死鏈:
1、時政新聞的敏感性;
2、來自監管的刪除需求;
3、頻道(編輯)自身刪改的需求;
4、搜索方期望資源方主動優化和定期清除的需求
二、死鏈分類:
由于系統架構、歷史遺留問題、多業務系統交叉影響等多方面因素,新浪存在如下三種死鏈:
1、協議死鏈,服務器端返回HTTP狀態碼404;
例如:‘誰在偽善’http://news.sina.com.cn/movie/ ... shtml
2,內容死鏈,服務器端返回HTTP狀態碼200,無法設置為404;
例如:http://news.sina.com.cn/c/2015 ... shtml
3,頁面需要用戶和蜘蛛可以正常訪問,但由于刪改或誤操作導致反復上下線形成協議死鏈或內容死鏈。例如:http://news.sina.com.cn/2015-1 ... shtml
上線后又下線,后又上線,甚至反復多次。由于下線期間存在協議死鏈或內容死鏈的情況,導致百度認為該頁面應該被刪除,不被收錄,且即使后續重新上線也無法恢復收錄。對于這種情況,應加以預防。
三、解決方案:
1、協議死鏈,這個最符合HTML標準處理方式,站點方面無須多做什么,如果需要百度快速處理可以通過百度站長平臺的死鏈提交工具(http://zhanzhang.baidu.com/col ... itle18)進行主動提交
2,無法設置協議死鏈接,僅主體內容文本被刪除的內容死鏈死鏈,新浪的處理方法是:
1)走事先之制定好的《死鏈標準流程》:用站內標準內容死鏈模板頁面(告訴用戶該頁無法找到)覆蓋需要刪除的頁面,5秒后跳轉到統一的全站導航頁,以減少用戶流失。
2)根據需要,比如根據特定關鍵詞圈定一批最終需要處理為協議死鏈的敏感頁面,將這些頁面鏈接放到一個文件里,由專人在服務器端修改成協議死鏈。通過百度站長平臺工具進行死鏈提交
3,針對反復上下線導致百度誤判為死鏈的情況,新浪的預防辦法是:
1)制度上:系統后臺設置提醒,提醒編輯上線后除非特殊情況不要下線;
2)功能上:這種情況在專題運營中最常見,且影響比單篇新聞頁要大,由于我站點運營規定是不能刪除頁面的,因此在系統后臺將“刪除專題(對編輯來說就是刪除該專題)”和“將專題調整為不對外顯示(對編輯來說不是刪除,而是暫時下線,調整為外網用戶無法訪問,可隨時再次重新上線)”兩個功能嚴格區分開,并提供回收功能。針對“將專題調整為不對外顯示”這種情況,不再將頁面更新為內容死鏈(頁面無法找到),以免被百度誤判。專題頁面仍可訪問,只是站點不設置入口、不進行推廣,用戶沒有訪問來源而已。
?
網站改版遭遇大量404 該如何應對
SEO ? perilla 發表了文章 ? 0 個評論 ? 6209 次瀏覽 ? 2018-02-26 10:25
隨著世界工廠網V3版本的上線,在期間多多少少還是丟掉了一些頁面。當我們遇到網站頁面被刪除的時候,究竟應該如何處理?首先說一下處理思路:
我們通常會用到的方法有兩種:
一、頁面狀態碼返回404:404頁面直接做成隨機推薦產品或其他內容(尋人啟示&情懷頁面);
二、頁面狀態碼返回200:10秒以后跳轉到網站導航頁或者其他有價值的頁面。
不過一般網站都是直接返回普通的404頁面,畢竟對于已經不存在的產品,仍然想保留在搜索引擎數據庫的話,是不符合原則的,所以我推薦是第一種。
最近站長平臺針對這塊兒也進行了相應的分享,我們一同來看下:
原標題:【大拿分享】新浪死鏈處理經驗分享
在第四次深“度”接觸結束后,spider工程師表示新浪的死鏈處理工作一直效果不錯,提醒學院應該請其做個分享。新浪穩座國家級門戶頭把交椅,誰還敢說自己網站結構的復雜程度可以超越新浪。于是我們請王久明分享一下新浪在死鏈處理和死鏈預防(重要頁面因修改而產生死鏈)方面的經驗。
一、在以下背景下會較多產生死鏈:
1、時政新聞的敏感性;
2、來自監管的刪除需求;
3、頻道(編輯)自身刪改的需求;
4、搜索方期望資源方主動優化和定期清除的需求
二、死鏈分類:
由于系統架構、歷史遺留問題、多業務系統交叉影響等多方面因素,新浪存在如下三種死鏈:
1、協議死鏈,服務器端返回HTTP狀態碼404;
例如:‘誰在偽善’http://news.sina.com.cn/movie/ ... shtml
2,內容死鏈,服務器端返回HTTP狀態碼200,無法設置為404;
例如:http://news.sina.com.cn/c/2015 ... shtml
3,頁面需要用戶和蜘蛛可以正常訪問,但由于刪改或誤操作導致反復上下線形成協議死鏈或內容死鏈。例如:http://news.sina.com.cn/2015-1 ... shtml
上線后又下線,后又上線,甚至反復多次。由于下線期間存在協議死鏈或內容死鏈的情況,導致百度認為該頁面應該被刪除,不被收錄,且即使后續重新上線也無法恢復收錄。對于這種情況,應加以預防。
三、解決方案:
1、協議死鏈,這個最符合HTML標準處理方式,站點方面無須多做什么,如果需要百度快速處理可以通過百度站長平臺的死鏈提交工具(http://zhanzhang.baidu.com/col ... itle18)進行主動提交
2,無法設置協議死鏈接,僅主體內容文本被刪除的內容死鏈死鏈,新浪的處理方法是:
1)走事先之制定好的《死鏈標準流程》:用站內標準內容死鏈模板頁面(告訴用戶該頁無法找到)覆蓋需要刪除的頁面,5秒后跳轉到統一的全站導航頁,以減少用戶流失。
2)根據需要,比如根據特定關鍵詞圈定一批最終需要處理為協議死鏈的敏感頁面,將這些頁面鏈接放到一個文件里,由專人在服務器端修改成協議死鏈。通過百度站長平臺工具進行死鏈提交
3,針對反復上下線導致百度誤判為死鏈的情況,新浪的預防辦法是:
1)制度上:系統后臺設置提醒,提醒編輯上線后除非特殊情況不要下線;
2)功能上:這種情況在專題運營中最常見,且影響比單篇新聞頁要大,由于我站點運營規定是不能刪除頁面的,因此在系統后臺將“刪除專題(對編輯來說就是刪除該專題)”和“將專題調整為不對外顯示(對編輯來說不是刪除,而是暫時下線,調整為外網用戶無法訪問,可隨時再次重新上線)”兩個功能嚴格區分開,并提供回收功能。針對“將專題調整為不對外顯示”這種情況,不再將頁面更新為內容死鏈(頁面無法找到),以免被百度誤判。專題頁面仍可訪問,只是站點不設置入口、不進行推廣,用戶沒有訪問來源而已。
? 查看全部
我們通常會用到的方法有兩種:
一、頁面狀態碼返回404:404頁面直接做成隨機推薦產品或其他內容(尋人啟示&情懷頁面);
二、頁面狀態碼返回200:10秒以后跳轉到網站導航頁或者其他有價值的頁面。
不過一般網站都是直接返回普通的404頁面,畢竟對于已經不存在的產品,仍然想保留在搜索引擎數據庫的話,是不符合原則的,所以我推薦是第一種。
最近站長平臺針對這塊兒也進行了相應的分享,我們一同來看下:
原標題:【大拿分享】新浪死鏈處理經驗分享
在第四次深“度”接觸結束后,spider工程師表示新浪的死鏈處理工作一直效果不錯,提醒學院應該請其做個分享。新浪穩座國家級門戶頭把交椅,誰還敢說自己網站結構的復雜程度可以超越新浪。于是我們請王久明分享一下新浪在死鏈處理和死鏈預防(重要頁面因修改而產生死鏈)方面的經驗。
一、在以下背景下會較多產生死鏈:
1、時政新聞的敏感性;
2、來自監管的刪除需求;
3、頻道(編輯)自身刪改的需求;
4、搜索方期望資源方主動優化和定期清除的需求
二、死鏈分類:
由于系統架構、歷史遺留問題、多業務系統交叉影響等多方面因素,新浪存在如下三種死鏈:
1、協議死鏈,服務器端返回HTTP狀態碼404;
例如:‘誰在偽善’http://news.sina.com.cn/movie/ ... shtml
2,內容死鏈,服務器端返回HTTP狀態碼200,無法設置為404;
例如:http://news.sina.com.cn/c/2015 ... shtml
3,頁面需要用戶和蜘蛛可以正常訪問,但由于刪改或誤操作導致反復上下線形成協議死鏈或內容死鏈。例如:http://news.sina.com.cn/2015-1 ... shtml
上線后又下線,后又上線,甚至反復多次。由于下線期間存在協議死鏈或內容死鏈的情況,導致百度認為該頁面應該被刪除,不被收錄,且即使后續重新上線也無法恢復收錄。對于這種情況,應加以預防。
三、解決方案:
1、協議死鏈,這個最符合HTML標準處理方式,站點方面無須多做什么,如果需要百度快速處理可以通過百度站長平臺的死鏈提交工具(http://zhanzhang.baidu.com/col ... itle18)進行主動提交
2,無法設置協議死鏈接,僅主體內容文本被刪除的內容死鏈死鏈,新浪的處理方法是:
1)走事先之制定好的《死鏈標準流程》:用站內標準內容死鏈模板頁面(告訴用戶該頁無法找到)覆蓋需要刪除的頁面,5秒后跳轉到統一的全站導航頁,以減少用戶流失。
2)根據需要,比如根據特定關鍵詞圈定一批最終需要處理為協議死鏈的敏感頁面,將這些頁面鏈接放到一個文件里,由專人在服務器端修改成協議死鏈。通過百度站長平臺工具進行死鏈提交
3,針對反復上下線導致百度誤判為死鏈的情況,新浪的預防辦法是:
1)制度上:系統后臺設置提醒,提醒編輯上線后除非特殊情況不要下線;
2)功能上:這種情況在專題運營中最常見,且影響比單篇新聞頁要大,由于我站點運營規定是不能刪除頁面的,因此在系統后臺將“刪除專題(對編輯來說就是刪除該專題)”和“將專題調整為不對外顯示(對編輯來說不是刪除,而是暫時下線,調整為外網用戶無法訪問,可隨時再次重新上線)”兩個功能嚴格區分開,并提供回收功能。針對“將專題調整為不對外顯示”這種情況,不再將頁面更新為內容死鏈(頁面無法找到),以免被百度誤判。專題頁面仍可訪問,只是站點不設置入口、不進行推廣,用戶沒有訪問來源而已。
? 查看全部
隨著世界工廠網V3版本的上線,在期間多多少少還是丟掉了一些頁面。當我們遇到網站頁面被刪除的時候,究竟應該如何處理?首先說一下處理思路:
我們通常會用到的方法有兩種:
一、頁面狀態碼返回404:404頁面直接做成隨機推薦產品或其他內容(尋人啟示&情懷頁面);
二、頁面狀態碼返回200:10秒以后跳轉到網站導航頁或者其他有價值的頁面。
不過一般網站都是直接返回普通的404頁面,畢竟對于已經不存在的產品,仍然想保留在搜索引擎數據庫的話,是不符合原則的,所以我推薦是第一種。
最近站長平臺針對這塊兒也進行了相應的分享,我們一同來看下:
原標題:【大拿分享】新浪死鏈處理經驗分享
在第四次深“度”接觸結束后,spider工程師表示新浪的死鏈處理工作一直效果不錯,提醒學院應該請其做個分享。新浪穩座國家級門戶頭把交椅,誰還敢說自己網站結構的復雜程度可以超越新浪。于是我們請王久明分享一下新浪在死鏈處理和死鏈預防(重要頁面因修改而產生死鏈)方面的經驗。
一、在以下背景下會較多產生死鏈:
1、時政新聞的敏感性;
2、來自監管的刪除需求;
3、頻道(編輯)自身刪改的需求;
4、搜索方期望資源方主動優化和定期清除的需求
二、死鏈分類:
由于系統架構、歷史遺留問題、多業務系統交叉影響等多方面因素,新浪存在如下三種死鏈:
1、協議死鏈,服務器端返回HTTP狀態碼404;
例如:‘誰在偽善’http://news.sina.com.cn/movie/ ... shtml
2,內容死鏈,服務器端返回HTTP狀態碼200,無法設置為404;
例如:http://news.sina.com.cn/c/2015 ... shtml
3,頁面需要用戶和蜘蛛可以正常訪問,但由于刪改或誤操作導致反復上下線形成協議死鏈或內容死鏈。例如:http://news.sina.com.cn/2015-1 ... shtml
上線后又下線,后又上線,甚至反復多次。由于下線期間存在協議死鏈或內容死鏈的情況,導致百度認為該頁面應該被刪除,不被收錄,且即使后續重新上線也無法恢復收錄。對于這種情況,應加以預防。
三、解決方案:
1、協議死鏈,這個最符合HTML標準處理方式,站點方面無須多做什么,如果需要百度快速處理可以通過百度站長平臺的死鏈提交工具(http://zhanzhang.baidu.com/col ... itle18)進行主動提交
2,無法設置協議死鏈接,僅主體內容文本被刪除的內容死鏈死鏈,新浪的處理方法是:
1)走事先之制定好的《死鏈標準流程》:用站內標準內容死鏈模板頁面(告訴用戶該頁無法找到)覆蓋需要刪除的頁面,5秒后跳轉到統一的全站導航頁,以減少用戶流失。
2)根據需要,比如根據特定關鍵詞圈定一批最終需要處理為協議死鏈的敏感頁面,將這些頁面鏈接放到一個文件里,由專人在服務器端修改成協議死鏈。通過百度站長平臺工具進行死鏈提交
3,針對反復上下線導致百度誤判為死鏈的情況,新浪的預防辦法是:
1)制度上:系統后臺設置提醒,提醒編輯上線后除非特殊情況不要下線;
2)功能上:這種情況在專題運營中最常見,且影響比單篇新聞頁要大,由于我站點運營規定是不能刪除頁面的,因此在系統后臺將“刪除專題(對編輯來說就是刪除該專題)”和“將專題調整為不對外顯示(對編輯來說不是刪除,而是暫時下線,調整為外網用戶無法訪問,可隨時再次重新上線)”兩個功能嚴格區分開,并提供回收功能。針對“將專題調整為不對外顯示”這種情況,不再將頁面更新為內容死鏈(頁面無法找到),以免被百度誤判。專題頁面仍可訪問,只是站點不設置入口、不進行推廣,用戶沒有訪問來源而已。
?
我們通常會用到的方法有兩種:
一、頁面狀態碼返回404:404頁面直接做成隨機推薦產品或其他內容(尋人啟示&情懷頁面);
二、頁面狀態碼返回200:10秒以后跳轉到網站導航頁或者其他有價值的頁面。
不過一般網站都是直接返回普通的404頁面,畢竟對于已經不存在的產品,仍然想保留在搜索引擎數據庫的話,是不符合原則的,所以我推薦是第一種。
最近站長平臺針對這塊兒也進行了相應的分享,我們一同來看下:
原標題:【大拿分享】新浪死鏈處理經驗分享
在第四次深“度”接觸結束后,spider工程師表示新浪的死鏈處理工作一直效果不錯,提醒學院應該請其做個分享。新浪穩座國家級門戶頭把交椅,誰還敢說自己網站結構的復雜程度可以超越新浪。于是我們請王久明分享一下新浪在死鏈處理和死鏈預防(重要頁面因修改而產生死鏈)方面的經驗。
一、在以下背景下會較多產生死鏈:
1、時政新聞的敏感性;
2、來自監管的刪除需求;
3、頻道(編輯)自身刪改的需求;
4、搜索方期望資源方主動優化和定期清除的需求
二、死鏈分類:
由于系統架構、歷史遺留問題、多業務系統交叉影響等多方面因素,新浪存在如下三種死鏈:
1、協議死鏈,服務器端返回HTTP狀態碼404;
例如:‘誰在偽善’http://news.sina.com.cn/movie/ ... shtml
2,內容死鏈,服務器端返回HTTP狀態碼200,無法設置為404;
例如:http://news.sina.com.cn/c/2015 ... shtml
3,頁面需要用戶和蜘蛛可以正常訪問,但由于刪改或誤操作導致反復上下線形成協議死鏈或內容死鏈。例如:http://news.sina.com.cn/2015-1 ... shtml
上線后又下線,后又上線,甚至反復多次。由于下線期間存在協議死鏈或內容死鏈的情況,導致百度認為該頁面應該被刪除,不被收錄,且即使后續重新上線也無法恢復收錄。對于這種情況,應加以預防。
三、解決方案:
1、協議死鏈,這個最符合HTML標準處理方式,站點方面無須多做什么,如果需要百度快速處理可以通過百度站長平臺的死鏈提交工具(http://zhanzhang.baidu.com/col ... itle18)進行主動提交
2,無法設置協議死鏈接,僅主體內容文本被刪除的內容死鏈死鏈,新浪的處理方法是:
1)走事先之制定好的《死鏈標準流程》:用站內標準內容死鏈模板頁面(告訴用戶該頁無法找到)覆蓋需要刪除的頁面,5秒后跳轉到統一的全站導航頁,以減少用戶流失。
2)根據需要,比如根據特定關鍵詞圈定一批最終需要處理為協議死鏈的敏感頁面,將這些頁面鏈接放到一個文件里,由專人在服務器端修改成協議死鏈。通過百度站長平臺工具進行死鏈提交
3,針對反復上下線導致百度誤判為死鏈的情況,新浪的預防辦法是:
1)制度上:系統后臺設置提醒,提醒編輯上線后除非特殊情況不要下線;
2)功能上:這種情況在專題運營中最常見,且影響比單篇新聞頁要大,由于我站點運營規定是不能刪除頁面的,因此在系統后臺將“刪除專題(對編輯來說就是刪除該專題)”和“將專題調整為不對外顯示(對編輯來說不是刪除,而是暫時下線,調整為外網用戶無法訪問,可隨時再次重新上線)”兩個功能嚴格區分開,并提供回收功能。針對“將專題調整為不對外顯示”這種情況,不再將頁面更新為內容死鏈(頁面無法找到),以免被百度誤判。專題頁面仍可訪問,只是站點不設置入口、不進行推廣,用戶沒有訪問來源而已。
?