我看到幾個常見的錯誤彈出。一個錯誤的設(shè)法，索引頁，你應(yīng)該阻止抓取路徑。有意義的，對不合錯誤?如不美觀你不想要的頁面索引，為什么你會但愿它爬?不幸的是，雖然這聽起來合乎邏輯的，也是完全錯誤的。讓我們來看看一個例子...

　　例如：產(chǎn)物評論

　　假設(shè)我們有一個體面的年夜型電子商務(wù)網(wǎng)站，與怪異的產(chǎn)物1000頁。這些網(wǎng)頁看起來像這樣：

　　每個產(chǎn)物都有自己的URL頁面，當然，這些網(wǎng)址如下結(jié)構(gòu)：

　　http://www.***.com/product/1

　　http://www.***.com/product/2

　　http://www.***.com/product/3

　　http://www.***.com/product/1000

　　此刻讓我們說，每個這些產(chǎn)物的網(wǎng)頁鏈接到該產(chǎn)物的評論頁：

　　這些審查的網(wǎng)頁也有自己的，怪異的網(wǎng)址(并列產(chǎn)物ID)，像這樣：

　　http://www.***.com/review/1

　　http://www.***.com/review/2

　　http://www.***.com/review/3

　　http://www.***.com/review/1000

　　不幸的是，我們剛剛剝離出1000個一再的網(wǎng)頁，每次評審的頁面是真的只是一種形式，有沒有怪異的內(nèi)容。這些審查的網(wǎng)頁有沒有搜索價值，只是稀釋我們的索引。是以，我們抉擇是時辰采納步履......

　　“修復”，第1部門

　　我們但愿這些網(wǎng)頁了，所以我們抉擇使用noindex元(元機械人)標簽。因為我們真的，真的要完全頁面，我們也抉擇nofollow的審查鏈接。我們初度考試考試修復竣事，看起來像這樣：

　　概況上，它是有事理的。這佬?罾υ?題，雖然 - 那些紅色箭頭正在削減路徑，可能阻止蜘蛛。如不美觀蜘蛛審查頁面永遠不會回去，他們永遠也讀了NOINDEX，他們不會去索引的網(wǎng)頁。最好的情形下，它會需要很長時刻(已去指數(shù)化的時刻太長，對年夜型網(wǎng)站)。

　　修復，第2部門

　　相反，讓我們分開路徑(我們應(yīng)遵循的鏈接)。這種體例，將繼續(xù)爬蟲訪謁的頁面，一再審查的URL應(yīng)該逐漸消逝蹤：

　　堅持下去，在這個過程中仍然需要一段時刻(周，在年夜年夜都情形下)。看管您的索引(在“site：”操作符)每日 - 你要找的跟著時刻的推移逐漸削減。如不美觀這發(fā)生，你是在精采的狀況。PRO提醒：不要采納任何一天的“網(wǎng)站：”算太嚴重 - 它可所以不成靠的，不時。跟著時刻的推移的趨向看。以上內(nèi)容由 www.guhele.com 飲食攝生網(wǎng)在admin5首發(fā)，轉(zhuǎn)載請保留網(wǎng)址，感謝!