數(shù)據(jù)分析系統(tǒng)，是搜索引擎整個工作流程的第二個系統(tǒng)，也就是既搜索引擎蜘蛛抓取系統(tǒng)的后一個系統(tǒng)，搜索引擎的數(shù)據(jù)分析系統(tǒng)主要用來處理蜘蛛抓取回來的網(wǎng)頁，今天呢，小強(qiáng)會給你詳細(xì)的講解，搜索引擎的數(shù)據(jù)分析系統(tǒng)的工作流程及幾個重要的知識點(diǎn)。我們剛剛說了，數(shù)據(jù)分析系統(tǒng)主要是分析蜘蛛抓取回來的內(nèi)容，那么怎樣分析呢?主要涵蓋以下幾點(diǎn)。

　　網(wǎng)頁結(jié)構(gòu)化

　　什么是網(wǎng)頁結(jié)構(gòu)化呢?我們要知道網(wǎng)頁，是由html組成，搜索引擎蜘蛛最后抓取回來的，也都是html的代碼頁面，簡單的說，網(wǎng)頁結(jié)構(gòu)化，就是刪掉html代碼，然后留下其中的內(nèi)容，如下圖，圖1是網(wǎng)頁結(jié)構(gòu)化之前，圖2就是網(wǎng)頁結(jié)構(gòu)化之后。

　　網(wǎng)頁結(jié)構(gòu)化之前

　　網(wǎng)頁結(jié)構(gòu)化之后

　　網(wǎng)頁的內(nèi)容消噪

　　在網(wǎng)頁結(jié)構(gòu)后之后，依然存在著一些搜索引擎不需要的內(nèi)容，比如說導(dǎo)航欄的菜單文字，底部的版權(quán)信息等，這些呢，都是搜索引擎不需要的，搜索引擎只需要內(nèi)容，那么在這個時候就會對網(wǎng)頁結(jié)構(gòu)化之后的內(nèi)容進(jìn)行消噪處理，簡單的說，消噪就是把內(nèi)容之外的文字全部刪掉，比如菜單上的文字，底部版權(quán)的文字等等。

　　那么搜索引擎的數(shù)據(jù)分析系統(tǒng)怎么判斷哪些是菜單文字哪些是版權(quán)信息呢?

　　其實(shí)很簡單，就是對比，比如一個內(nèi)容頁，除了內(nèi)容不一樣，其他的內(nèi)容幾乎一樣，比如導(dǎo)航，每個頁面都有導(dǎo)航，而且文字也一樣，版權(quán)也是，當(dāng)然也會根據(jù)html的源碼去分析。

　　對頁面的查重

　　對頁面的查重其實(shí)很好理解，就是搜索引擎蜘蛛在抓取你這個網(wǎng)站所有的頁面中，用你這個頁面去對比抓取的頁面，看看內(nèi)容是否有重復(fù)，如果有，那么就刪掉。

　　分詞

　　分詞是什么東西呢?簡單的說，就是把一句話切割成N個詞語，分詞又分為中文分詞和英文分詞，搜索引擎有一本自己的數(shù)據(jù)庫字典，里邊有好多詞語，然后對照著字典進(jìn)行分詞;其中還有一點(diǎn)，就是在分詞的時候，會把一些無用的字去掉，比如，的、啊等等。

　　頁面對應(yīng)URL的分析

　　這個是網(wǎng)頁分析系統(tǒng)的最后一個步驟，主要是根據(jù)一些外在因素、內(nèi)在因素對這個頁面對應(yīng)URL的權(quán)重值的判斷，比如外鏈、內(nèi)鏈等，這個影響到這個頁面關(guān)鍵詞的排名。

　　本文地址：http://www.shizhanqiang.com/2012071065.html