在這個(gè)科技高度發(fā)達(dá)的時(shí)代，百度已經(jīng)成為人們能獲取消息的主要途徑。但如今的百度，到處充斥著一些重復(fù)的內(nèi)容，對(duì)用戶的訪問(wèn)造成很大的困擾。因此，百度需要對(duì)網(wǎng)頁(yè)重復(fù)進(jìn)行判斷，對(duì)重復(fù)的網(wǎng)頁(yè)，只選取一些高質(zhì)量的。廣州網(wǎng)站建設(shè)推廣發(fā)現(xiàn)，然而，現(xiàn)有技術(shù)中一般是通過(guò)比較兩個(gè)頁(yè)面的內(nèi)容和借點(diǎn)，來(lái)確認(rèn)兩個(gè)頁(yè)面的相似度。

這種方法能夠計(jì)算的比較準(zhǔn)確，可時(shí)間復(fù)雜度太高，計(jì)算很費(fèi)時(shí)間。通過(guò)對(duì)一個(gè)頁(yè)面中的某些重要信息進(jìn)行簽名，然后比較兩個(gè)頁(yè)面的簽名，來(lái)計(jì)算相似度，這種方式比較簡(jiǎn)單高效，計(jì)算速度比較快，比較適合百度這種海量信息的應(yīng)用場(chǎng)景。

1，網(wǎng)站重復(fù)內(nèi)容的判斷

A，獲取多個(gè)網(wǎng)頁(yè);

B，分別提取網(wǎng)頁(yè)的網(wǎng)頁(yè)正文;

C，從網(wǎng)頁(yè)正文中提取一個(gè)或多個(gè)句子，并根據(jù)一個(gè)或多個(gè)句子計(jì)算網(wǎng)頁(yè)正文句子簽名;

D，根據(jù)網(wǎng)頁(yè)正文句子簽名對(duì)多個(gè)網(wǎng)頁(yè)進(jìn)行聚類;

E，針對(duì)每一類下的網(wǎng)頁(yè)，計(jì)算網(wǎng)頁(yè)的附加簽名;

F，根據(jù)附加簽名判斷每一類下的網(wǎng)頁(yè)是否重復(fù)。

通過(guò)上述方式，網(wǎng)站建設(shè)好之后網(wǎng)頁(yè)重復(fù)的判斷系統(tǒng)及其判斷方法通過(guò)包括網(wǎng)頁(yè)正文句子簽名在內(nèi)的多維度簽名有效且快速地判斷網(wǎng)頁(yè)是否重復(fù)。

網(wǎng)頁(yè)基本架構(gòu)圖

提取正文

A，對(duì)網(wǎng)頁(yè)進(jìn)行分塊;

B，對(duì)分塊后的網(wǎng)頁(yè)進(jìn)行塊過(guò)濾，以獲取包含網(wǎng)頁(yè)正文的內(nèi)容快;

C，從內(nèi)容塊中提取網(wǎng)頁(yè)正文。

正文分句

A，對(duì)網(wǎng)頁(yè)正文進(jìn)行分句;

在本步驟中，可利用分號(hào)，句號(hào)，感嘆號(hào)等表示句子完結(jié)的標(biāo)志符號(hào)來(lái)對(duì)網(wǎng)頁(yè)正文進(jìn)行分句。此外，還可以通過(guò)網(wǎng)頁(yè)正文的視覺(jué)信息來(lái)對(duì)網(wǎng)頁(yè)正文進(jìn)行分句。

B，對(duì)分句后的網(wǎng)頁(yè)正文進(jìn)行過(guò)濾及轉(zhuǎn)換;

在步驟中，首先過(guò)濾掉句子中的數(shù)字信息;版權(quán)信息以及其他對(duì)網(wǎng)頁(yè)重復(fù)判斷不起決定性作用的信息。隨后，對(duì)句子進(jìn)行轉(zhuǎn)換，例如，進(jìn)行全角/半角轉(zhuǎn)換或者繁體/簡(jiǎn)體轉(zhuǎn)換，以使得轉(zhuǎn)換后的句子的格式統(tǒng)一。

C，從過(guò)濾及轉(zhuǎn)換后的網(wǎng)頁(yè)正文中提取最長(zhǎng)的一個(gè)或多個(gè)句子;

在本步驟中，過(guò)濾及轉(zhuǎn)換后的網(wǎng)頁(yè)正文提取出最長(zhǎng)的一個(gè)句子或者做場(chǎng)的預(yù)定數(shù)量連續(xù)句子的組合。例如，某個(gè)網(wǎng)頁(yè)實(shí)例中，經(jīng)過(guò)過(guò)濾及轉(zhuǎn)換后的某段最長(zhǎng)，遠(yuǎn)超其他句子，因此可選擇該段為網(wǎng)頁(yè)正文句子，或者選擇最長(zhǎng)的連續(xù)句子組合作為網(wǎng)頁(yè)正文句子。

D，對(duì)一個(gè)或多個(gè)句子進(jìn)行hash簽名運(yùn)算，以獲取網(wǎng)頁(yè)正文句子簽名。

simhash算法就是比較各網(wǎng)頁(yè)的附加簽名是否相同或相似來(lái)判斷網(wǎng)頁(yè)是否重復(fù)。具體來(lái)說(shuō)，在比較利用simhash簽名運(yùn)算獲得的網(wǎng)頁(yè)正文簽名時(shí)，比較網(wǎng)頁(yè)正文簽名的不同位數(shù)，不同位越少，表示網(wǎng)頁(yè)重復(fù)的可能性越高，在比較其他的附加簽名時(shí)，若附加簽名相等，表示網(wǎng)頁(yè)在該緯度上重復(fù)。

總結(jié)：

1、兩個(gè)網(wǎng)頁(yè)的真實(shí)標(biāo)題簽名相同。

2、兩個(gè)我那工業(yè)的網(wǎng)頁(yè)內(nèi)容簽名相同。

3、兩個(gè)網(wǎng)頁(yè)的網(wǎng)頁(yè)正文簽名的不同位數(shù)小于6.。

4、兩個(gè)網(wǎng)頁(yè)的網(wǎng)頁(yè)位置簽名相同，并且url文件名簽名相同。

5、評(píng)論塊簽名、資源簽名、標(biāo)簽標(biāo)題簽名、摘要簽名、url文件名簽名中有三個(gè)簽名相同。

廣州網(wǎng)站建設(shè)推廣公司附加信息整站判斷重復(fù)標(biāo)準(zhǔn)：

通過(guò)兩兩頁(yè)面比較，可以得到真重復(fù)url的集合。一般來(lái)說(shuō)，如果這個(gè)真重復(fù)url集合中的網(wǎng)頁(yè)的數(shù)量/整個(gè)網(wǎng)頁(yè)集中網(wǎng)頁(yè)的數(shù)量大于30%，則認(rèn)為整個(gè)網(wǎng)頁(yè)集都是真重復(fù)，否則就是假重復(fù)。

本站所有相關(guān)知識(shí)僅供大家參考、學(xué)習(xí)之用，本文來(lái)源于互聯(lián)網(wǎng)，其版權(quán)均歸原作者及網(wǎng)站所有，如無(wú)意侵犯您的權(quán)利，請(qǐng)與小編聯(lián)系，我們將會(huì)在第一時(shí)間核實(shí)， 如情況屬實(shí)會(huì)在3個(gè)工作日內(nèi)刪除；如您有優(yōu)秀作品，也歡迎聯(lián)系小編在我們網(wǎng)站投稿！http://www.jonasericson.com/聯(lián)系方式： [email protected]