Baidu Spider上一次升級(jí)還要追溯到2010年。
那個(gè)時(shí)候,中國(guó)互聯(lián)網(wǎng)資源急劇擴(kuò)張,從百億擴(kuò)大到千億規(guī)模,因而spider系統(tǒng)進(jìn)行了重構(gòu),從單機(jī)互聯(lián)轉(zhuǎn)變?yōu)榉植际接?jì)算系統(tǒng)。
但是有一個(gè)很大的缺點(diǎn):延時(shí)嚴(yán)重!
而此次重構(gòu)是把當(dāng)前離線、全量計(jì)算為主的系統(tǒng),改造成實(shí)時(shí)、增量計(jì)算的全實(shí)時(shí)調(diào)度系統(tǒng),萬(wàn)億規(guī)模的數(shù)據(jù)進(jìn)行實(shí)時(shí)讀寫,可以收錄90%的網(wǎng)頁(yè),速度提升80%!
一張圖以蔽之:
一、鏈接發(fā)現(xiàn)方面
如今sipder每天發(fā)現(xiàn)的新鏈接在500億左右的量級(jí),而在百度站長(zhǎng)平臺(tái)提交鏈接是其中最為高效的,特此,工程師提醒站長(zhǎng)不要過(guò)度提交鏈接,尤其是低質(zhì)鏈接,這樣才能達(dá)到更好更及時(shí)的收錄效果。
二、鏈接抓取方面
策略上,開(kāi)發(fā)了更強(qiáng)大的機(jī)器學(xué)習(xí)模型,來(lái)進(jìn)行鏈接的質(zhì)量預(yù)測(cè),對(duì)庫(kù)中所有的鏈接進(jìn)行全局排序,對(duì)有價(jià)值鏈接的召回率提高95%!
架構(gòu)上,計(jì)算性能的強(qiáng)勁提升,對(duì)每天新增的數(shù)百億模塊的鏈接,完成實(shí)時(shí)計(jì)算,延時(shí)不到1秒;開(kāi)發(fā)了更強(qiáng)大的存儲(chǔ)系統(tǒng),面對(duì)萬(wàn)億規(guī)模的數(shù)據(jù)做到實(shí)時(shí)讀寫。
三、時(shí)效性頁(yè)面方面
中長(zhǎng)尾站的福音!針對(duì)時(shí)效性資源,從原來(lái)的優(yōu)先對(duì)新浪、網(wǎng)易等大新聞?wù)具M(jìn)行抓取,擴(kuò)大到覆蓋全網(wǎng)的新聞、博客、論壇等站點(diǎn)進(jìn)行快速抓取,大小站都能優(yōu)待。
打破老的平穩(wěn)抓取模型,采用按需抓取機(jī)制,對(duì)有時(shí)效性新資源,做到秒級(jí)抓取。
目前,每天收錄的時(shí)效性資源規(guī)模,擴(kuò)大到原來(lái)的3倍,達(dá)到近1億量級(jí)!
四、死鏈方面
全新的死鏈識(shí)別模型,能識(shí)別各種協(xié)議死鏈、內(nèi)容死鏈、跳轉(zhuǎn)死鏈等低質(zhì)網(wǎng)頁(yè)。
其中無(wú)效低質(zhì)網(wǎng)頁(yè)(如被黑),通過(guò)百度站長(zhǎng)平臺(tái)提交,可加快檢索屏蔽的過(guò)程。
五、建庫(kù)方面
索引展現(xiàn)時(shí)效性提升,原來(lái)是10天左右,現(xiàn)在提升40%~80%不等!
本站所有相關(guān)知識(shí)僅供大家參考、學(xué)習(xí)之用,本文來(lái)源于互聯(lián)網(wǎng),其版權(quán)均歸原作者及網(wǎng)站所有,如無(wú)意侵犯您的權(quán)利,請(qǐng)與小編聯(lián)系,我們將會(huì)在第一時(shí)間核實(shí), 如情況屬實(shí)會(huì)在3個(gè)工作日內(nèi)刪除;如您有優(yōu)秀作品,也歡迎聯(lián)系小編在我們網(wǎng)站投稿!http://www.jonasericson.com/聯(lián)系方式: [email protected]