網(wǎng)絡(luò)爬蟲(chóng)的爬行策略
1、PartialPageRank策略
PartialPageRank算法借鑒了PageRank算法的思想:對(duì)于已經(jīng)下載的網(wǎng)頁(yè),連同待抓取URL隊(duì)列中的URL,形成網(wǎng)頁(yè)集合,計(jì)算每個(gè)頁(yè)面的PageRank值,計(jì)算完之后,將待抓取URL隊(duì)列中的URL按照PageRank值的大小排列,并按照該順序抓取頁(yè)面。
如果每次抓取一個(gè)頁(yè)面,就重新計(jì)算PageRank值,一種折中方案是:每抓取K個(gè)頁(yè)面后,重新計(jì)算一次PageRank值。但是這種情況還會(huì)有一個(gè)問(wèn)題:對(duì)于已經(jīng)下載下來(lái)的頁(yè)面中分析出的鏈接,也就是我們之前提到的未知網(wǎng)頁(yè)那一部分,暫時(shí)是沒(méi)有PageRank值的。為了解決這個(gè)問(wèn)題,會(huì)給這些頁(yè)面一個(gè)臨時(shí)的PageRank值:將這個(gè)網(wǎng)頁(yè)所有入鏈傳遞進(jìn)來(lái)的PageRank值進(jìn)行匯總,這樣就形成了該未知頁(yè)面的PageRank值,從而參與排序。
2、寬度優(yōu)先遍歷策略
寬度優(yōu)先遍歷策略的基本思路是,將新下載網(wǎng)頁(yè)中發(fā)現(xiàn)的鏈接直接插入待抓取URL隊(duì)列的末尾。也就是指網(wǎng)絡(luò)爬蟲(chóng)會(huì)先抓取起始網(wǎng)頁(yè)中鏈接的所有網(wǎng)頁(yè),然后再選擇其中的一個(gè)鏈接網(wǎng)頁(yè),繼續(xù)抓取在此網(wǎng)頁(yè)中鏈接的所有網(wǎng)頁(yè)。
3、大站優(yōu)先策略
對(duì)于待抓取URL隊(duì)列中的所有網(wǎng)頁(yè),根據(jù)所屬的網(wǎng)站進(jìn)行分類。對(duì)于待下載頁(yè)面數(shù)多的網(wǎng)站,優(yōu)先下載。這個(gè)策略也因此叫做大站優(yōu)先策略。
4、反向鏈接數(shù)策略
反向鏈接數(shù)是指一個(gè)網(wǎng)頁(yè)被其他網(wǎng)頁(yè)鏈接指向的數(shù)量。反向鏈接數(shù)表示的是一個(gè)網(wǎng)頁(yè)的內(nèi)容受到其他人的推薦的程度。因此,很多時(shí)候搜索引擎的抓取系統(tǒng)會(huì)使用這個(gè)指標(biāo)來(lái)評(píng)價(jià)網(wǎng)頁(yè)的重要程度,從而決定不同網(wǎng)頁(yè)的抓取先后順序。
在真實(shí)的網(wǎng)絡(luò)環(huán)境中,由于廣告鏈接、作弊鏈接的存在,反向鏈接數(shù)不能完全等他我那個(gè)也的重要程度。因此,搜索引擎往往考慮一些可靠的反向鏈接數(shù)。
5、OPIC策略策略
該算法實(shí)際上也是對(duì)頁(yè)面進(jìn)行一個(gè)重要性打分。在算法開(kāi)始前,給所有頁(yè)面一個(gè)相同的初始現(xiàn)金(cash)。當(dāng)下載了某個(gè)頁(yè)面P之后,將P的現(xiàn)金分?jǐn)偨o所有從P中分析出的鏈接,并且將P的現(xiàn)金清空。對(duì)于待抓取URL隊(duì)列中的所有頁(yè)面按照現(xiàn)金數(shù)進(jìn)行排序。
6、深度優(yōu)先遍歷策略
深度優(yōu)先遍歷策略是指網(wǎng)絡(luò)爬蟲(chóng)會(huì)從起始頁(yè)開(kāi)始,一個(gè)鏈接一個(gè)鏈接跟蹤下去,處理完這條線路之后再轉(zhuǎn)入下一個(gè)起始頁(yè),繼續(xù)跟蹤鏈接。
-
網(wǎng)絡(luò)爬蟲(chóng)
+關(guān)注
關(guān)注
1文章
52瀏覽量
8876 -
爬蟲(chóng)
+關(guān)注
關(guān)注
0文章
83瀏覽量
7339
發(fā)布評(píng)論請(qǐng)先 登錄
樹(shù)莓派“復(fù)活”我的世界爬行者,現(xiàn)實(shí)版“噩夢(mèng)”機(jī)器人誕生!

高壓放大器基于壓電驅(qū)動(dòng)的爬行機(jī)器人的研究實(shí)驗(yàn)

評(píng)論