廣度爬行和深度爬行
廣度優(yōu)先：一般來說比較多在用在新站上面。蜘蛛根據(jù)網(wǎng)站的層次目錄結(jié)構(gòu)，爬行，先訪問第一層 目錄的頁(yè)面，爬行完畢之后在爬行第二層的頁(yè)面依此類推。但是這樣爬行來說很多時(shí)候蜘蛛只在第一層目 錄或者前幾層目錄爬完就走了。這樣被收錄的頁(yè)面和網(wǎng)站本身的頁(yè)面比例來說不是很大。是以站長(zhǎng)要解決 這個(gè)問題一般來說要從兩個(gè)方面入手，一個(gè)是增加網(wǎng)站權(quán)重，爭(zhēng)取蜘蛛在廣度爬行的時(shí)候也進(jìn)行深度爬行 。另外是，減少目錄層次，一般來說現(xiàn)在的開源程序和網(wǎng)站程序的架構(gòu)也都比較好，我們建立一級(jí)欄目和 二級(jí)欄目就足夠。整體的目錄層次不要超過三層。這樣利于蜘蛛的收錄和爬行。如果網(wǎng)站權(quán)重不夠，而發(fā) 布的內(nèi)容又再較深的目錄層次，應(yīng)該讓其在首頁(yè)顯示，蜘蛛來的時(shí)候可以第一時(shí)間爬行。現(xiàn)在各大搜索引 擎根據(jù)網(wǎng)站的權(quán)重大小一般都回采用廣度爬行和深度爬行同時(shí)進(jìn)行。
文章由佛山網(wǎng)站建設(shè)2800kj.cn整理提供
|
新聞資訊
