搜索引擎蜘蛛找到網(wǎng)頁后能不能抓取
發(fā)布者: 華企立方 發(fā)布時間:2016-5-9 15:21:33
搜索引擎蜘蛛找到網(wǎng)頁后能不能抓取。首先,要明確一點的是網(wǎng)頁的URL必須是可以被抓取的,如果沒法搜索引擎沒法抓取到網(wǎng)頁URL,那只能說明這個網(wǎng)站廢了,所以要確保網(wǎng)頁是否能被抓取。一般來說URL都是可以被抓取的,如果你的網(wǎng)頁是由數(shù)據(jù)庫動態(tài)生成的,那么URL要做偽靜態(tài)處理,也就是說站長要去掉URL里帶有問號參數(shù)之類的東西,我見過很多網(wǎng)站都沒有去掉這類的參數(shù),最終出現(xiàn)搜索引擎不信任這類URL,所以為了避免這樣的現(xiàn)象發(fā)生最好還是做好優(yōu)化。
如果你網(wǎng)站上有大量的flash文件,建議去掉或者做改善,經(jīng)驗告訴了我搜索引擎很難讀取上面的內(nèi)容,而且這種也稱為蜘蛛陷阱。可能現(xiàn)在百度這塊在解決讀取flash信息的問題,但目前為止估計是行不通了。另外還要去避免框架結(jié)構(gòu)frame,現(xiàn)在很少有網(wǎng)站做框架結(jié)構(gòu)了,要記住一點千萬別做,這是蜘蛛的大敵。
更多資訊來源于:佛山網(wǎng)站建設(shè)2800kj.cn
此文關(guān)鍵字: