百度蜘蛛介紹及優(yōu)化方法
重所周知百度是靠百度蜘蛛來抓取網(wǎng)頁,那我們在網(wǎng)站優(yōu)化SEO的過程當(dāng)中要注意什么呢,我們先了解一下什么是百度度蜘蛛(aiduspider)
什么是baiduspider? baiduspider是百度搜索引擎的一個(gè)自動(dòng)程序。它的作用是訪問互聯(lián)網(wǎng)上的html網(wǎng)頁,建立索引數(shù)據(jù)庫,使用戶能在百度搜索引擎中搜索到您網(wǎng)站的網(wǎng)頁。
baiduspider對一個(gè)網(wǎng)站服務(wù)器造成的訪問壓力如何? baiduspider會(huì)自動(dòng)根據(jù)服務(wù)器的負(fù)載能力調(diào)節(jié)訪問密度。在連續(xù)訪問一段時(shí)間后,baiduspider會(huì)暫停一會(huì),以防止增大服務(wù)器的訪問壓力。所以在一般情況下,baiduspider對您網(wǎng)站的服務(wù)器不會(huì)造成過大壓力。
為什么baiduspider不停的抓取我的網(wǎng)站? 對于您網(wǎng)站上新產(chǎn)生的或者持續(xù)更新的頁面,baiduspider會(huì)持續(xù)抓取。此外,您也可以檢查網(wǎng)站訪問日志中baiduspider的訪問是否正常,以防止有人惡意冒充baiduspider來頻繁抓取您的網(wǎng)站。 如果您發(fā)現(xiàn)baiduspider非正常抓取您的網(wǎng)站,請反饋至webmaster@baidu.com,并請盡量給出baiduspider對貴站的訪問日志,以便于我們跟蹤處理。
我不想我的網(wǎng)站被baiduspider訪問,我該怎么做? baiduspider遵守互聯(lián)網(wǎng)robots協(xié)議。您可以利用robots.txt文件完全禁止baiduspider訪問您的網(wǎng)站,或者禁止baiduspider訪問您網(wǎng)站上的部分文件。 注意:禁止baiduspider訪問您的網(wǎng)站,將使您的網(wǎng)站上的網(wǎng)頁,在百度搜索引擎以及所有百度提供搜索引擎服務(wù)的搜索引擎中無法被搜索到。
為什么我網(wǎng)站已經(jīng)加了robots.txt,還能在百度搜索出來? 因?yàn)樗阉饕嫠饕龜?shù)據(jù)庫的更新需要時(shí)間。雖然baiduspider已經(jīng)停止訪問您網(wǎng)站上的網(wǎng)頁,但百度搜索引擎數(shù)據(jù)庫中已經(jīng)建立的網(wǎng)頁索引信息,可能需要二至四周才會(huì)清除。 另外也請檢查您的robots配置是否正確。
我希望我的網(wǎng)站內(nèi)容被百度索引但不被保存快照,我該怎么做? baiduspider遵守互聯(lián)網(wǎng)meta robots協(xié)議。您可以利用網(wǎng)頁meta的設(shè)置,使百度顯示只對該網(wǎng)頁建索引,但并不在搜索結(jié)果中顯示該網(wǎng)頁的快照。 和robots的更新一樣,因?yàn)樗阉饕嫠饕龜?shù)據(jù)庫的更新需要時(shí)間,所以雖然您已經(jīng)在網(wǎng)頁中通過meta禁止了百度在搜索結(jié)果中顯示該網(wǎng)頁的快照,但百度搜索引擎數(shù)據(jù)庫中如果已經(jīng)建立了網(wǎng)頁索引信息,可能需要二至四周才會(huì)在線上生效。
百度蜘蛛在robots.txt中的名字是什么? “Baiduspider” 首字母B大寫,其余為小寫。
baiduspider多長時(shí)間之后會(huì)重新抓取我的網(wǎng)頁? 百度搜索引擎每周更新,網(wǎng)頁視重要性有不同的更新率,頻率在幾天至一月之間,baiduspider會(huì)重新訪問和更新一個(gè)網(wǎng)頁。
baiduspider抓取造成的帶寬堵塞? baiduspider的正常抓取并不會(huì)造成您網(wǎng)站的帶寬堵塞,造成此現(xiàn)象可能是由于有人冒充baidu的spider惡意抓取。如果您發(fā)現(xiàn)有名為Baiduspider的agent抓取并且造成帶寬堵塞,請盡快和我們聯(lián)系。您可以將信息反饋至webmaster@baidu.com,如果能夠提供您網(wǎng)站該時(shí)段的訪問日志將更加有利于我們的分析。
針對百度蜘蛛我們相應(yīng)要采取的網(wǎng)站優(yōu)化SEO方法有: 1、新站最好前期有一些原創(chuàng)的內(nèi)容,不用多,因?yàn)閮?nèi)容多少不是收錄和排名的原因,關(guān)鍵還是在于內(nèi)容,即使只有一頁,但是也是會(huì)有收錄和排名的;原創(chuàng)內(nèi)容之所以重要,就是它的唯一性,在一開始,寫了原創(chuàng)文章,最好是只在自己網(wǎng)站發(fā)布,給搜索引擎一個(gè)新鮮感,讓它覺得你的獨(dú)特性。曾經(jīng)做過一個(gè)實(shí)驗(yàn),網(wǎng)站剛開始很多內(nèi)容都是采集和人為手動(dòng)添加的,大概有一個(gè)月都沒有收錄,就其原因,應(yīng)該是網(wǎng)站內(nèi)容的問題。原創(chuàng)的文章如果轉(zhuǎn)載,最好是待網(wǎng)站收錄這篇文章,或者待這篇文章被蜘蛛爬行過后,即使沒有放出的時(shí)候,再將這篇文章轉(zhuǎn)載了,最好帶上自己的鏈接哦。
2、正確引導(dǎo)蜘蛛;對網(wǎng)站收錄很重要,蜘蛛每天都來就是不收錄,其實(shí)這是一個(gè)好的兆頭,有蜘蛛爬肯的是好事,說明蜘蛛的引導(dǎo)不錯(cuò);蜘蛛來不來,都跟你的外部鏈接是有很大的關(guān)系的,所以不要過分的重視收錄頁面的數(shù)量,而是一定視蜘蛛的來訪數(shù)量和頻率,那么新站如何使得蜘蛛頻繁的訪問呢?建議是:軟文推廣!
我注意到最近的一個(gè)現(xiàn)象,軟文經(jīng)常會(huì)出現(xiàn)在一些行業(yè)或者地方的資訊和門戶網(wǎng)站上,給網(wǎng)站帶來流量是肯定的,而且在SEO的角度去看,大量的軟文,不僅能帶來活躍的外鏈,而且可以不斷的引導(dǎo)在其它網(wǎng)站上爬行的蜘蛛來訪問你的網(wǎng)站。
3、切勿濫發(fā)鏈接,而做正常的友情鏈接;之前我也有在一些博客發(fā)布一些內(nèi)容鏈接,但是目的只是為了引導(dǎo)下蜘蛛的訪問,主要還是以鏈接為主,當(dāng)然能以軟文帶鏈接是個(gè)不錯(cuò)的方法,但是別寫一篇文章都是鏈接;鏈接很重要,但是也不要濫發(fā)鏈接,畢竟鏈接的質(zhì)量要高于鏈接的數(shù)量啊,即使群發(fā)也要講究技巧和手段,就個(gè)人意見來看,如果不能夠掌握度和技巧還是不發(fā)為好,畢竟不會(huì)被K。
而正常的友情鏈接是異常重要的,軟文固然可以帶來一定流量和蜘蛛,但穩(wěn)定的權(quán)重一定是交換鏈接帶來的,所以,多交換相同類型的網(wǎng)站鏈接,是一個(gè)很不錯(cuò)的方式。如果你能保證每天能有一個(gè)交換鏈接,對于SEO來說是最美妙不過的事情了。
4、不要頻繁修改首頁標(biāo)題,在排名不穩(wěn)定的情況下修改,會(huì)導(dǎo)致網(wǎng)站降權(quán),主要表現(xiàn)就是關(guān)鍵詞排名下降,甚至直接被K。
|