在搜索引擎系統中又被稱(chēng)之為“蜘蛛”或“機器人”，是用來(lái)爬行和訪(fǎng)問(wèn)頁(yè)面的程序。用來(lái)抓取網(wǎng)站的重要信息。

一. 爬行原理

搜索引擎蜘蛛訪(fǎng)問(wèn)到網(wǎng)頁(yè)的過(guò)程，就好比用戶(hù)使用的瀏覽器。

搜索引擎蜘蛛向頁(yè)面發(fā)出訪(fǎng)問(wèn)請求，該頁(yè)面的服務(wù)器則返回該頁(yè)面的HTML代碼。

搜索引擎蜘蛛將收到的HTML代碼存入搜索引擎的原始頁(yè)面數據庫中。

二.如何爬行

為了提高搜索引擎蜘蛛的工作效率，通常采用多個(gè)蜘蛛并發(fā)分布爬行。

同時(shí)，分布爬行還分為兩種模式：深度優(yōu)先和廣度優(yōu)先。

深度優(yōu)先：沿著(zhù)發(fā)現的鏈接一直爬行，直到?jīng)]有任何鏈接。

廣度優(yōu)先：先這一頁(yè)面上的所有鏈接爬行完畢之后，才會(huì )沿著(zhù)第二層頁(yè)面繼續這樣爬行。

三. 蜘蛛必遵守的協(xié)議

搜索引擎蜘蛛在訪(fǎng)問(wèn)網(wǎng)站之前，都會(huì )先訪(fǎng)問(wèn)網(wǎng)站根目錄下的robots.txt文件。

搜索引擎蜘蛛不會(huì )去抓取robots.txt文件中禁止爬行的文件或目錄。

四. 常見(jiàn)搜索引擎蜘蛛

百度蜘蛛：Baiduspider

谷歌蜘蛛：Googlebot

360蜘蛛：360Spider

SOSO蜘蛛：Sosospider

有道蜘蛛：YoudaoBot，YodaoBot

搜狗蜘蛛：Sogou News Spider

必應蜘蛛：bingbot

Alexa蜘蛛：ia_archiver

SEO優(yōu)化內鏈如何布局提升蜘蛛抓取

SEO優(yōu)化中如何有效的布局內鏈,讓蜘蛛抓取 SEO優(yōu)化，那么網(wǎng)站優(yōu)化時(shí)，我們要如何合理分析內外鏈呢?關(guān)于內鏈，我們需要檢查的是seo：seo.ee ，可以檢測看看：

1、內頁(yè)多關(guān)鍵詞指向首頁(yè)

現在還有很多網(wǎng)站在內容頁(yè)搞了好多關(guān)鍵詞，但是指向的全都是首頁(yè)，這個(gè)小技巧在前幾年還是有些用的，但是現在算是作弊的行為，切記。

2、是否有相關(guān)推薦

每個(gè)頁(yè)面是否有推薦跟內容相關(guān)的內部指向鏈接，這個(gè)很重要，對用戶(hù)，對蜘蛛都是非常有幫助的。

3、每個(gè)頁(yè)面是否能鏈接到別的相關(guān)頁(yè)面

內頁(yè)要做相關(guān)的推薦，還有欄目頁(yè)、專(zhuān)題頁(yè)、首頁(yè)都是一樣的，只不過(guò)要從不同的定位角度來(lái)指向而已。

那么如何檢查外鏈呢?一般常用兩種方法：

1、通過(guò)domain指令

可以找出鏈接你的網(wǎng)站是哪些，檢查一下是否有和不良的網(wǎng)站出現在一起，如果有要盡快處理掉，不然也是會(huì )有影響的。

2、通過(guò)友情鏈接

查看友情鏈接是否正常，比如你鏈接了別人，別人卻把你的鏈接給撤銷(xiāo)了，或者別人的網(wǎng)站打不開(kāi)了等等之類(lèi)的情況，需要及時(shí)的處理。

手機網(wǎng)站圖片如何抓取

總結出了以下六種方法，協(xié)助我們優(yōu)化網(wǎng)站和手機端的圖片，以達到優(yōu)化友好，迅速被錄入的作用。

1、不要盜用圖片盡量原創(chuàng )

盡量自己做圖片，有很多免費的圖片素材，我們可以通過(guò)拼接，做出我們需要的圖片。

在平時(shí)工作的時(shí)候，發(fā)現和自己網(wǎng)站相關(guān)的圖片可以先保存下來(lái)，在本地做出分類(lèi)和標記。

網(wǎng)站需要圖片的時(shí)候，看看相關(guān)的圖片，自己著(zhù)手做一個(gè)圖片。這是一個(gè)長(cháng)期積累的過(guò)程，隨之時(shí)間的增加，自己的素材量也會(huì )越來(lái)越大。熟練了再做圖片就得心應手了。

2、網(wǎng)站圖片保存路徑

這個(gè)問(wèn)題很多站長(cháng)都沒(méi)有注意，圖片在傳到到網(wǎng)站的時(shí)候，盡量把圖片保存在一個(gè)目錄下面，

或者根據網(wǎng)站欄目做好相應的圖片目錄，上傳的時(shí)候路徑要相對固定，方便蜘蛛抓取，蜘蛛在訪(fǎng)問(wèn)到這個(gè)目錄的時(shí)候就會(huì )“知道”這個(gè)目錄里面保存的是圖片;

圖片文件命名最好使用一些有規律的或者意義的方法，可以使用時(shí)間、欄目名稱(chēng)或者網(wǎng)站名稱(chēng)來(lái)命名。

其實(shí)這樣是培養搜索引擎蜘蛛抓取習慣，方便將來(lái)更快的識別網(wǎng)站圖片內容。讓蜘蛛抓的順心了，網(wǎng)站被收錄的幾率就增加了，何樂(lè )而不為呢!

3、圖片周?chē)邢嚓P(guān)文字

網(wǎng)站圖片是能把信息直接呈現給用戶(hù)一個(gè)方法，搜索引擎在抓取網(wǎng)站內容的時(shí)候，也會(huì )檢測這篇文章是否有配圖、視頻或者表格等等，

這些都是可以增加文章分數值的元素，其他的幾個(gè)形式暫時(shí)不表，這里我們只說(shuō)說(shuō)關(guān)于圖片周?chē)嚓P(guān)文字的介紹。

首先圖片周邊文字要與圖片本身內容相符，例如你的文章說(shuō)的是做網(wǎng)站優(yōu)化，里面配圖是一道菜譜的圖片，這不是掛羊頭賣(mài)狗肉么?

用戶(hù)的訪(fǎng)問(wèn)感會(huì )極差，搜索引擎通過(guò)相關(guān)算法識別這張圖片以后，也會(huì )覺(jué)得圖文不符，給你差評哦。

所以，每篇文章最少要配一張相應的圖片，而且在圖片的周?chē)霈F和你網(wǎng)站標題相關(guān)的內容。不但能幫助搜索引擎理解圖片，還可以增加文章的可讀性、用戶(hù)體驗友好度以及相關(guān)性。

4、圖片添加alt、title標簽

許多站長(cháng)在添加網(wǎng)站圖片時(shí)可能沒(méi)有留意這些細節，有的可能覺(jué)得麻煩，希望大家千萬(wàn)別有這種想法，這是大錯特錯的。

搜索引擎抓取網(wǎng)站圖片的時(shí)候，atl標簽是它首先抓取的，也是識別圖片內容最重要的核心因素之一，圖片的alt屬性是直接告訴搜索引擎這是啥網(wǎng)站圖片，以及這張要表達什么意思;

title標簽是用戶(hù)指向這張圖片的時(shí)候，會(huì )顯示的提示內容，這是增加用戶(hù)體驗度和增加網(wǎng)站關(guān)鍵詞的一個(gè)小技巧。

alt和title標簽

還有就是這兩個(gè)屬性，會(huì )給有閱讀障礙的訪(fǎng)問(wèn)者提供訪(fǎng)問(wèn)的便利，例如：有盲人在訪(fǎng)問(wèn)你網(wǎng)站的時(shí)候，他看不到屏幕上的內容，可能是通過(guò)讀屏軟件來(lái)閱讀的，如果有alt屬性，軟件會(huì )直接讀出alt屬性里的文字，給他們的訪(fǎng)問(wèn)提供方便。

5、圖片的大小和分辨率

盡管兩者看起來(lái)有些相同，但還是有很大的差別，相同大小的圖片，分辨率更高的話(huà)，網(wǎng)站最終體積也會(huì )越大。這一點(diǎn)大家要搞清楚。

網(wǎng)站的上的圖片，一直以來(lái)都提倡用盡量小的圖片，去最大化呈現內容。為什么要這樣呢?

因為小尺寸的圖片會(huì )加載的更快，不會(huì )讓訪(fǎng)問(wèn)者等待太久，特別是手機訪(fǎng)問(wèn)的時(shí)候，由于手機上網(wǎng)速度和流量的限制，用戶(hù)更愿意訪(fǎng)問(wèn)能立即打開(kāi)的頁(yè)面，小尺寸圖片就更有優(yōu)勢了。

在這里我們盡量做好平衡，在圖片不失真的情況下，尺寸最好盡量的小。

現在有很多在線(xiàn)給圖片瘦身的工具，各位站長(cháng)可以去嘗試一下，把網(wǎng)站的圖片適當的壓縮一下，一方面可以減少你服務(wù)器帶寬的壓力，另外還能給用戶(hù)有流暢的體驗。

6、手機端自動(dòng)適應

很多站長(cháng)都遇到過(guò)網(wǎng)站在電腦訪(fǎng)問(wèn)圖片顯示很正常，可是從手機端就會(huì )出現錯位等等情況，這就是大尺寸的圖片給不同尺寸的終端造成錯位和顯示不全的情況。

其實(shí)這個(gè)問(wèn)題很好解決，在添加圖片的時(shí)候寬高最好不要使用絕對大小，使用百分比就解決了。

具體說(shuō)，CSS代碼不能指定像素寬度：width:xxx px;只能指定百分比寬度：width: xx%;或者width:auto就可以了。

這樣做的目的也是為了讓百度的移動(dòng)蜘蛛抓取的時(shí)候有個(gè)良好的體驗，這也是為了更符合百度移動(dòng)落地頁(yè)體驗。

如何提高搜索引擎抓取頻率？

1、網(wǎng)站內容更新

搜索引擎抓取內容，只是針對個(gè)別頁(yè)面，而不是全部的頁(yè)面，這也是搜索引擎對網(wǎng)頁(yè)的快照更新時(shí)間變短的原因。

比如說(shuō)經(jīng)常更新的頁(yè)面，快照也會(huì )經(jīng)常對其進(jìn)行爬取，從而可以及時(shí)發(fā)現新內容與鏈接，刪除不存在的信息，所以站長(cháng)一定要長(cháng)期堅持更新網(wǎng)頁(yè)，才能使搜索引擎爬蟲(chóng)穩定前來(lái)抓取。

2、網(wǎng)站框架設計

對于網(wǎng)站的內部框架的設計，是要從很多方面進(jìn)行的，其中，代碼需要盡量簡(jiǎn)明清晰，代碼過(guò)多容易導致頁(yè)面體積過(guò)大，影響網(wǎng)絡(luò )爬蟲(chóng)的抓取速度。

在抓取網(wǎng)站時(shí)，同時(shí)網(wǎng)頁(yè)flash圖片盡量少一些，flash格式的內容影響蜘蛛抓取，對于新網(wǎng)站來(lái)說(shuō)，盡量選用偽靜態(tài)形式的URL，這樣可以讓整個(gè)網(wǎng)站的頁(yè)面都容易被抓取。

在設計時(shí)對于錨文本文字要分布合理，不能全寫(xiě)關(guān)鍵詞，要適當的增加一些長(cháng)尾詞鏈接。對于內部鏈接設計也要通暢，方便權重傳遞。

3、網(wǎng)站導航設計

網(wǎng)站面包屑導航是網(wǎng)站設計的時(shí)候很多企業(yè)都會(huì )忽視的一個(gè)地方，導航是蜘蛛抓取的關(guān)鍵，如果網(wǎng)站導航不清晰，那么搜索引擎在抓取時(shí)就容易迷路，所以導航一定要合理的進(jìn)行設計。

這里順便提及錨文本建設，站內錨文本有利于網(wǎng)絡(luò )爬蟲(chóng)發(fā)現和抓取更多站內網(wǎng)頁(yè)，但是如果錨文本太多又容易被看成是刻意的調整，在設計時(shí)要把握錨文本的數量。

4、穩定更新頻率

除了首頁(yè)的設計之外，網(wǎng)站還有其他頁(yè)面。爬蟲(chóng)抓取時(shí)不會(huì )對網(wǎng)站上的全部網(wǎng)頁(yè)都建立索引，在它們找到重要的頁(yè)面之前，可能已經(jīng)抓取了足夠多的網(wǎng)頁(yè)離開(kāi)了。

所以要保持保持一定的更新頻率，更新頻繁的頁(yè)面能輕易被抓取，因此能自動(dòng)抓取數量很多的頁(yè)面，同時(shí)我們要注意網(wǎng)站層級的設計，不能太多，不然也不利于網(wǎng)站抓取。