robots是網(wǎng)站和搜索引擎之間的一個(gè)協(xié)議，那么他有什么作用呢，說(shuō)這個(gè)咱們需要搞清楚搜索引擎爬蟲(chóng)的原理。當(dāng)蜘蛛下載一個(gè)網(wǎng)頁(yè);保存一個(gè)txt純文本，就是那個(gè)快照緩存文本。爬蟲(chóng)還會(huì)提取一些標(biāo)記和標(biāo)簽比如a標(biāo)簽。他把站外的鏈接和內(nèi)部鏈接進(jìn)行分開(kāi)然后再次抓取。就是這樣來(lái)連接整個(gè)互聯(lián)網(wǎng)。這個(gè)就是一個(gè)爬去原理。這就出現(xiàn)了一個(gè)問(wèn)題，如果咱們不想讓爬蟲(chóng)爬取，那怎么辦呢，于是就出現(xiàn)了一個(gè)協(xié)議，叫做robots協(xié)議。robots協(xié)議的早期是防止網(wǎng)站內(nèi)的隱私，防止抓取用戶不用想讓搜索引擎進(jìn)行曝光的頁(yè)面。
robots協(xié)議，他是一個(gè)協(xié)議不是一個(gè)命令，命令是馬上要執(zhí)行的，而協(xié)議是在搜索引擎的爬蟲(chóng)爬取后一段時(shí)間后才會(huì)生效，百度和google聲明24小時(shí)就會(huì)生效，事實(shí)上并非如此我觀察了一下，有的頁(yè)面甚至一個(gè)月才會(huì)生效，我給robots協(xié)議生效的時(shí)間做了一個(gè)總結(jié)，那就是24小時(shí)到一個(gè)月。那么robots協(xié)議到底有什么作用呢。robots協(xié)議用得好，會(huì)讓我們網(wǎng)站邊的更純凈，下面一起來(lái)看一下。
1.可以屏蔽無(wú)內(nèi)容頁(yè)面，我內(nèi)容頁(yè)面比如說(shuō) 登陸頁(yè) 打印頁(yè) 個(gè)人信息頁(yè) 商城的購(gòu)物頁(yè)等等 大家都知道無(wú)內(nèi)容頁(yè)面會(huì)影響頁(yè)面和全站的質(zhì)量以及權(quán)重。
2.可以屏蔽重復(fù)頁(yè)面，比如頁(yè)面的簡(jiǎn)寫(xiě)版本以及空評(píng)論頁(yè)，再或者多個(gè)路徑可以打開(kāi)同一頁(yè)面，等等重復(fù)頁(yè)面。重復(fù)的頁(yè)面對(duì)于站內(nèi)頁(yè)面的質(zhì)量也是會(huì)受到非常嚴(yán)重的影響的。
3.可以屏蔽死鏈接。當(dāng)然站內(nèi)的錯(cuò)誤和服務(wù)器問(wèn)題，所造成的死鏈接是沒(méi)辦法屏蔽的。
robots語(yǔ)法，他一共有三個(gè)語(yǔ)法，第一個(gè) Disallow：禁止的意思 第二個(gè) Allow 允許的意思 第三個(gè)User-agent:定義搜索引擎的。當(dāng)然有的robots文件開(kāi)頭和結(jié)尾有“#”這個(gè)字符是注釋的意思搜索引擎會(huì)忽略。還有兩個(gè)通配符，“$”和“*” “$”這個(gè)是結(jié)束符(所有以他結(jié)尾的都能夠進(jìn)行匹配。)。“*”是匹配零或者多個(gè)任意字符。這里說(shuō)三個(gè)大家一直很難理解的地方。
禁止語(yǔ)法：Disallow
請(qǐng)看這個(gè)代碼 Disallow: /seo/ 禁止 該網(wǎng)站的 SEO目錄；Disallow: /seo 它不僅僅能夠禁seo這個(gè)目錄下的路徑，他還能夠禁止所有以SEO開(kāi)頭的目錄和文件。這里的斜杠代表目錄。如果Disallow: /直接加斜杠就代表禁止根目錄。沒(méi)有禁止的頁(yè)面，默認(rèn)是允許的這樣也許大家會(huì)有疑問(wèn)，既然默認(rèn)是允許還要Allow這個(gè)允許含義的語(yǔ)法有何意義？下面我就來(lái)舉例說(shuō)一下。
允許語(yǔ)法：Allow
Disallow: /citations?
Allow: /citations?user=
Allow: /citations?view_op=new_profile
這三條代碼的意思是禁止所有以citations?開(kāi)頭的所有路徑。但是除了 “Allow”允許的兩個(gè)路徑。其實(shí)allow的用處就是簡(jiǎn)寫(xiě)robots代碼。讓robots文件變得更精簡(jiǎn)。
通配符“$”的使用。
Disallow: /places/
Allow: /places/$
只收錄 /places/ 這個(gè)路徑不收錄這個(gè)路徑里面所有的頁(yè)面和路徑。
robots語(yǔ)法對(duì)網(wǎng)站非常重要，運(yùn)用好robots會(huì)讓你的網(wǎng)站更健康更純凈。好了就寫(xiě)這么多本人原創(chuàng)轉(zhuǎn)載請(qǐng)標(biāo)明出處 捷易通激活碼 http://www.taobaomaiyifu.com 謝謝大家支持。
推薦閱讀
實(shí)站分享外鏈和收錄不穩(wěn)定我們?nèi)绾螒?yīng)對(duì)
對(duì)百度這樣經(jīng)常小更新和大更新，許多SEOER就開(kāi)始非常不淡定了。特別是新手做站長(zhǎng)的時(shí)候就非常不淡定。百度一些不穩(wěn)定的小更新就讓我們很多站長(zhǎng)們開(kāi)始糾結(jié)了。對(duì)于外鏈和收錄不穩(wěn)定情況問(wèn)題，在各大SEO論壇當(dāng)中很多站>>>詳細(xì)閱讀
本文標(biāo)題：深度剖析的robots協(xié)議的原理以及重要作用
地址：http://www.sdlzkt.com/a/34/20111219/19853.html
網(wǎng)友點(diǎn)評(píng)
精彩導(dǎo)讀
科技快報(bào)
品牌展示