国产成人精品一区二区免费看京,av免费在线一区,不卡av一区二区

robots是網(wǎng)站和搜索引擎之間的一個(gè)協(xié)議，那么他有什么作用呢，說這個(gè)咱們需要搞清楚搜索引擎爬蟲的原理。當(dāng)蜘蛛下載一個(gè)網(wǎng)頁;保存一個(gè)txt純文本，就是那個(gè)快照緩存文本。爬蟲還會提取一些標(biāo)記和標(biāo)簽比如a標(biāo)簽。他把站外的鏈接和內(nèi)部鏈接進(jìn)行分開然后再次抓取。就是這樣來連接整個(gè)互聯(lián)網(wǎng)。這個(gè)就是一個(gè)爬去原理。這就出現(xiàn)了一個(gè)問題，如果咱們不想讓爬蟲爬取，那怎么辦呢，于是就出現(xiàn)了一個(gè)協(xié)議，叫做robots協(xié)議。robots協(xié)議的早期是防止網(wǎng)站內(nèi)的隱私，防止抓取用戶不用想讓搜索引擎進(jìn)行曝光的頁面。

   robots協(xié)議，他是一個(gè)協(xié)議不是一個(gè)命令，命令是馬上要執(zhí)行的，而協(xié)議是在搜索引擎的爬蟲爬取后一段時(shí)間后才會生效，百度和google聲明24小時(shí)就會生效，事實(shí)上并非如此我觀察了一下，有的頁面甚至一個(gè)月才會生效，我給robots協(xié)議生效的時(shí)間做了一個(gè)總結(jié)，那就是24小時(shí)到一個(gè)月。那么robots協(xié)議到底有什么作用呢。robots協(xié)議用得好，會讓我們網(wǎng)站邊的更純凈，下面一起來看一下。

   1.可以屏蔽無內(nèi)容頁面，我內(nèi)容頁面比如說登陸頁打印頁個(gè)人信息頁商城的購物頁等等大家都知道無內(nèi)容頁面會影響頁面和全站的質(zhì)量以及權(quán)重。
   2.可以屏蔽重復(fù)頁面，比如頁面的簡寫版本以及空評論頁，再或者多個(gè)路徑可以打開同一頁面，等等重復(fù)頁面。重復(fù)的頁面對于站內(nèi)頁面的質(zhì)量也是會受到非常嚴(yán)重的影響的。
   3.可以屏蔽死鏈接。當(dāng)然站內(nèi)的錯(cuò)誤和服務(wù)器問題，所造成的死鏈接是沒辦法屏蔽的。

robots語法，他一共有三個(gè)語法，第一個(gè) Disallow：禁止的意思第二個(gè) Allow 允許的意思第三個(gè)User-agent:定義搜索引擎的。當(dāng)然有的robots文件開頭和結(jié)尾有“#”這個(gè)字符是注釋的意思搜索引擎會忽略。還有兩個(gè)通配符，“$”和“*” “$”這個(gè)是結(jié)束符(所有以他結(jié)尾的都能夠進(jìn)行匹配。)。“*”是匹配零或者多個(gè)任意字符。這里說三個(gè)大家一直很難理解的地方。

禁止語法：Disallow

請看這個(gè)代碼 Disallow: /seo/ 禁止該網(wǎng)站的 SEO目錄；Disallow: /seo 它不僅僅能夠禁seo這個(gè)目錄下的路徑，他還能夠禁止所有以SEO開頭的目錄和文件。這里的斜杠代表目錄。如果Disallow: /直接加斜杠就代表禁止根目錄。沒有禁止的頁面，默認(rèn)是允許的這樣也許大家會有疑問，既然默認(rèn)是允許還要Allow這個(gè)允許含義的語法有何意義？下面我就來舉例說一下。

   允許語法：Allow

   Disallow: /citations?
   Allow: /citations?user=
   Allow: /citations?view_op=new_profile
   這三條代碼的意思是禁止所有以citations?開頭的所有路徑。但是除了 “Allow”允許的兩個(gè)路徑。其實(shí)allow的用處就是簡寫robots代碼。讓robots文件變得更精簡。

    通配符“$”的使用。

    Disallow: /places/
    Allow: /places/$
    只收錄 /places/ 這個(gè)路徑不收錄這個(gè)路徑里面所有的頁面和路徑。

robots語法對網(wǎng)站非常重要，運(yùn)用好robots會讓你的網(wǎng)站更健康更純凈。好了就寫這么多本人原創(chuàng)轉(zhuǎn)載請標(biāo)明出處捷易通激活碼 http://www.taobaomaiyifu.com 謝謝大家支持。

對百度這樣經(jīng)常小更新和大更新，許多SEOER就開始非常不淡定了。特別是新手做站長的時(shí)候就非常不淡定。百度一些不穩(wěn)定的小更新就讓我們很多站長們開始糾結(jié)了。對于外鏈和收錄不穩(wěn)定情況問題，在各大SEO論壇當(dāng)中很多站>>>詳細(xì)閱讀

本文標(biāo)題：深度剖析的robots協(xié)議的原理以及重要作用

地址：http://www.sdlzkt.com/a/34/20111219/19853.html

1/2 1 2 下一頁