時至今日，“Big data”(大數據)時代的來臨已經毋庸置疑，尤其是在電信、金融等行業，幾乎已經到了“數據就是業務本身”的地步。這種趨勢已經讓很多相信數據之力量的企業做出改變。恰逢此時，為了讓更多的人了解和使用分析大數據，CSDN(微博)獨家承辦的大數據技術大會于今日在北京中旅大廈召開。本次大會匯集Hadoop、NoSQL、數據分析與挖掘、數據倉庫、商業智能以及開源云計算架構等諸多熱點話題。包括百度、淘寶、新浪等業界知名專家與參會者齊聚一堂，共同探討大數據浪潮下的行業應對法則以及大數據時代的抉擇。
新浪云計算高級技術經理叢磊表示2011年新浪SAE平臺注冊用戶已達50000，應用超過100000，日均PV達到1億，活躍開發者達到10000名。
叢磊還介紹了新浪自己開發的的KVDB，KVDB用來支持公有云計算平臺上的海量key-value存儲。KV DB支持的存儲容量很大，對每個用戶支持100G的存儲空間，可支持1000000000條記錄，用戶可以用KV DB存放簡單數據，如好友關系等。KVDB具備存儲引擎可替換、任意模塊水平擴展、支持讀寫分離、支持前綴查找、支持secondary index、支持認證、支持重平衡和無縫遷移等優勢。
以下為文字實錄
大家好，很高興在這里跟大家分享關于SAE在NoSQL上一個話題。如果大家對SAE有一些看法，和意見，也可以關注新浪官方微博。另外，SAEJava平臺，已經在內測了，大家有興趣也可以通過官方微博去申請測試渠道，加入我們測試，大家一起來提高SAE。今天先簡單向大家匯報一下SAE發展，這張圖就是SAE發展的一個，相對于一個里程碑，從09年8月份SAE云計算小組成立，當時還非常小只有幾個人，09年11月份SAE發布了一個版本，到今年正好2年，到2010年SAE發布一個重量級云存儲產品微盤。今年5月份也有很大的事開放注冊，目前任何人去使用SAE不需要什么邀請碼，審批流程，只要有新浪帳號就可以使用。
現在SAE開通了支付，SAE也劃歸為新浪云計算，還有一些第三方站點，互聯網的咨詢類站點也跑到SAE上。那么，在SAE產品主要有計算類服務，存儲類服務，還有一個是云應用商店跟云服務商店CDN。關于云應用商店和云服務商店，應用商店大家都聽說過，比如App Store，但是我們所知道App Store要不就是基于蘋果IOS，要不就是Android上的，SAE如果做并不是OS，我們OS是互聯網，互聯網上的App Store，你現在在SAE上只需要花30秒時間就可以開通一個自己的團購網站，可以開通一個論壇，相冊網站，維基百科類網站，做互聯網上App Store。
反過來說什么是服務商店？我們作為一個開發者，你開發的東西并不一定都有界面，有的人開發東西，比如我是蘋果語言開發商，我開發這個東西非常有價值但并沒有界面，這種東西你開發者是想把他的API賣給用戶的，這個時候實際上可以借助SAE分裝商店，進行整個統計，日志，報表流程，你把你API架構在其上面進行銷售，這是一個服務的概念。
來看一下現在SAE發展的三個指標，一個是注冊用戶，目前SAE注冊用戶大部分都是開發者，雖然數目不多，但是質量很高。尤其目前SAE做開發者認證，如果大家使用SAE的話應該聽說過，任何一個人只要通過了開發者的認真都可以獲取到相當多的云，相當于SAE給真正開發者免費的錢讓他在SAE上開發應用。另外一個應用數，應用數目前是10萬，日均PV不止1億，應該有好幾個億。
我們也看了一下SAE上面跑的這些應用和服務來講可靠不可靠？這是Q3的一個宕機時長45分鐘，宕機次數4次，總體時間56.05。看一下活躍開發者1萬多名，剛才提到開發者認證，實際上SAE還是將更多的精力關注在能夠創造價值核心開發者上面，這主要是指外部開發者，包括移動互聯網領域。當然還有SAE跟PHP官方合作，如果大家是愛好者登錄PHP，目前PHP在大陸唯一官方網站就是SAE提供的，這說明二者之間合作也在加強，這塊我們跟官方合作也會加強。
最后一個是應用商店，都有哪些應用，這塊就是一個列表，不多說了，weibo，HDwik，團購等等。從這一頁開始今天關于技術類的話題，我們今天題目是在HCE上MySQL，我今天先講SQL，我個人從06年畢業之后，07年就開始做云計算方面開發。當時我們是看著亞馬遜(微博)長大的一批人，亞馬遜認為SQL不重要，這里是指亞馬遜云計算，因為他覺得他可以推出自己的產品，這個產品是叫HDB，他的目的，我不知道他的目的，一個目的因為他想推出自己的HDB，另外因為SQL不具備可擴展性，也不具備其他云計算的特性，他想把用戶導向導入到SQL里面去，后來嘗試是失敗的，亞馬遜被迫推出RDS。
換句話說你妄想用自己一個NoSQL去改變開發者對MySQL的習慣，只要你的NoSQL，你需要用戶去改代碼，有實際成本，那么NoSQL就不會完全替代SQL作用。所以SAE從09年推出的時候，一定要支持SQL，那么怎么來支持MySQL呢？我們在云計算上做MySQL最重要的問題就是隔離性問題，因為使用MySQL人水平不一樣，我們在HCE上確實有一些開發者，連索引都不知道是什么，就建了幾千幾億的表。我們做公有云計算，如果這樣的人特別多勢必影響到我們分布式數據庫服務，實際上SQL，或者MySQL對SAE來講最大挑戰就是隔離性。如何一個人好的壞的，黑客也好，他的爛使用不應該影響到其他人的使用，怎么做到？就是通過虛擬機來做這個事。
現在虛擬機技術，應該說還是比較成熟。比如我可以把VCPO綁定到VPO上，當然網絡隔離大家都能做，實際磁盤IO隔離有一些虛擬化也可以做到，我就一個虛擬機起一個SQL，用戶A需要SQL就成立一個虛擬機來實現，這種方案還是不錯的。最重要一個問題，這個方案成本太大了，SAE很窮，沒有錢，沖不起。我舉個例子，現在在SAE從目前虛擬化來說，一個物理機最多也就3萬臺，3萬多臺需要1千臺物理機。我告訴大家一個秘密，SAE到目前也沒有1千臺物理機，這個成本對SAE是不可承擔的，我們一定要減少成本來做隔離。
怎么減少成本？一個虛擬機一個SQL不行，我就多個SQL一個虛擬機，大家不同instance也是可以，我們之前也討論過，其實這個方案實施起來也有最大一個問題，維護起來特別麻煩。你想想那么多端口，都有自己的主和從，如果用管理人員來管理就會瘋掉，可能開發人員還好，開發人員開發東西很少，但是管理人員運維成本非常大，SAE怎么來做，SAE提出一個很瘋狂觀念，讓所有用戶跑到一個SQL里面行不行，貌似是一個很不好的任務，但是SAE自己研發一套產品來實現這個技術，就是RDC，是國內唯一面對公有云，就是讓所有用戶，或者說一部分用戶跑在一個instance，而不互相影響。
推薦閱讀
時至今日，“Big data”(大數據)時代的來臨已經毋庸置疑，尤其是在電信、金融等行業，幾乎已經到了“數據就是業務本身”的地步。這種趨勢已經讓很多相信數據之力量的企業做出改變。恰逢此時，為了讓更多的人了解和使>>>詳細閱讀
地址：http://www.sdlzkt.com/a/kandian/20120305/36930.html
網友點評
精彩導讀
科技快報
品牌展示