2月18日，CSDN(微博)在北京舉行了TUP第19期活動：大數(shù)據(jù)系列研討會——從12306談起。本次研討會匯集了來自百度、豆瓣(微博)網(wǎng)、搜狗、淘寶、土豆、凡客誠品(微博)、新浪微博、IBM等公司的眾多業(yè)內(nèi)技術(shù)高管，就大數(shù)據(jù)及海量并發(fā)用戶網(wǎng)絡(luò)的需求分析、架構(gòu)設(shè)計、產(chǎn)品研發(fā)、系統(tǒng)運維等話題和與會者進行了深度探討。與會者包括來自互聯(lián)網(wǎng)/IT公司技術(shù)高管、研發(fā)精英、運維管理、對高并發(fā)網(wǎng)站解決方案有研究的技術(shù)人員，共計三百人參與了此次研討會。本次研討會分為上下午兩部分，上午為高端討論，下午為集中講座。
針對網(wǎng)站在突發(fā)高負(fù)載和高增長的情況下，如何承載巨大訪問量，來自百度（移動·云）的首席架構(gòu)師林仕鼎帶來了名為《架構(gòu)設(shè)計的一些思考》的精彩演講。
存儲和分布式
林仕鼎首先從存儲、分布式、服務(wù)架構(gòu)、計算模型的例子開始談起。他認(rèn)為程序組織非常重要，對于存儲這部分來說，它需要考慮包括結(jié)構(gòu)、數(shù)據(jù)特點、訪問模式、接口性質(zhì)四大方面的問題。林仕鼎對這四大方面的問題作了詳細(xì)闡述，指出每一個問題都面臨若干選擇，比如結(jié)構(gòu)問題就有：File、Object、Table的選擇，然后在同樣一個結(jié)構(gòu)中，還要面臨是實時讀寫、批量寫實時讀之類的訪問模式的選擇，接下來不同訪問模式對系統(tǒng)帶來的影響，數(shù)據(jù)大小的分布、布局等。林仕鼎表示，正是因為有這么多因素的影響，導(dǎo)致開發(fā)者在設(shè)計系統(tǒng)時，必需要考慮很多方面。只有在全面掌握這些信息的情況下，才能設(shè)計出符合實際要求的系統(tǒng)。
存儲帶來的一些矛盾包括：延遲與吞吐、隨機與順序、規(guī)模與實時性。一般來說，系統(tǒng)的規(guī)模越大，實時性的保證難度也就越大。要化解矛盾，需要在包括B＋tree、Log-based兩類模型建設(shè)的基礎(chǔ)上做到弱化需求、發(fā)掘局部性、組合模型。
在談到分布式時，林仕鼎表示其實分布式的目標(biāo)很簡單，只有兩個：擴容和容錯。要實現(xiàn)這些目標(biāo)需要采用Partition和Replication兩種方法，而協(xié)議設(shè)計、調(diào)試是難點。
服務(wù)架構(gòu)和計算模型
在進行系統(tǒng)設(shè)計時，所有系統(tǒng)都會面臨一個極限值，即在給定系統(tǒng)資源情況下，所能提供的最大請求數(shù)，這里需要做一個特別設(shè)計，以防請求數(shù)突破極限值。如果沒有作特別設(shè)計，在極端情況下，吞吐量超過一個點，那整個系統(tǒng)將崩潰。
服務(wù)架構(gòu)的目標(biāo)包括系統(tǒng)的高吞吐能力和在極限壓力下的穩(wěn)定輸出。要實現(xiàn)這兩個目標(biāo)離不開服務(wù)架構(gòu)的兩類模型：屬于基本類型的threadpool + queue和屬于復(fù)雜類型的event-driven。為了保證整個系統(tǒng)的穩(wěn)定性，還需要注意：減小資源分配粒度并主動調(diào)度、Flow Control、負(fù)載反饋，Throttling和延遲截斷這四個方面。
計算模型包含很多不同特點，一般來講分為三類：數(shù)據(jù)密集型、計算密集型、通訊密集型（即傳統(tǒng)HPC）。林仕鼎表示，首先要分析系統(tǒng)的特點，找到適合的模型。
在很多情況下，在怎么做系統(tǒng)、服務(wù)、數(shù)據(jù)倉庫等問題上，開發(fā)者面臨的具體問題都千差萬別。此時，需要建立一些模型，或者有比較好的實踐原則。作為一個架構(gòu)師，首先是要非常深入地了解自己的業(yè)務(wù)，再根據(jù)業(yè)務(wù)特點運用一些現(xiàn)行做法。林仁鼎總結(jié)了“架構(gòu)師三板斧”，作為本次演講總結(jié)與各位分享。架構(gòu)師三板斧內(nèi)容如下。
看清需求：Tradeoff、無法滿足所有需求、無須同等對待所有需求、發(fā)現(xiàn)根本需求、抽象、降維、了解需求隨時間的變化、選擇方法、把握節(jié)奏。選擇方法：測算 -> 模擬 -> 實現(xiàn)、分解 vs 迭代、設(shè)計模式。把握節(jié)奏：目標(biāo)與可達路徑、定期產(chǎn)出。
推薦閱讀
淘寶伏威關(guān)于12306網(wǎng)站解決方案：魔鬼在細(xì)節(jié)里
2月18日，CSDN(微博)在北京舉行了TUP第19期活動：大數(shù)據(jù)系列研討會——從12306談起。本次研討會匯集了來自百度、豆瓣(微博)網(wǎng)、搜狗、 淘寶、土豆、凡客誠品(微博)、新浪微博、IBM等公司的眾多業(yè)內(nèi)技術(shù)高管，就大數(shù)據(jù)>>>詳細(xì)閱讀
本文標(biāo)題：林仕鼎：大數(shù)據(jù)處理 架構(gòu)師的三板斧
地址：http://www.sdlzkt.com/a/kandian/20120305/36941.html
網(wǎng)友點評
精彩導(dǎo)讀
科技快報
品牌展示