查看: 533720|回復: 16

【名人堂】專訪中興首席架構師:聊聊大數據架構那些事兒

[復制鏈接]
論壇徽章:
8
2015年新春福章
日期:2015-04-22 09:15:50美羊羊
日期:2015-04-28 08:58:41暖羊羊
日期:2015-05-05 11:13:16慢羊羊
日期:2015-07-03 14:57:08目光如炬
日期:2016-06-05 22:00:002017金雞報曉
日期:2017-01-10 15:25:58秀才
日期:2017-04-06 18:09:28秀才
日期:2017-05-09 11:37:55
跳轉到指定樓層
1#
發表于 2016-7-12 15:11 | 只看該作者 |只看大圖 回帖獎勵 |倒序瀏覽 |閱讀模式
嘉賓介紹:




   王德政,現任中興通訊中心研究院大數據首席架構師,負責中興通訊大數據平臺的系統架構設計。在18年的電信行業從業經歷中,王德政先生曾先后從事GSM、WCDMA、IMS、統一網管、專業服務工具、大數據平臺等產品的系統架構工作,曾先后兩次獲得深圳市科技進步獎。

王楠w_n(Q1):王老師,您好!很高興有機會采訪到您,能否簡單介紹下自己?

王德政(A1):你好,很高興接受你的采訪。我是王德政,1998年畢業于浙江大學,獲碩士學位。曾先后從事GSM(CN)、WCDMA(CN)、IMS、3G平臺、統一網管、專業服務工具、大數據平臺等產品的系統架構工作,2007年與2012年,我參與研發的“多功能媒體網關”、“新一代集中網絡管理調度平臺技術創新及產業化”曾先后兩次獲得深圳市科技成果登記,F任中興通訊中心研究院大數據首席架構師,負責中興通訊大數據平臺的系統架構設計。

王楠w_n(Q2):了解到您是1998年加入中興,具有近18年的電信行業從業經驗,作為一名行業前輩,能否將您的從業經驗分享一二?在您職業生涯履歷中,有沒有對您影響深遠的轉變和決定?

王德政(A2):記得2000年時離開GSM核心網項目,加入WCDMA核心網。這期間大概有兩個月較為輕松的過渡期,但這兩個月里我沒有浪費,系統性地學習了TCP/IP相關的知識。在后來的WCDMA核心網與3G平臺的系統設計中,如果沒有這些提前學習的知識,將很難勝任這些工作。所以,我的經驗就是:當你覺得輕松或無聊的時候,就是你應該系統性學習,為未來遠航做準備的時候。

要說最深遠的決定,就是通過對自身的評估,清晰地了解自己,知道自己能夠做什么以及不能夠做什么。應該說,決定心無旁騖地走技術道路,就是對自己最影響深遠的決定。

王楠w_n(Q3):縱觀業界,有不少關于大數據方面的書籍,均偏重于理念和基礎知識的介紹,關于您的新書《大數據架構師指南》您是如何定位的?相較其他業界圖書,您認為本書的優勢在于哪里?

王德政(A3):在大數據項目建設過程中,往往需要三個層次的知識。第一個層次是關于大數據是什么,能做什么等理念方面的知識;第二個層次是端到端的大數據方案設計與系統架構;第三個層次是大數據相關的基礎技術知識,例如,對HDFS、MR、SPARK等技術點的掌握。
當前業界第一個層次與第三個的書籍比較多,讀者不難獲得相關的學習材料。但第二個層次的書籍非常少,大數據相關的從業者,往往只能通過各類交流活動才能獲取這方面的零碎知識。

基于如上原因,我們感覺迫切需要將我們在大型項目中積累的經驗總結出來,厘清大數據方案所需的關注重點,并結合具體的實踐案例進行說明,幫助從業者在最短的時間內將這些知識系統化。

王楠w_n(Q4):大數據項目一般是按照其應用場景來區別部署的,請您結合中興的大數據系統框架,談下實際架構中遇到的一些難點是如何攻克的?構建一個大數據系統時應該從哪些方面考慮?

王德政(A4):構建大數據系統時需要考慮的關鍵因素,在本書的第三章做了較為詳細的描述。應該說,書中的描述只是通用的描述,但不同的場景與系統,其關注的關鍵因素也是不同的。系統架構的任務之一,就是要識別出這些場景下最重要的關鍵因素(當然,這些工作也是體現大數據架構師價值的地方)。

例如,如果你的系統需要實時采集存儲巨大的數據流量,則入庫的性能將成為整個系統設計的關鍵;如果你的系統需要滿足類似于12306鐵路售票系統這樣大量的并發訪問,則訪問效率將是整個系統架構的重心。

王楠w_n(Q5):最近,有壇友討論關于Spark 替代Hadoop 的問題,有人強烈推崇Spark技術,宣稱Spark是大數據的未來,同時宣布了Hadoop的死刑。那么與Hadoop相比,Spark技術如何?現工業界大數據技術都在使用何種技術?

王德政(A5):當前大數據已經是一個龐大的生態系統,很難用一種技術(或組件)將所有的場景通吃。作為計算框架,Spark是一種較為通用且高效的計算框架,是大多數場景下的較好折中。例如,如果要實現秒級的實時流處理,則Spark Streaming可以勝任,但如果需要實現亞秒級的實時流處理,則需要使用Storm。就如同瑞士軍刀,可以做很多事情,但是在特定嚴苛的場景下,還是需要使用更為專業的工具才能勝任。

王楠w_n(Q6):之前有網友宣稱架構已死,源于行業里對架構師錯誤的定位。如果架構師這種職業已經死亡或消失,您會如何定位自己的職業?您本人對架構師這個職業又是如何理解的?

王德政(A6):我個人認為架構師這個行業在很長的時間內不會消亡。大數據系統的構建,是為了實現各行業的應用與業務。行業專家具備相應領域的業務知識,但是缺乏構建系統的技術能力;而IT工程師具備相應的技術能力,但又缺乏相關領域的業務知識。這兩者之間的鴻溝很深,很難逾越。而架構師就是連接這道鴻溝的橋梁,通過理解兩端的知識,構建相應的系統架構,實現業務知識與IT知識的連接。

王楠w_n(Q7):人們常說,解決問題不在于結果而在于過程。最后,請您聊下實際運用設計框架的思想路徑。

王德政(A7):相比于編碼,架構的設計更加復雜和困難,但是一些方法和實踐可以分享給大家,拋磚引玉:

1)高屋建瓴,有所舍,有所得。聚焦在矛盾的主要方面,不要性能、功能、可靠性等都想做到最優,要能夠平衡好這些架構要素。

2)切勿脫離業務的實際需求,架構本質上要為商業服務,脫離業務實際的架構是沒有商業價值的。

3)不要閉門造車,多參考業界標桿產品的設計理念和優秀實踐,吸收消化,為我所用。

4)不要試圖做一個完美的理想主義者,架構設計亦如此。架構是為商業服務的,它會隨著業務的發展由最初的不完美向完美逐步演進。順其自然,而不是在設計之初就試圖打造最完美的架構。








論壇徽章:
403
紫蛋頭
日期:2012-05-21 10:19:41迷宮蛋
日期:2012-06-06 16:02:49奧運會紀念徽章:足球
日期:2012-06-29 15:30:06奧運會紀念徽章:排球
日期:2012-07-10 21:24:24鮮花蛋
日期:2012-07-16 15:24:59奧運會紀念徽章:拳擊
日期:2012-08-07 10:54:50奧運會紀念徽章:羽毛球
日期:2012-08-21 15:55:33奧運會紀念徽章:蹦床
日期:2012-08-21 21:09:51奧運會紀念徽章:籃球
日期:2012-08-24 10:29:11奧運會紀念徽章:體操
日期:2012-09-07 16:40:00
2#
發表于 2016-7-13 21:17 | 只看該作者
大數據對制造業有什么用處

使用道具 舉報

回復
認證徽章
論壇徽章:
836
狀元
日期:2015-11-12 10:18:05榜眼
日期:2015-11-12 10:18:05探花
日期:2015-11-12 10:18:05進士
日期:2015-11-12 10:18:05舉人
日期:2015-09-11 13:42:08秀才
日期:2015-09-17 09:11:05至尊黑鉆
日期:2015-11-20 18:17:09紫鉆
日期:2015-11-20 18:18:06粉鉆
日期:2015-11-20 18:17:23綠鉆
日期:2015-11-20 18:17:48
3#
發表于 2016-7-14 09:54 | 只看該作者
這年頭啥都是大數據

使用道具 舉報

回復
論壇徽章:
80
生肖徽章2007版:牛
日期:2012-08-02 22:43:00紫蛋頭
日期:2012-12-08 09:43:38鮮花蛋
日期:2012-11-17 12:02:07鮮花蛋
日期:2013-02-05 21:53:34復活蛋
日期:2012-11-17 12:02:07SQL極客
日期:2013-12-09 14:13:35SQL數據庫編程大師
日期:2013-12-06 13:59:43SQL大賽參與紀念
日期:2013-12-06 14:10:50ITPUB季度 技術新星
日期:2012-11-27 10:16:10最佳人氣徽章
日期:2013-03-19 17:24:25
4#
發表于 2016-7-19 10:16 | 只看該作者
通篇內容,凡是涉及方法論的東西,我都挺贊同的。
唯大數據聊得有點少,只是涉及了大數據實施的技術端的三個層次的概括,屬面對入門者,更沒有對于大數據和AI等一些方面的看法,不解渴

使用道具 舉報

回復
論壇徽章:
0
5#
發表于 2016-7-19 11:36 | 只看該作者
后面還有沒有干貨分享呢?

使用道具 舉報

回復
論壇徽章:
9
2011新春紀念徽章
日期:2011-02-18 11:43:33ITPUB 11周年紀念徽章
日期:2012-10-10 13:11:142013年新春福章
日期:2013-02-25 14:51:24秀才
日期:2016-06-23 14:15:06秀才
日期:2017-03-20 13:42:20秀才
日期:2017-03-28 15:11:09秀才
日期:2017-03-28 15:59:38秀才
日期:2017-04-06 18:09:28秀才
日期:2017-07-11 14:19:35
6#
發表于 2016-8-30 09:21 | 只看該作者
大數據!離我們太遙遠了

使用道具 舉報

回復
論壇徽章:
0
7#
發表于 2016-9-22 17:05 | 只看該作者
權威定義表明當前的大數據只是一種需求而不是一種新技術

2011年,麥肯錫提出了大數據的定義。五年來,大數據熱遍全球,然而到目前為止大數據“雷聲大雨點小”,時至今日,無也人能拿出一個國家級的大數據讓大家長一長見識,為什么會這樣呢?大數據行業的特點與眾不同:有需求沒技術。
以前的產業“大變革”都是先有技術,然后技術推動產業“大變革”:
由于蒸汽機等的產生,帶來了工業革命;
由于計算機技術的產生,帶來了信息化社會;
由于互聯網的產生,帶來了電子商務、互聯網+。
然而,如今是全球呼喚大數據,卻沒有成熟的大數據技術!因此,大家都找不到進軍的方向,拿不出讓大家認可的“大數據產品”。
以前是全民歌唱蒸汽機、計算機、互聯網新技術,而如今卻是全民聲討現有的主流計算機技術,權威機構關于大數據的定義已有確指出“當前的主流軟件工具已無法處理大數據”:
2011年,麥肯錫對大數據給出的定義是:一種規模大到在獲取、存儲、管理、分析方面大大超出了傳統數據庫軟件工具能力范圍的數據集合,具有海量的數據規模、快速的數據流轉、多樣的數據類型和價值密度低四大特征。
Gartner對大數據的定義:“大數據”是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。
維基百科對大數據的定義:“大數據是指所涉及的數據量規模巨大到無法通過目前主流軟件工具,在合理時間內達到獲取、處理的數據!
互聯網數據中心將大數據定義為:“為更經濟地從高頻率、大容量、不同結構和類型的數據中獲取價值而設計的新一代架構和技術”。
上面的有關大數據的定義所給出的結論是悲觀的:目前人們無法處理大數據,“需要新的處理模式”才能處理大數據。

使用道具 舉報

回復
論壇徽章:
0
8#
發表于 2016-9-22 17:08 | 只看該作者
由權威定義可得知:目前并沒有權威的、公認的可以處理大數據的理論。因此,當前的所謂的大數據公司都是冒牌的

使用道具 舉報

回復
論壇徽章:
0
9#
發表于 2016-10-10 13:59 | 只看該作者
多聊點大數據的相關信息,學渣表示非常需要。

使用道具 舉報

回復
認證徽章
論壇徽章:
0
10#
發表于 2017-1-3 14:05 | 只看該作者
我們公司旁邊的移動就有好多中興

使用道具 舉報

回復

您需要登錄后才可以回帖 登錄 | 注冊

本版積分規則 發表回復

TOP技術積分榜 社區積分榜 徽章 團隊 統計 知識索引樹 積分競拍 文本模式 幫助
  ITPUB首頁 | ITPUB論壇 | 數據庫技術 | 企業信息化 | 開發技術 | 微軟技術 | 軟件工程與項目管理 | IBM技術園地 | 行業縱向討論 | IT招聘 | IT文檔
  ChinaUnix | ChinaUnix博客 | ChinaUnix論壇
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓優訊信息技術有限公司版權所有 聯系我們 
京ICP備09055130號-4  北京市公安局海淀分局網監中心備案編號:11010802021510 廣播電視節目制作經營許可證:編號(京)字第1149號
  
快速回復 返回頂部 返回列表
30岁的男人干啥赚钱快赚钱多 股票指数期货基础知识 黑龙江22选5最新开奖详情 宁夏十一选五前三走势图 辽宁35选7开奖时间每周几 pk10人工计划 2019年3D走势图带试机号 幸运飞艇全国统一开奖号码 学生赚钱好方法 上证指数吧 北京体彩十一选五玩法