查看: 179549|回復: 77

【大師聲音】"OK我來了” -云和恩墨蓋國強 K-DB開放日手記

[復制鏈接]
認證徽章
論壇徽章:
10
秀才
日期:2015-09-07 11:11:38秀才
日期:2015-11-30 09:13:06秀才
日期:2015-11-23 10:17:192015年中國系統架構師大會紀念徽章
日期:2015-10-27 14:48:08狀元
日期:2015-09-07 11:14:23榜眼
日期:2015-09-07 11:14:10探花
日期:2015-09-07 11:13:14進士
日期:2015-09-07 11:12:43舉人
日期:2015-09-07 11:12:21秀才
日期:2016-02-18 09:23:46
跳轉到指定樓層
1#
發表于 2015-9-10 13:21 | 只看該作者 回帖獎勵 |倒序瀏覽 |閱讀模式
前言:
2015年8月30日,ITPUB協助招募的"OK我來了”K-DB線下體驗活動在北京上地創業園浪潮云計算創新中心隆重舉行了,當日上演了一場別開生面的數據庫性能大對決,活動匯集了來自各個行業領域的DBA精英參與線下體驗親歷親測,更為驚喜的的是,主辦方誠意滿滿地請到了云和恩墨創始人,Oracle Ace總監,我們ITPUB的版主——蓋國強蓋老師,來作為本次活動的神秘大咖,為現場的DBA們做技術指導。蓋老師在活動過后更是毫不吝嗇的分享了自己體驗感受,給大家更多的參考!在此小編就滿足大家強烈的好奇心,送上蓋老師的體驗手記!


"OK我來了” - K-DB開放日手記
作者:蓋國強   2015-09-09


在數據庫領域,很有可能又一個重量級參與者來了,這就是浪潮的K-DB數據庫。這個命名顯然遵循了浪潮一貫的命名規則,小型機稱為K1,數據庫現在稱作K-DB。
社區對K-DB有很多期待和傳聞,我記錄一下我的見聞供大家參考。據說10月份,K-DB將正式發布,大家所有的疑惑可能都可以解開。

【一封誠摯的邀請信函】
2015年8月30日,在浪潮北京上地的研發中心舉行了一次別開生面的K-DB體驗日活動,說別開生面是因為在這次活動中,浪潮公司和ITPUB社區合作,招募了10名社區技術愛好者,在現場又分為兩個團隊,通過同樣的測試流程,展開了一次分組團隊的PK。

在短短10天之內,論壇報名人數將近80人,大家對這次現場活動表現出了極大的興趣,雖然最后僅僅選擇了10位資深的DBA,但是大家對于一個新生的事物所表現出來的參與熱情讓社區對K-DB更加充滿了期待。

浪潮發表了“一封誠摯的邀請函”,這是我見過技術領域最具詩意的邀請:
我是K-DB ,一款數據庫;
我知道,你操作Oracle已經爐火純青,
我也知道,你對Oracle底層架構嫻熟于心,
但是,你對我的了解甚少,
我想說:我和Oracle 99%兼容,性能和Oracle不分伯仲。
你或許會懷疑,
那么,就讓我們來一場技術切磋吧!
在Oracle和K-DB之間,由你親自揭曉答案!
光說不練,不是我們的風格;
實測體驗,才是我們的膽魄;
馬上加入,是您最佳的選擇;
我們期待聽到您的回應:O.K,我來了。!
趕緊加入我們最具實戰的DBA體驗活動吧!你還在猶豫什么?
8月30日(周日),你若赴約,我必不負!

大家就是在這樣一種期待之下,紛紛報名參與到這樣一場技術人員之間的學習與切磋中的,而我則作為見證者參與了這樣一場別開生面的技術交流會。

【一場精心準備的演示】
在8月30日清早,大家如期來到了浪潮位于北京上地的實驗室,精心布置的會場讓我精神一振,浪潮對于這次活動的重視超過了我的預期,10位參賽者的照片和介紹在環繞的顯示器上分別呈現,這其中有一些非常讓我意外的參與者,如恩核公司的鄭保衛博士,他是行業內非常資深的數據治理和優化方面的專家,是恩核中國公司的創始人;而洪燁則來自于哈爾濱銀行,他之前在IBM從事DB2的工作,后轉至甲方從事Oracle和DB2等數據庫管理工作。這些專家的參與,讓我在活動開始之前就增添了更多的期待與好奇。
活動開幕之前,浪潮集團副總裁胡雷鈞先生發表了感言,他是享受國務院特殊津貼的專家。作為七零后,胡總取得的成就讓人仰望,在這樣的活動上出場,也說明K-DB對于浪潮的K1服務器和浪潮公司的重要地位。據說浪潮參與到數據庫領域,其中一個原因是Oracle目前不支持浪潮K1小型機的Unix環境,所以浪潮只好自謀出路,這和當年微軟為了Windows而從Sybase獲得SQL Server異曲同工。
胡總現場還展示了國內的第一張電子發票,浪潮在很多行業領域取得的成績是無可爭議的。

在接下來的分享中,浪潮的數據庫專家介紹了K-DB的技術特點和功能,其中最引人矚目的是K-DB的K-RAC功能,類似Oracle的RAC架構,而且據稱K-RAC已經能夠穩定的支撐用戶的生產。

現場演示了插拔網線模擬故障時K-RAC的性能表現,我親自到機房參與了插拔網線心跳中斷的故障模擬和恢復過程。當然集群的測試更重要的是看前端應用的表現,現場觀眾在前臺通過監控畫面見證了集群在發生中斷驅逐節點以及加入節點的過程,除了集群重配置階段的TPMC值略有波動外,整個系統的響應非常平穩,這驗證了在發生典型故障情況下K-RAC的可用性,對于一款剛剛問世的國產數據庫,這非常讓人驚喜,集群功能一直是非常復雜的技術,Oracle在共享存儲下的RAC模式獨步天下,現在K-RAC也具備了核心功能的可用性,這對于浪潮的用戶來說將會非常具有說服力。

引用一張K-DB的集群和主備架構圖,由于與Oracle數據庫原理架構一一對應,大家理解起來非常簡單,幾乎沒有障礙。
經過一個上午的介紹分享,大家對于K-DB的原理和工作模式都有了深入的理解,通過問答互動,也使得早前心存的疑惑紛紛解開,這一場精心準備的演示達到了良好的效果,大家開始躍躍欲試。

【一次熱烈愉快的競賽】
經過上午的學習,中午的交流,大家都熟悉起來,對于K-DB也是摩拳擦掌,下午的活動很快進入了實質性階段。浪潮的專家介紹了測試場景,并將活動分為三個階段:動手實測了解K-DB;分組優化進行初步測試;第二輪優化最終對比PK。

在動手環節,浪潮的技術人員帶領大家完成了一次數據庫遷移,將Oracle數據庫的數據和存儲過程等通過kdMigrator遷移到了K-DB數據庫中,在遷移之后,原有的前端應用程序可以流暢工作,這驗證了此前宣傳的K-DB與Oracle數據庫的良好兼容性。

在充分了解了K-DB之后,現場通過抽簽分為了兩組,5人在Oracle一組,5人在K-DB一組,大家分別以自己的實踐經驗調整優化各自的數據庫,然后通過標準的TPMC標準測試得出雙方的測試結果。所以這次活動實際上更加看重的是大家的實踐能力,通過學習思考,分析優化從而得出對比結果的一場“友誼賽”。
測試使用Benchmark SQL工具,模擬服務器在100個Warehouse和1000個并發用戶下雙方數據庫的性能。

在活動開始之前,我作為嘉賓給予了大家一點建議,其實性能之爭也就是資源之爭,如果兩個產品的性能在同一個量級,那么更重要的就是如何充分利用CPU、內存與存儲資源,達成最佳的性能配合。而從兩臺測試主機的配置來看,從存儲的SSD配置,到內存的256GB配備,應對100個Warehouse的測試(估計數據量不超過10GB),存儲與內存的效率都是充足的,那么在這種情況之下,最終考驗的是如何充分利用CPU資源,在可比的利用率之下得出可比數據。其實整個TPMC基準測試是非?简灱毠潈灮,在下午兩個小時左右的現場測試對比中,更重要的是考驗大家對于數據庫技術的理解和快速應對。

簡要的總結一下兩個階段的優化對比,第一階段O組的效率偏低,測試結果Oracle的性能僅有K-DB的一半;第二階段O組經過深入調優,最終的測試結果Oracle和K-DB非常接近。整個測試過程K-DB表現出非常好的性能和穩定性,這超出了大家的預期。

下圖是兩個階段的測試數據,這次活動更多的展現兩個產品的可比性,所有的測試數據并不代表兩個產品的極限性能,測試的結果也和兩個團隊對于數據庫技術的理解和熟悉程度有關。
【一點現場的真實感受】
我在現場的真實感受就是,這是一場緊張而又熱烈、開放而又友好的技術友誼賽。大家在很短的時間內組成團隊,進行分工,馬上就建立起團隊的使命感和榮譽感,開始緊張的調優和測試。O隊的隊員熟悉產品,但是也承擔更大的壓力,務必要讓優勢技能落地成優勢結果;K隊對K-DB充滿新鮮和期待,輕松上陣毫無壓力的參與競爭,這讓他們無形中就獲得了先機。

對于兩個階段的比賽,我分別做了一點現場點評,現場的感覺與大家分享。
在第一階段最后的測試中我注意到,藍隊已經開始調整隱含參數,_log_simultaneous_copies這樣的參數讓我驚訝(我并不確定K-DB是直接忽略還是真的支持這個參數),完全超出預期,即便在Oracle中這也是非常內部的參數和優化手段,但是更讓我驚訝的是K-DB也有這樣的參數。比較下來,紅隊這邊的同事們還在修改文件大小的時候,藍隊已經開始調整隱含參數,修改大頁配置,這讓我為紅隊著急。

整體感覺藍隊這邊動手能力很強,在開始前已經做好了準備工作,比如調整文件大小和內存配置等,而紅隊這邊大家準備反而不夠充分,所以接下來的40分鐘尤為關鍵,是不是能夠讓Oracle把它的王者風范展示出來,能不能讓TPMC值跑到十萬以上?我建議是不是能從這邊抽掉兩個人換一下,把這邊的成功經驗復制到Oracle這邊,然后看一看大家是不是能有更好的表現。

我剛才的一些觀察,對于紅隊,分析問題時AWR報告都沒有及時生成出來,整個優化過程有點混亂,接下來梳理一下思路然后再動手較好;藍隊這邊剛才的思路就是,優化文件配置修改內存參數,然后優化隱含參數,操作系統參數,整體思路是非常清晰。大家各自整理一下思路明確方向再來一輪。OK,我們一起再來,加油。

在比賽最后我做了一點現場總結:
在今天這兩次的測試過程中兩隊表現出了非常專業的精誠合作、團結攻關精神,我覺得非常值得欽佩。

我稍微思考了一下,給兩隊做一個命名,我覺得藍隊是可以稱為暴力派,他們在兩次調優過程中,嘗試了N多種暴力手段,從最開始的常規配置,到調整非常內部的隱含參數,然后又去調Huge Page配置,到第二個階段他們做什么了?搞分區,將大數據量的表改為分區表,加并行,還調整了HASH_AERA_SIZE,SORT_AREA_SIZE這些參數,還建立了新的索引,收集統計信息,他們采取了很多手段,中間數據庫也重啟了多次,還好穩定的跑到最后。
我覺得暴力派證明了兩點,第一KDB是非常穩健,第二功能是非常健全的,K-DB從并行到各種非常內部的參數一應俱全,非常難得。

然后紅隊,我給大家命名為溫和派。紅隊一直在用非常標準的手段和方法在進行調整優化。比如說通過文件的調節優化,如臨時表空間、回滾表空間;一些標準參數的優化,如內存參數。紅隊通過可靠的常規手段進行優化,以達成最佳實踐,這在真實的生產環境中是非常重要的。紅隊一直在用溫和標準的手段進行Oracle調節優化,所以我說他們是溫和派。

但是溫和派在第二次測試中獲得了巨大的進展,在第二階段把Oracle數據庫的性能較大的發揮出來,最終結果,我們看到兩個數據庫在同樣的場景之下的表現是非常接近的。雖然最終可能還有一些差異,原因可能有具體的一些參數原因,也有可能藍隊增加的索引起了效果,紅隊沒有建立。雖然一些調優手段上可能會有一些差距,但是最終的結果我覺得是非常有意義的。兩個數據庫在同樣的模型下,最后體現的性能是接近的,同一個數量級的。

對于今天的這個結果,第一是和我早上的預測比較吻合,我預測兩個數據庫會比較接近,可能大家會各有一些長處;第二是我沒有想到這些暴力的優化手段K-DB都支持,就是各種功能、方法、參數,這是非常讓我意外的事情。

有意料之中也有意料之外的事情,所以這是我的一些觀點,感謝兩隊,謝謝。

【一句收獲與希望寄語】
以下是我在活動現場發表的最后一段題外話,其中也有我的收獲。

我最后再補充一點題外的話。
早上我聽胡總講到一句話印象深刻,叫“隱藏的權利感”,我想把這句話應用到兩個數據庫,表達一下我的觀點。
Oracle數據庫,雖然是一個商用數據庫不開源,但是它又是非常開放的一個產品,Oracle幾乎所有的內部操作,不管是調優的過程還是數據庫的各種內部操作,都是可跟蹤解析的。
比如Oracle數據庫的啟動和關閉過程,全程是可跟蹤的。它的啟動關閉會解析成多少個遞歸操作,我們全都可以跟蹤出來。所以我們做Oracle DBA的工作時,面對任何事情我們都會非常有信心。Oracle開放了各種接口,方法和手段給我們,只要我們去分析研究,就能夠把一個問題的Root Cause找出來,接近Root Cause就離解決問題不遠了。

現在我們對KDB了解還不夠,大家剛才都是向工作人員尋求語法支持的。以后我們加強了解,或者說我希望KDB也會變成一個更加開放接口的,更加開放Debug功能的,讓我們研究這個數據庫的時候也可以找到更多的樂趣。我覺得這里面找到的樂趣就是我剛才講的或者是胡總講的,是隱藏的權利感。就是我不動聲色,但是我知道我在處理接觸這個數據庫的時候,我有非常強的把控力,我能撼動和解決幾乎所有的問題。我覺得這一點對于技術人員是非常重要的。

所以將來我們加強對KDB的了解,或者KDB也做的更加靈活開放,讓我們也能獲得這種權利感,那我相信它的社區會更活躍更好起來,這是我最后補充的一點。

【一天初識K-DB】
一天的互動是短暫的,但是大家通過這一天的活動建立了對于浪潮K-DB的初始印象,雖然Oracle數據庫是關系型數據庫領域的王者,但是K-DB在基本功能方面能夠達到和Oracle相近似的性能,在K-RAC的集群數據庫方面,核心功能可用,這是浪潮帶給參會者的驚喜。
對于國產RDBMS來說,我認為這是一個好的時代,因為Oracle在核心功能方面已經完全成熟,現在Oracle的更多創新來自于外圍功能,核心戰略也轉移到軟硬件一體化、云技術方面,所以國產數據庫有了更充足的時間在基本功能方面追趕Oracle數據庫。
雖然K-DB等國產數據庫在產品組件上還遠遠落后于Oracle,但是只要核心功能能夠成熟穩定,也自然能夠獲得足夠的施展空間。

愿數據庫領域有更多的產品成熟起來,讓競爭更精彩!




PS:蓋老師說了這么多,相信大家也有同樣很多感受,歡迎小伙伴們積極回復留言哦~


認證徽章
論壇徽章:
836
狀元
日期:2015-11-12 10:18:05榜眼
日期:2015-11-12 10:18:05探花
日期:2015-11-12 10:18:05進士
日期:2015-11-12 10:18:05舉人
日期:2015-09-11 13:42:08秀才
日期:2015-09-17 09:11:05至尊黑鉆
日期:2015-11-20 18:17:09紫鉆
日期:2015-11-20 18:18:06粉鉆
日期:2015-11-20 18:17:23綠鉆
日期:2015-11-20 18:17:48
2#
發表于 2015-9-10 13:56 | 只看該作者
光說有毛用
實際拿出來商用啊

使用道具 舉報

回復
論壇徽章:
403
紫蛋頭
日期:2012-05-21 10:19:41迷宮蛋
日期:2012-06-06 16:02:49奧運會紀念徽章:足球
日期:2012-06-29 15:30:06奧運會紀念徽章:排球
日期:2012-07-10 21:24:24鮮花蛋
日期:2012-07-16 15:24:59奧運會紀念徽章:拳擊
日期:2012-08-07 10:54:50奧運會紀念徽章:羽毛球
日期:2012-08-21 15:55:33奧運會紀念徽章:蹦床
日期:2012-08-21 21:09:51奧運會紀念徽章:籃球
日期:2012-08-24 10:29:11奧運會紀念徽章:體操
日期:2012-09-07 16:40:00
3#
發表于 2015-9-10 14:07 | 只看該作者
下載鏈接?

使用道具 舉報

回復
論壇徽章:
176
雙魚座
日期:2015-07-21 09:59:26天枰座
日期:2015-07-21 09:59:26天枰座
日期:2015-07-21 09:59:26天枰座
日期:2015-07-17 17:54:16雙魚座
日期:2015-07-17 22:29:02天蝎座
日期:2015-07-17 22:32:10雙子座
日期:2015-07-18 00:21:08巨蟹座
日期:2015-07-18 02:59:38獅子座
日期:2015-07-18 04:57:05獅子座
日期:2015-07-18 07:21:08
4#
發表于 2015-9-10 14:19 | 只看該作者
機器壞了,可以修。
數據丟了,拿什么來修。

別看廠家吹的牛。我前東家是搞存儲的,也只能在外圍系統上打轉,核心系統哪個CIO敢用啊。

使用道具 舉報

回復
認證徽章
論壇徽章:
223
2010新春紀念徽章
日期:2010-03-01 11:20:51ITPUB元老
日期:2019-04-25 13:46:07至尊黑鉆
日期:2015-08-13 13:38:12至尊黑鉆
日期:2015-02-15 09:47:472015年中國系統架構師大會紀念徽章
日期:2015-07-31 17:48:20管理團隊2007貢獻徽章
日期:2015-01-19 09:48:272015中國數據庫技術大會紀念徽章
日期:2015-05-15 14:08:23海藍寶石
日期:2015-02-03 10:23:39紅寶石
日期:2015-02-03 10:26:04會員2007貢獻徽章
日期:2015-02-03 10:26:41
5#
發表于 2015-9-10 14:23 | 只看該作者
聽到了一些別的聲音,說是這個 K-DB,并不是國產,而是朝鮮半島來的,不知道是真是假。

當然了,不論是誰家的產品,我想,最終讓用戶受益,用戶才會去用。

使用道具 舉報

回復
認證徽章
論壇徽章:
55
優秀寫手
日期:2015-02-12 06:00:13秀才
日期:2016-02-18 10:07:49秀才
日期:2016-02-18 10:08:142016猴年福章
日期:2016-02-23 09:58:34猴賽雷
日期:2016-02-23 10:04:24紫水晶
日期:2016-04-01 12:19:28雙子座
日期:2016-04-28 10:19:29秀才
日期:2016-06-23 14:15:06奧運會紀念徽章:曲棍球
日期:2016-08-30 13:12:24奧運會紀念徽章:體操
日期:2016-09-26 11:24:37
6#
發表于 2015-9-10 14:30 | 只看該作者
之前目前   oracle對數據的保護是別的數據庫無法比擬的吧?很多公司,就連一直使用oracle的  都不輕易的去升級   更何況一個從沒用過的數據庫

使用道具 舉報

回復
認證徽章
論壇徽章:
241
至尊黑鉆
日期:2015-09-25 14:27:26粉鉆
日期:2015-10-16 10:53:36紫鉆
日期:2015-10-16 10:53:21紅鉆
日期:2015-09-25 15:05:50黃鉆
日期:2015-10-17 12:23:40綠鉆
日期:2015-10-24 10:29:30至尊黑鉆
日期:2015-08-14 13:24:07粉鉆
日期:2015-10-24 10:30:07紫鉆
日期:2015-11-03 22:32:09紅鉆
日期:2015-11-06 17:21:40
7#
發表于 2015-9-10 15:02 | 只看該作者
任道重遠啊

使用道具 舉報

回復
認證徽章
論壇徽章:
309
季節之章:春
日期:2012-06-20 17:38:14季節之章:夏
日期:2012-06-12 10:49:25季節之章:秋
日期:2012-06-12 10:49:25季節之章:冬
日期:2012-06-12 10:49:25馬上有錢
日期:2014-06-16 15:59:19藍色妖姬
日期:2012-05-19 11:02:10藍色妖姬
日期:2012-06-12 11:21:48藍色妖姬
日期:2012-06-12 11:21:48玉兔
日期:2012-07-27 11:00:12玉兔
日期:2012-08-05 10:00:09
8#
發表于 2015-9-10 16:30 | 只看該作者
有試用版嗎?

使用道具 舉報

回復
認證徽章
論壇徽章:
54
秀才
日期:2017-02-22 15:18:002015年新春福章
日期:2015-03-06 11:57:31懶羊羊
日期:2015-03-04 14:48:16馬上有對象
日期:2014-10-24 17:37:552014年世界杯參賽球隊: 比利時
日期:2014-08-05 11:35:382014年世界杯參賽球隊: 阿根廷
日期:2014-07-15 10:49:33馬上有車
日期:2014-02-18 16:41:112014年新春福章
日期:2014-02-18 16:41:11路虎
日期:2014-01-02 12:55:56ITPUB社區12周年站慶徽章
日期:2013-10-08 15:00:34
9#
發表于 2015-9-10 17:22 | 只看該作者
256G RAM,拿個10G數據去測性能,感覺有點不妥,大約是受限于時間吧
從個人角度說,沒試用或FREE版,感覺始終是抽象的

使用道具 舉報

回復
認證徽章
論壇徽章:
54
秀才
日期:2017-02-22 15:18:002015年新春福章
日期:2015-03-06 11:57:31懶羊羊
日期:2015-03-04 14:48:16馬上有對象
日期:2014-10-24 17:37:552014年世界杯參賽球隊: 比利時
日期:2014-08-05 11:35:382014年世界杯參賽球隊: 阿根廷
日期:2014-07-15 10:49:33馬上有車
日期:2014-02-18 16:41:112014年新春福章
日期:2014-02-18 16:41:11路虎
日期:2014-01-02 12:55:56ITPUB社區12周年站慶徽章
日期:2013-10-08 15:00:34
10#
發表于 2015-9-10 17:28 | 只看該作者
幾年前試用過DM 6,感覺良好
雖然也是以傾向于兼容ORACLE,但帶著SQL SERVER的貫性去用,也無障礙

使用道具 舉報

回復

您需要登錄后才可以回帖 登錄 | 注冊

本版積分規則 發表回復

DTCC2020中國數據庫技術大會 限時8.5折

【架構革新 高效可控】2020年9月21日~23日第十一屆中國數據庫技術大會將在北京隆重召開。

大會設置2大主會場,20+技術專場,將邀請超百位行業專家,重點圍繞數據架構、AI與大數據、傳統企業數據庫實踐和國產開源數據庫等內容展開分享和探討,為廣大數據領域從業人士提供一場年度盛會和交流平臺。

http://dtcc.it168.com


大會官網>>
30岁的男人干啥赚钱快赚钱多 甘肃十一选五开奖结果走势图 湖北快三官方手机版 45599期期一波中特 at结构量化交易系统 辽宁11选五走式图 十一选五浙江十一选 深a股票代码 优乐江西麻将手机版 湖北十一选五技巧 安徽11选5走势图手机版
TOP技術積分榜 社區積分榜 徽章 團隊 統計 知識索引樹 積分競拍 文本模式 幫助
  ITPUB首頁 | ITPUB論壇 | 數據庫技術 | 企業信息化 | 開發技術 | 微軟技術 | 軟件工程與項目管理 | IBM技術園地 | 行業縱向討論 | IT招聘 | IT文檔
  ChinaUnix | ChinaUnix博客 | ChinaUnix論壇
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓優訊信息技術有限公司版權所有 聯系我們 
京ICP備09055130號-4  北京市公安局海淀分局網監中心備案編號:11010802021510 廣播電視節目制作經營許可證:編號(京)字第1149號
  
快速回復 返回頂部 返回列表
甘肃十一选五开奖结果走势图 湖北快三官方手机版 45599期期一波中特 at结构量化交易系统 辽宁11选五走式图 十一选五浙江十一选 深a股票代码 优乐江西麻将手机版 湖北十一选五技巧 安徽11选5走势图手机版