1. 創(chuàng)業(yè)頭條
  2. 前沿領(lǐng)域
  3. 大數(shù)據(jù)
  4. 正文

睿帆科技數(shù)倉(cāng)解決方案,榮獲2020中國(guó)信通會(huì)大數(shù)據(jù)最佳創(chuàng)新方案獎(jiǎng)

 2020-07-31 08:11  來(lái)源:互聯(lián)網(wǎng)  我來(lái)投稿 撤稿糾錯(cuò)

  域名預(yù)訂/競(jìng)價(jià),好“米”不錯(cuò)過(guò)

2020年7月30日,“第四屆中國(guó)信息通信大數(shù)據(jù)大會(huì)”在京隆重召開(kāi),來(lái)自大數(shù)據(jù)行業(yè)的主管部委、院士專(zhuān)家以及來(lái)自華為、中國(guó)移動(dòng)、中國(guó)電信、中國(guó)聯(lián)通、中興等國(guó)內(nèi)知名企業(yè)高管共聚一堂,就通信運(yùn)營(yíng)商大數(shù)據(jù)方向、5G及AI應(yīng)用創(chuàng)新和未來(lái)發(fā)展趨勢(shì)帶來(lái)精彩分享。作為“掌握PB級(jí)核心處理技術(shù)”的大數(shù)據(jù)產(chǎn)品及解決方案供應(yīng)商的廣州睿帆科技有限公司,由大數(shù)據(jù)科學(xué)家李求實(shí)博士代表出席了該峰會(huì)。會(huì)上,睿帆科技的高性能數(shù)據(jù)倉(cāng)庫(kù)解決方案榮獲最佳創(chuàng)新方案獎(jiǎng)。

在會(huì)后采訪(fǎng)中,李求實(shí)博士向記者講述了睿帆科技高性能數(shù)據(jù)倉(cāng)庫(kù)解決方案的獨(dú)到之處,以及相比于其他競(jìng)品的優(yōu)勢(shì)。

他提到,通信運(yùn)營(yíng)商實(shí)時(shí)采集信令數(shù)據(jù)、詳單數(shù)據(jù)、告警數(shù)據(jù)、故障數(shù)據(jù)、網(wǎng)絡(luò)資源數(shù)據(jù)等,每天的新增數(shù)據(jù)早已超過(guò)PB級(jí)。海量的數(shù)據(jù)意味著更高標(biāo)準(zhǔn)的數(shù)據(jù)分析業(yè)務(wù),對(duì)于離線(xiàn)分析的時(shí)效、實(shí)時(shí)與近實(shí)時(shí)的即席實(shí)時(shí)交互分析,提出了更高的要求。

早些年在傳統(tǒng)離線(xiàn)數(shù)倉(cāng)階段,通信運(yùn)營(yíng)商使用 Hive 作為大數(shù)據(jù)分析的主要工具,對(duì) TB 至 PB 級(jí)的數(shù)據(jù)進(jìn)行分析,但存在著以下的問(wèn)題:

1. 時(shí)效性低

對(duì)于運(yùn)營(yíng)商業(yè)務(wù)來(lái)說(shuō),實(shí)時(shí)分析查詢(xún)?nèi)罩?、告警次?shù),告警時(shí)間等數(shù)據(jù),分析結(jié)果的價(jià)值取決于時(shí)效性。核心運(yùn)維需求場(chǎng)景下,基于 Hive 的離線(xiàn)分析僅能滿(mǎn)足 T+1 的時(shí)效,對(duì)于實(shí)時(shí)故障分析的需求越來(lái)越強(qiáng)烈。

2. 易用性低

基于 Hive 離線(xiàn)數(shù)據(jù)分析平臺(tái),對(duì)于產(chǎn)品、運(yùn)營(yíng)、市場(chǎng)人員具有較高的技術(shù)門(mén)檻,無(wú)法滿(mǎn)足自助的實(shí)時(shí)交互式分析需求;開(kāi)發(fā)在上報(bào)和提取分析數(shù)據(jù)時(shí),無(wú)法實(shí)時(shí)獲取和驗(yàn)證結(jié)果,查詢(xún)和分析日志經(jīng)常需要幾個(gè)小時(shí)。

3. 效率低

不停的執(zhí)行交互式查詢(xún),所以對(duì)實(shí)時(shí)性要求高,所以效率低。

在運(yùn)營(yíng)商做業(yè)務(wù)的數(shù)據(jù)分析模型時(shí),需通過(guò)探索性數(shù)據(jù)分析去實(shí)時(shí)執(zhí)行交互式查詢(xún),其對(duì)海量數(shù)據(jù)的實(shí)時(shí)性交互查詢(xún)速度要求高。通過(guò)Hive構(gòu)建的業(yè)務(wù)數(shù)據(jù)分析模型,響應(yīng)時(shí)間長(zhǎng),分析結(jié)果不及時(shí),嚴(yán)重影響和拖慢了進(jìn)度。

為了應(yīng)對(duì)以上問(wèn)題,提升流程效率,提高數(shù)據(jù)分析處理的時(shí)效性和易用性,數(shù)據(jù)的即席分析和數(shù)據(jù)可視化能力支撐需要優(yōu)化和提升,讓問(wèn)題秒級(jí)響應(yīng),分析更深入,睿帆科技基于其自主研發(fā)的數(shù)據(jù)庫(kù)產(chǎn)品——分布式分析型數(shù)據(jù)庫(kù)雪球DB,完成了高可用、低延遲的高性能數(shù)據(jù)倉(cāng)庫(kù)解決方案,正好可以很好的解決這些問(wèn)題。通過(guò)此方案可針對(duì)上千個(gè)節(jié)點(diǎn)的集群,日均新增PB 級(jí)以上的數(shù)據(jù)量,實(shí)現(xiàn)秒級(jí)的實(shí)時(shí)數(shù)據(jù)分析、提取、監(jiān)控?cái)?shù)據(jù)基礎(chǔ)服務(wù),大大提高了大數(shù)據(jù)分析與處理的工作效率。

同時(shí),高性能數(shù)據(jù)倉(cāng)庫(kù)解決方案適用于PB級(jí)以上超大規(guī)模數(shù)據(jù)的實(shí)時(shí)寫(xiě)入、實(shí)時(shí)讀取的OLAP 應(yīng)用場(chǎng)景,查詢(xún)速度較Presto、SparkSQL提升3-6倍,較Hive提升30-100倍。對(duì)比 Presto、SparkSQL、Hive等數(shù)據(jù)庫(kù),其具備高可靠的分布式MPP集群架構(gòu),使其可以多切片寫(xiě)入,完成線(xiàn)性擴(kuò)展等。

此外,在OLAP場(chǎng)景中讀多于寫(xiě)且經(jīng)常存在多列的大寬表,列數(shù)可以高達(dá)數(shù)百甚至數(shù)千列。“為此,我們特地采用列式存儲(chǔ)和向量化執(zhí)行的方式來(lái)解決,極大的減低了IO 的消耗,加速了查詢(xún),也縮短了計(jì)算耗時(shí)。這讓我們的技術(shù)優(yōu)勢(shì)更為突出。”李求實(shí)博士表示。

一直以來(lái),硬核的技術(shù)以及貼合用戶(hù)需求的創(chuàng)新性解決方案是睿帆科技的立身之本。此次睿帆科技高性能數(shù)據(jù)倉(cāng)庫(kù)解決方案榮獲2020中國(guó)信息通信大數(shù)據(jù)最佳創(chuàng)新方案獎(jiǎng),標(biāo)志著通信運(yùn)營(yíng)商行業(yè)對(duì)于睿帆科技的更高認(rèn)可。未來(lái),睿帆科技將再接再厲繼續(xù)深耕通信運(yùn)營(yíng)商行業(yè)的同時(shí),把更多優(yōu)秀的產(chǎn)品解決方案帶到更多的行業(yè)中,助力更多的企業(yè)實(shí)現(xiàn)高效、低成本的數(shù)字化轉(zhuǎn)型。

申請(qǐng)創(chuàng)業(yè)報(bào)道,分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處,共同探討創(chuàng)業(yè)新機(jī)遇!

相關(guān)文章

編輯推薦