青云QingCloud：大數(shù)據(jù)價值不在量級，在應用起來

　 阿里云優(yōu)惠券 先領券再下單

前不久,青云科技(qingcloud.com,股票代碼:688316)發(fā)布了青云大數(shù)據(jù)工作臺,旨在通過整合其完整的數(shù)據(jù)產品和服務,為客戶提供一個一站式智能大數(shù)據(jù)開發(fā)與治理平臺,打通大數(shù)據(jù)全鏈路,盤活數(shù)據(jù)價值。

上個月,在2022中國國際大數(shù)據(jù)產業(yè)博覽會上,工信部部長肖亞慶表示,“十三五”時期我國大數(shù)據(jù)產業(yè)年均復合增長率超過30%,2021年產業(yè)規(guī)模突破了1.3萬億元,大數(shù)據(jù)產業(yè)鏈初步形成。大數(shù)據(jù)應用從互聯(lián)網、金融、電信等領域逐步向智能制造、數(shù)字社會,數(shù)字政府等領域拓展,極大豐富了我國數(shù)據(jù)資產,催生了一批新場景、新模式、新業(yè)態(tài)。

誠然,大數(shù)據(jù)不僅是推動AI、物聯(lián)網等技術應用的源頭活水,更是數(shù)字化時代的寶貴信息資產,其價值并不在于規(guī)模龐大的數(shù)據(jù)信息,而是在于對這些有意義的數(shù)據(jù)進行專業(yè)化處理。曾有人將數(shù)據(jù)比喻為蘊藏能量的煤礦,煤炭按照性質有焦煤、無煙煤、肥煤、貧煤等分類,而露天煤礦、深山煤礦的挖掘成本又不一樣。類比來看,大數(shù)據(jù)的價值也并不在“大”,而在于“有用”。價值含量、挖掘成本比數(shù)量更為重要。對于很多行業(yè)而言,如何利用這些大規(guī)模數(shù)據(jù)是贏得競爭的關鍵。

打通鏈路 盤活價值

回顧國內大數(shù)據(jù)產業(yè)近年來的發(fā)展,自2015 年國務院正式印發(fā)《促進大數(shù)據(jù)發(fā)展行動綱要》起,其便已經正式上升到了國家戰(zhàn)略層面。在隨后的幾年中,伴隨新型智慧城市和數(shù)字城市建設熱潮,各地與大數(shù)據(jù)和數(shù)字經濟相關的園區(qū)加速落地,大數(shù)據(jù)產業(yè)規(guī)模也在持續(xù)增長。

同時,隨著AIoT、云時代的來臨,越來越多的企業(yè)意識到了大數(shù)據(jù)的重要性。而在實際數(shù)據(jù)應用中,企業(yè)數(shù)據(jù)流鏈路中隱藏的痛點逐一顯現(xiàn)——數(shù)據(jù)鏈路冗長、各平臺間數(shù)據(jù)流轉不及時、大數(shù)據(jù)使用門檻高等。換言之,如果沒有一套完整的系統(tǒng)保證整條鏈路的高效運轉,是很難保證最終從數(shù)據(jù)中提煉出來有價值的信息和知識的。

針對于此,青云科技發(fā)布了青云大數(shù)據(jù)工作臺,旨在通過整合其完整的數(shù)據(jù)產品和服務,為客戶提供一個一站式智能大數(shù)據(jù)開發(fā)與治理平臺,打通大數(shù)據(jù)全鏈路,盤活數(shù)據(jù)價值。

青云QingCloud大數(shù)據(jù)產品經理劉雄風介紹,2014年-2018年,青云科技在廣度上實現(xiàn)了數(shù)據(jù)產品和服務的全覆蓋,2018年至今,青云科技在深度上,對產品性能、服務質量、服務范圍進行了全方位提升。目前,青云科技已經推出了近30款數(shù)據(jù)產品和服務,同時集成優(yōu)秀的合作伙伴應用,形成了包括數(shù)據(jù)庫與緩存、消息隊列與中間件、大數(shù)據(jù)服務、數(shù)據(jù)倉庫與BI、對象存儲在內的數(shù)據(jù)產品生態(tài)。

同時,在其數(shù)據(jù)產品、服務與解決方案落地應用過程中,青云科技了解到,客戶的需求正在逐步升級——從最初的“底層資源”問題,逐步進階到“數(shù)據(jù)層”問題,主要體現(xiàn)在數(shù)據(jù)開發(fā)和作業(yè)運維調度、數(shù)據(jù)實時計算、數(shù)據(jù)同步等方面。所以,客戶需要能把數(shù)據(jù)價值盤活和利用起來的平臺。

基于客戶需求的升級,青云科技推出了青云大數(shù)據(jù)工作臺,可以降低大數(shù)據(jù)使用門檻,將代碼開發(fā)降到最低,讓非技術人員也能進行大數(shù)據(jù)分析,實現(xiàn)數(shù)據(jù)在云平臺各產品之間快速流轉,支撐上層業(yè)務,消除企業(yè)“數(shù)據(jù)孤島”,實現(xiàn)數(shù)據(jù)的統(tǒng)一調度和計算,從而進一步幫助企業(yè)挖掘數(shù)據(jù)價值,提升整體的數(shù)據(jù)洞察能力。

一站式智能大數(shù)據(jù)開發(fā)與治理平臺

目前,青云大數(shù)據(jù)工作臺已上線1.0版本,主要具備“數(shù)據(jù)集成、數(shù)據(jù)加工、統(tǒng)一數(shù)據(jù)存儲和服務”功能模塊,從最底層到最上層分為五層架構——云原生、全托管式計算引擎、全生命周期數(shù)據(jù)開發(fā)、高效的數(shù)據(jù)同步服務、應對豐富的業(yè)務場景。

具體到功能層面:

第一,數(shù)據(jù)上云:可以提供本地數(shù)據(jù)源上云服務,支持結構化、非結構化、半結構化的數(shù)據(jù),可將數(shù)據(jù)安全地同步到云端,后續(xù)計算在云端完成,充分解放了企業(yè)的服務器壓力。

第二,數(shù)據(jù)開發(fā):在云上的大數(shù)據(jù)開發(fā)環(huán)境,將數(shù)據(jù)進行加工,支持實時處理、離線批量處理。根據(jù)業(yè)務需求,客戶還可以選擇“可視化算子拖拽、界面化SQL 開發(fā)、Jar 包提交”三種方式構建數(shù)據(jù)開發(fā)任務,滿足多維度的開發(fā)者的任務構建。

第三,數(shù)據(jù)同步:將處理完的結果數(shù)據(jù),根據(jù)數(shù)據(jù)特性,存儲在不同的存儲介質中,以便使用。數(shù)據(jù)源可以是消息隊列 Kafka、數(shù)據(jù)庫 MySQL 等,目標數(shù)據(jù)源可以是消息隊列 Kafka、數(shù)據(jù)庫 MySQL、數(shù)據(jù)分析引擎 Elasticsearch等。

第四,作業(yè)運維調度:大數(shù)據(jù)處理的核心是運行在Flink集群上的任務。青云大數(shù)據(jù)工作臺自主研發(fā)的調度和任務管理模塊,可以同時根據(jù)任務維護和資源分配維度分別監(jiān)控,實時跟蹤計算資源飽和度,提醒企業(yè)根據(jù)需求調整計算資源,助力全流程高并發(fā)處理。

第五,引擎資源管理:提供云端全托管Flink集群,幾分鐘完成計算集群部署;具備云原生彈性擴容能力,節(jié)省資源,提高資源利用率;提供細粒度資源管控,最小資源使用粒度僅 0.5 CU,精細化資源管控;支持按量和包年包月計費,適配不同需求,價格低廉,安全穩(wěn)定。

未來,青云大數(shù)據(jù)工作臺還將持續(xù)迭代,聚焦在數(shù)據(jù)治理、數(shù)據(jù)資產、優(yōu)化體驗等層面。

基于完備的架構與功能,青云大數(shù)據(jù)工作臺可以輕松應對中小型互聯(lián)網或移動互聯(lián)網客戶較為關心的精細化運營分析場景、以智慧工廠為代表的實時計算場景、以科研數(shù)據(jù)為基礎的可視化開發(fā)與運維場景以及構建數(shù)倉場景。

劉雄風指出,青云大數(shù)據(jù)工作臺目前主要聚焦在以物聯(lián)網和工業(yè)大數(shù)據(jù)為代表的的新興領域。其中,在工業(yè)領域,隨著不斷細密度的政策迭代,推動工業(yè)大數(shù)據(jù)的全面采集、工業(yè)設備互聯(lián)互通速度加快,青云科技將在物料能耗優(yōu)化、產線效率分析、故障定位、出庫物流追蹤、庫存優(yōu)化及產品質量追溯等方面,進行大數(shù)據(jù)的深入實時分析、計算等。

值得一提的是,青云科技所提供的方案不局限于大數(shù)據(jù)工作臺的單一產品,而是與青云科技的KubeSphere容器平臺、IoT平臺形成合力,組建了“大數(shù)據(jù)工作臺+KubeSphere+IoT”三位一體的技術方案。

“青云大數(shù)據(jù)工作臺+KubeSphere+IoT”三位一體技術方案

在架構上,該方案的最上層是物聯(lián)網平臺,中間是大數(shù)據(jù)工作臺,最底層是容器平臺。首先,青云科技通過容器平臺進行資源的保障,提供按需使用、彈性伸縮、一鍵擴容、在線運維的功能保障;其次,大數(shù)據(jù)工作臺可以提供數(shù)據(jù)處理的能力,結合消息中間件、數(shù)據(jù)倉庫、數(shù)據(jù)服務等云原生的產品組件,從橫向數(shù)據(jù)流方面提供一站式的數(shù)據(jù)實時處理和輸出能力;最后,在物聯(lián)網層形成“云、網、邊、端”統(tǒng)一管理、統(tǒng)一數(shù)據(jù)采集和統(tǒng)一邊緣控制。

如今,該方案已在不同領域實現(xiàn)了成熟落地。以某行業(yè)領先的工業(yè)自動化測試設備與整線系統(tǒng)解決方案提供商為例,其數(shù)據(jù)源涵蓋多個維度,生產數(shù)據(jù)包括機加工設備、物聯(lián)網系統(tǒng)中的SMT設備和AGV設備、立庫等,未來還計劃引進質量監(jiān)測設備;運營數(shù)據(jù)則包括了水電氣、空調供暖、給排水、門閘、溫濕度以及各類樓宇/園區(qū)的運營信息。所以,客戶需要統(tǒng)一的數(shù)據(jù)接收和存儲、統(tǒng)一的數(shù)據(jù)API服務,需要建設統(tǒng)一的“物聯(lián)網+大數(shù)據(jù)”平臺。

該方案則可以應對這一難題,由IoT平臺進行“云、網、邊、端”的數(shù)據(jù)源統(tǒng)一控制,客戶可以將數(shù)據(jù)通過消息中間件進行統(tǒng)一傳輸,傳輸?shù)酱髷?shù)據(jù)工作臺上再做原始庫數(shù)據(jù)集成的操作。數(shù)據(jù)存儲到原始數(shù)據(jù)庫后,客戶可將原始庫單獨對外提供數(shù)據(jù)權限、數(shù)據(jù)存儲和數(shù)據(jù)查詢服務。對于原始庫存儲的數(shù)據(jù),客戶還能進行數(shù)據(jù)的二次加工,形成最終結果庫,結果庫同樣可以對外提供數(shù)據(jù)權限、數(shù)據(jù)存儲和數(shù)據(jù)查詢的服務。

結語

AIoT時代下,數(shù)據(jù)的重要性無需贅述,而其價值絕不僅僅是停留在量級,而是隱藏在應用之中。也正因如此,越來越多的企業(yè)開始重視業(yè)務與運營之中的大數(shù)據(jù)管理、應用,客戶需求更加明確——“客戶需要端到端的全鏈路解決方案,而不是簡單地堆積一些大數(shù)據(jù)產品組件”。換言之,構建高效的數(shù)據(jù)流鏈路才能進一步挖掘數(shù)據(jù)流背后的實際價值。青云大數(shù)據(jù)工作臺的出現(xiàn),無疑全面滿足了這一需求,激活企業(yè)數(shù)據(jù)資產,釋放數(shù)據(jù)價值。

申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！