當(dāng)前位置:首頁 >  科技 >  IT業(yè)界 >  正文

清除中臺亂象,網(wǎng)易云發(fā)布全鏈路中臺技術(shù)及方法論

 2019-07-26 18:38  來源: 互聯(lián)網(wǎng)   我來投稿 撤稿糾錯

  域名預(yù)訂/競價,好“米”不錯過

當(dāng)前數(shù)字經(jīng)濟(jì)領(lǐng)域最受關(guān)注的技術(shù)趨勢當(dāng)屬中臺,到底中臺對企業(yè)發(fā)展的意義何在,企業(yè)應(yīng)當(dāng)如何建設(shè)中臺?7月26日,網(wǎng)易云在本屆云創(chuàng)峰會上給出了完整的答案,從組織、技術(shù)、方法論的角度系統(tǒng)闡述了網(wǎng)易杭州研究院的中臺實踐與成果,并發(fā)布了全鏈路大數(shù)據(jù)產(chǎn)品和輕舟微服務(wù)產(chǎn)品,分別為企業(yè)構(gòu)建數(shù)據(jù)中臺和在線業(yè)務(wù)中臺提供完整的技術(shù)和方法論支持。

在主題演講中,網(wǎng)易副總裁、網(wǎng)易杭州研究院執(zhí)行院長汪源首次介紹了網(wǎng)易對中臺的理解,他表示:中臺的本質(zhì)是業(yè)務(wù)能力的沉淀,它對于企業(yè)提高需求響應(yīng)、降低定制成本、實現(xiàn)彈性穩(wěn)定、實現(xiàn)系統(tǒng)互通、提升運(yùn)營效率和降低資源成本具有獨特的優(yōu)勢,而中臺的成功建設(shè),需要組織、技術(shù)和相應(yīng)的方法論的支撐,同時由于業(yè)務(wù)的復(fù)雜性,企業(yè)往往還需要借助專業(yè)的咨詢服務(wù),才能順利建設(shè)中臺。

據(jù)悉,網(wǎng)易是業(yè)界唯一通過設(shè)立研究院專職培育創(chuàng)新業(yè)務(wù)的公司,網(wǎng)易杭州研究院(以下簡稱杭研)同時肩負(fù)著能力沉淀和業(yè)務(wù)創(chuàng)新兩大職能,成功孵化了網(wǎng)易考拉、網(wǎng)易嚴(yán)選、網(wǎng)易云音樂、網(wǎng)易云等業(yè)務(wù)。由于發(fā)展的業(yè)務(wù)眾多,杭研天然具備建設(shè)各種共性能力的訴求,很多能力自然而然就建設(shè)成了中臺的形式。汪源認(rèn)為,這些能力(中臺)的沉淀,能夠幫助企業(yè)駕馭云計算、微服務(wù)、大數(shù)據(jù)、人工智能和物聯(lián)網(wǎng)等技術(shù)革新成果,并形成核聚變的能量,促進(jìn)企業(yè)數(shù)字化創(chuàng)新,推動產(chǎn)業(yè)發(fā)展乃至社會經(jīng)濟(jì)升級。

圖:網(wǎng)易副總裁、網(wǎng)易杭州研究院執(zhí)行院長 汪源

明晰中臺內(nèi)涵與實踐路徑,首提技術(shù)核聚變

隨著IoT將互聯(lián)網(wǎng)能力延伸到生產(chǎn)端,例如基于IoT的網(wǎng)易疾風(fēng)工業(yè)智能平臺讓工業(yè)企業(yè)解決生產(chǎn)管理頑疾,企業(yè)對新技術(shù)、新數(shù)據(jù)價值的挖掘愈發(fā)期待,中臺的價值也被更多企業(yè)關(guān)注。在國內(nèi),一些原本的平臺,也隨之搖身一變成了所謂的技術(shù)中臺、算法中臺、移動中臺、研發(fā)中臺,汪源將之稱為“中臺亂象”,他表示,中臺必須具備業(yè)務(wù)屬性,沒有業(yè)務(wù)屬性的,即使支撐多個前臺業(yè)務(wù),比如一堆技術(shù)組件,也只是平臺而不是中臺。在汪源看來,所有的中臺都是業(yè)務(wù)中臺,數(shù)據(jù)中臺是業(yè)務(wù)中臺的特殊形式,而用戶中臺、內(nèi)容中臺則是數(shù)據(jù)中臺的特殊形式。

由于當(dāng)前數(shù)字技術(shù)革新很快,明確技術(shù)概念的職責(zé)與內(nèi)涵,對技術(shù)項目的成功實踐至關(guān)重要。中臺也是如此,如果概念過于寬泛,或者混淆,企業(yè)容易對中臺失去信心,從而在數(shù)字化創(chuàng)新中錯失良機(jī)。汪源的梳理,為企業(yè)對中臺的判斷提供了直觀的標(biāo)準(zhǔn)。“網(wǎng)易除了有能力,也有責(zé)任來分享中臺經(jīng)驗。”汪源說。

對于中臺的建設(shè),汪源認(rèn)為,組織、技術(shù)和方法論三者不可或缺。從組織的角度,他認(rèn)為,中臺需要整合資源,讓懂業(yè)務(wù)的人參與,其次,在BU、BG、企業(yè)、集團(tuán)各個層次都可以建設(shè)中臺,但必須是各層次的一把手工程,否則難以調(diào)配資源。

技術(shù)層面,建設(shè)在線業(yè)務(wù)中臺需要微服務(wù)、DevOps、分布式事務(wù)和云原生技術(shù)體系的支撐,建設(shè)數(shù)據(jù)中臺則需要指標(biāo)管理、數(shù)據(jù)服務(wù)、元數(shù)據(jù)管理、數(shù)據(jù)倉庫開發(fā)與管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)安全管理、數(shù)據(jù)資產(chǎn)管理,以及大數(shù)據(jù)計算引擎、數(shù)據(jù)集成/同步/交換引擎、敏捷BI系統(tǒng)等一整套典型的支撐技術(shù)。

作為能力的沉淀,除了工具,中臺無疑需要流程/規(guī)范/方法論。目前業(yè)界存在許多相關(guān)的方法論,如六邊形理論、領(lǐng)域驅(qū)動設(shè)計(DDD)、指標(biāo)設(shè)計方法論等,但大都與技術(shù)相關(guān),在中臺組織層面尚無成熟的方法論。基于杭研的實踐經(jīng)驗,汪源在業(yè)界首次提出了一套完整的中臺組織方法論。

根據(jù)參與人員的差異,汪源把不同類型的組織總結(jié)為“胖中臺組織”、“標(biāo)準(zhǔn)中臺組織”和“平臺組織”——標(biāo)準(zhǔn)中臺組織由各個能力組和工具、規(guī)范/流程/方法論組成;當(dāng)標(biāo)準(zhǔn)中臺組織對業(yè)務(wù)的介入程度不足以支撐中臺的實現(xiàn),就需要更加接近業(yè)務(wù)的定向組來參與,這就形成了胖中臺組織;而能力臻于成熟,工具、流程都實現(xiàn)標(biāo)準(zhǔn)化,標(biāo)準(zhǔn)中臺組織也可以退化成平臺組織。換言之,三個角色并非一成不變,而是處在動態(tài)變化之中。事實上,不僅僅是杭研,很多大型互聯(lián)網(wǎng)公司都或多或少經(jīng)歷過類似的重組。與會者認(rèn)為,中臺組織方法論的梳理,為中臺組織的建設(shè)和未來撥開了迷霧。

對于中臺的發(fā)展,汪源還總結(jié)了一個“數(shù)字技術(shù)核聚變”的模型。他表示:數(shù)據(jù)中臺匯聚和整合業(yè)務(wù)數(shù)據(jù),產(chǎn)生洞察指導(dǎo)業(yè)務(wù)創(chuàng)新,在線業(yè)務(wù)中臺支撐業(yè)務(wù)圍繞領(lǐng)域交匯,不斷引入新技術(shù),創(chuàng)造新數(shù)據(jù),為數(shù)據(jù)資產(chǎn)增值裂變提供動力支持,數(shù)據(jù)中臺和在線業(yè)務(wù)中臺共生共存,形成數(shù)字技術(shù)核聚變的巨大能量,推動產(chǎn)業(yè)跳躍式進(jìn)化。

全鏈路大數(shù)據(jù)產(chǎn)品發(fā)布,數(shù)據(jù)中臺可實現(xiàn)100%標(biāo)簽覆蓋

為了全面支撐企業(yè)數(shù)據(jù)中臺建設(shè),為業(yè)務(wù)應(yīng)用提供統(tǒng)一的數(shù)據(jù)和服務(wù),網(wǎng)易發(fā)布了全鏈路大數(shù)據(jù)產(chǎn)品——網(wǎng)易猛犸6.0。網(wǎng)易大數(shù)據(jù)總經(jīng)理余利華分享了一個真實的客戶案例:某客戶在供應(yīng)鏈系統(tǒng)、VIP App和商品運(yùn)營系統(tǒng)中看到的同一款產(chǎn)品毛利分別是32%、28%、38%三個迥然不同的數(shù)字,這給數(shù)據(jù)分析工作造成了極大的困惑。余利華指出,目前企業(yè)在大數(shù)據(jù)實踐中存在指標(biāo)口徑不一致、數(shù)據(jù)重復(fù)建設(shè)、取數(shù)效率低、數(shù)據(jù)質(zhì)量故障頻繁、成本指數(shù)級增長等五大痛點,這導(dǎo)致了企業(yè)80%的工作都與數(shù)據(jù)分析無關(guān),而數(shù)據(jù)中臺就是瓦解這一癥結(jié)的良方。

圖:網(wǎng)易大數(shù)據(jù)總經(jīng)理 余利華

網(wǎng)易大數(shù)據(jù)此次發(fā)布的猛犸6.0,在此前的Hadoop、數(shù)據(jù)集成、任務(wù)運(yùn)維、實時開發(fā)、離線開發(fā)產(chǎn)品基礎(chǔ)上,新增了指標(biāo)系統(tǒng)、數(shù)據(jù)服務(wù)、數(shù)據(jù)地圖、數(shù)據(jù)質(zhì)量中心、資產(chǎn)管理中心、數(shù)據(jù)倉庫開發(fā)與管理等全新的系統(tǒng),這就實現(xiàn)了數(shù)據(jù)中臺的全鏈路打通,實現(xiàn)全鏈路數(shù)據(jù)質(zhì)量監(jiān)控、全鏈路數(shù)據(jù)資產(chǎn)分析、全鏈路數(shù)據(jù)發(fā)現(xiàn)。

這些系統(tǒng)的能力,以指標(biāo)系統(tǒng)為例,猛犸6.0能夠100%消除指標(biāo)口徑不一致,讓指標(biāo)數(shù)量縮減50%,并且理解一個指標(biāo)的含義的時間縮短80%。

而據(jù)汪源介紹,猛犸6.0已經(jīng)成功應(yīng)用于網(wǎng)易考拉等業(yè)務(wù),通過數(shù)據(jù)中臺的建設(shè),實現(xiàn)了100%的數(shù)據(jù)產(chǎn)品指標(biāo)覆蓋、99.8%的數(shù)據(jù)可用率、100%的自助取數(shù)和20%的成本節(jié)省。

“有了全鏈路大數(shù)據(jù)產(chǎn)品,企業(yè)可以將80%的工作投入商業(yè)分析,直接產(chǎn)生業(yè)務(wù)價值,而數(shù)據(jù)開發(fā)、數(shù)據(jù)治理只需占用20%的工作量。”余利華總結(jié)說。

輕舟微服務(wù)平臺升級,突破在線業(yè)務(wù)中臺的異構(gòu)挑戰(zhàn)

在線業(yè)務(wù)中臺有助于業(yè)務(wù)能力復(fù)用、加速業(yè)務(wù)創(chuàng)新和促進(jìn)數(shù)字化轉(zhuǎn)型?,F(xiàn)實的問題是,信息隔離、數(shù)據(jù)隔離等因素,阻礙著在線業(yè)務(wù)中臺的建設(shè)。網(wǎng)易云基礎(chǔ)服務(wù)總經(jīng)理陳諤認(rèn)為,異構(gòu)系統(tǒng)整合,包括兼容、通信和系統(tǒng)間事務(wù)一致性,和多供應(yīng)商建設(shè),包括多團(tuán)隊協(xié)作、軟件資產(chǎn)沉淀,是目前企業(yè)在建設(shè)在線業(yè)務(wù)中臺過程中遇到的最大障礙,而網(wǎng)易輕舟微服務(wù)新品的發(fā)布,正是要通過Service Mesh、分布式事務(wù)框架GTXS、全新API網(wǎng)關(guān)與原有輕舟產(chǎn)品的整合,完成全?;诰€中臺技術(shù)體系升級,幫助企業(yè)完成業(yè)務(wù)架構(gòu)的進(jìn)化,支撐業(yè)務(wù)快速創(chuàng)新。

圖:網(wǎng)易云基礎(chǔ)服務(wù)總經(jīng)理 陳諤

陳諤介紹,輕舟Service Mesh基于CNCF(云原生計算基金會)的Istio和Envoy等主流開源技術(shù)構(gòu)建,可以實現(xiàn)Java、Python、NodeJS、Golang和PHP等不同技術(shù)棧的兼容和通信,能夠與已有微服務(wù)框架NSF統(tǒng)一管控、互相發(fā)現(xiàn)、互相調(diào)用,并且支持容器、虛擬機(jī)和裸機(jī)部署,將異構(gòu)系統(tǒng)的支持實現(xiàn)到了業(yè)界領(lǐng)先的程度。在性能方面,輕舟Service Mesh也實現(xiàn)了時延降低50%的優(yōu)化效果,以便更好地滿足在線業(yè)務(wù)的用戶體驗。GTXS則通過聲明式事務(wù)框架,實現(xiàn)了對開發(fā)人員更加友好的分布式事務(wù)方案,保證了不同微服務(wù)的數(shù)據(jù)一致性,與常用的TCC模式相比,接入效率提升了85%,目前已在工商銀行、網(wǎng)易嚴(yán)選等大型生產(chǎn)環(huán)境中穩(wěn)定運(yùn)行。

據(jù)汪源介紹,在網(wǎng)易內(nèi)部,通過電商、音樂等在線業(yè)務(wù)中臺的建設(shè),實現(xiàn)了需求響應(yīng)效率提升100%、應(yīng)用部署效率提升280%、軟件產(chǎn)品質(zhì)量提升52%的效果,其中電商應(yīng)用日均部署1374次,音樂應(yīng)用日均部署492次。

為了確保這些復(fù)雜技術(shù)在企業(yè)落地應(yīng)用,網(wǎng)易云為客戶提供了全流程的服務(wù),覆蓋DevOps最佳實踐、可擴(kuò)展性架構(gòu)設(shè)計、微服務(wù)化拆分、治理建設(shè)、技術(shù)支持和高級運(yùn)維等各個層面。其中,咨詢服務(wù)已經(jīng)在工商銀行、國家電網(wǎng)、申萬宏源、大華科技、德邦快遞、百勝中國等企業(yè)的云平臺建設(shè)、中臺建設(shè)和架構(gòu)演進(jìn)等項目中開花結(jié)果。

申請創(chuàng)業(yè)報道,分享創(chuàng)業(yè)好點子。點擊此處,共同探討創(chuàng)業(yè)新機(jī)遇!

相關(guān)標(biāo)簽
網(wǎng)易云

相關(guān)文章

熱門排行

信息推薦