科技之芯｜AIIA DNN benchmark正式發(fā)布v0.5首輪云側(cè)試評估結(jié)果

　 阿里云優(yōu)惠券 先領(lǐng)券再下單

在這個“無產(chǎn)業(yè)不AI,無應(yīng)用不AI,無芯片不AI”的時代,AI芯片作為人工智能時代的技術(shù)核心之一,決定了平臺的基礎(chǔ)架構(gòu)和發(fā)展生態(tài),在全球具有深不可測的市場規(guī)模。但是,目前國內(nèi)外都面臨一個共同的難題——缺乏統(tǒng)一的芯片評測標準。因此,打破AI芯片測評領(lǐng)域混亂無序的阻礙,對整個人工智能產(chǎn)業(yè)的發(fā)展而言至關(guān)重要。

11月1-2日,由中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟、杭州市人民政府主辦的“AIIA2019人工智能開發(fā)者大會(AIDC)暨第四屆中國(杭州)人工智能產(chǎn)業(yè)發(fā)展論壇”在杭州召開。借此業(yè)內(nèi)學術(shù)泰斗齊聚,百家名企同堂的難逢之機,中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟總體組組長孫明俊在主報告會上重磅發(fā)布AIIA DNN benchmark v0.5 云側(cè)推斷任務(wù)基準測試首輪試評估結(jié)果,引起巨大反響。

AIIA DNN benchmark項目是由中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟聯(lián)合20余家企業(yè)、高校及科研機構(gòu)深入研發(fā),傾情推出的AI芯片測評認證工具,旨在提供專業(yè)評估評測服務(wù),助力AI芯片行業(yè)快速爆發(fā),引領(lǐng)人工智能行業(yè)飛躍發(fā)展。

中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟總體組組長孫明俊

中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟總體組組長孫明俊解讀道:“目前,我們已經(jīng)制定兩套評估規(guī)范,完成兩輪共7款端側(cè)評估,v0.5云側(cè)評估評測工作于今年7月啟動,經(jīng)過4個月的努力,完成了首輪的試評估工作。”這意味著AIIA DNN benchmark的端+云全方位基準測試方案已經(jīng)形成,相應(yīng)網(wǎng)站也已全新上線(www.aiiaorg.cn/benchmark),將為人工智能行業(yè)帶來一番風云變化。

下面,帶你解讀, AIIA DNN benchmark v0.5 云側(cè)推斷任務(wù)首輪試評估工作。報告全文(此處附超鏈接:https://mp.weixin.qq.com/s/36nYEUzrPbnx2UWWL26eQg)

亮點一:多角度全面助力評測行業(yè)發(fā)展

在深度學習模型的發(fā)展史中,殘差網(wǎng)絡(luò)因其簡單而有效的結(jié)構(gòu)與異常有效的結(jié)果占據(jù)了非常重要的位置。隨著網(wǎng)絡(luò)結(jié)構(gòu)或模型的快速迭代,以及芯片工藝的不斷更新,ResNet50這個業(yè)界的黃金標桿是否還能真正反映芯片能力?

AIIA DNN benchmark以更加貼近真實應(yīng)用場景的測評方式,打破了基準測試單網(wǎng)絡(luò)單指標刷榜的模式,可提供7種場景13種網(wǎng)絡(luò)測試,其所有指標旨在提供準確的比對維度,如實反映當前提升深度學習處理能力的AI加速器的現(xiàn)狀。

亮點二:五大維度衡量芯片性能

中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟根據(jù)實際部署中所考慮的指標,經(jīng)過前期向20余家企業(yè)、科研機構(gòu)的相關(guān)專家進行意見征集及展開專業(yè)討論,最終確定AIIA DNN benchmark v0.5版本云側(cè)推斷任務(wù)從以下五個維度出發(fā),衡量云側(cè)加速卡整體性能,可客觀反映當前行業(yè)現(xiàn)狀。

延遲: 作為推斷任務(wù)的重要指標,能夠直觀反映芯片處理任務(wù)的速度。

精度損失: 在部署深度學習任務(wù)過程中,各家加速卡都有自己的推理框架以用于模型的轉(zhuǎn)換和部署,其顯示的精度損失可用于反映測試數(shù)據(jù)集推斷所達到的處理效果。

吞吐量: 在實際深度學習推理任務(wù)部署中,多batch的處理能力尤為重要。

功耗: 芯片的晶體管數(shù)量和芯片面積決定了算力,面積越大,算力越強,但功耗也將隨之增加,可作為推斷芯片性能的指標之一。

能效比(每瓦算力): 算力與能耗往往相互制約,該方案可測算AI芯片能耗比,反饋給企業(yè)及時改良,助其進一步實現(xiàn)高性能與低功耗、低延遲、低成本之間的平衡。

亮點三:“芯”能力榜單助力企業(yè)宣傳

在缺乏評估標準的情況下,芯片企業(yè)無法清晰確認自己的技術(shù)優(yōu)勢及目標市場。同時,由于場景與部署位置的差異性,很難用單一指標與網(wǎng)絡(luò)展現(xiàn)芯片性能,導致市場也對芯片企業(yè)的真正實力難以判斷。

AIIA DNN benchmark推出多維度評測方式為芯片企業(yè)提供第三方評測結(jié)果,能從不同角度呈現(xiàn)不同芯片的各自優(yōu)勢所在,切實反映芯片能力。該項目還提供了單項與總分榜,支持企業(yè)前來參與“打榜”,積極展示自身獨特的“芯”能力,成功上榜的企業(yè)可在業(yè)內(nèi)獲得更加廣泛的知名度和市場信任感。

亮點四:用戶選型一目了然

人工智能在不同算法、不同場景下,對芯片提出了不同的要求,如硬件架構(gòu)、延遲、帶寬、能耗、神經(jīng)網(wǎng)絡(luò)模型、參數(shù)等都是用戶方選擇AI芯片的重要參考。

中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟作為專業(yè)的第三方,首次公布了典型AI芯片在處理深度學習任務(wù)時的參考指標——“算力/單價”比,為應(yīng)用企業(yè)選型提供參考,以便用戶能更經(jīng)濟地選取最適用于自己需求的AI芯片。

AIIA DNN benchmark,用純粹的科研之心,讓科技之“芯”更美好。該項目的發(fā)布,促進了芯片供給側(cè)與需求側(cè)的交流,讓需求方的意見能夠更快傳達到芯片企業(yè),讓企業(yè)進行有針對性的改良。同時,AIIA DNN benchmark堅持以“版本迭代、不斷豐富、不斷完善”的工作方式持續(xù)更新項目,計劃下一步啟動第二輪評估工作,迭代AIIA DNN benchmark V1.0,積極推進企業(yè)“芯”能力榜單的評選,努力打造一個開放、共贏的人工智能產(chǎn)業(yè)生態(tài),拓寬人工智能行業(yè)從業(yè)者的交流接口,推動中國AI芯片市場進一步發(fā)展與成熟,以傲人之姿屹立世界前沿科技之林。

申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！