近日,昇思MindSpore正式通過SGS Brightsight實驗室的安全評估,獲得了AI框架領域的首份CC EAL2+證書。
作為全球最大的獨立認證機構,SGS Brightsight可以說是全球為數(shù)不多被廣泛認可的安全實驗室。同時CC認證也是目前全球認可度和權威性最高的IT產品安全認證,主要用于評估產品的安全性、可靠性以及對信息隱私的保護。
在過去很長一段時間里,AI框架和CC認證很少被同時提及,其中的原因離不開AI框架的開源屬性,加上人工智能的產業(yè)應用才剛剛起步,業(yè)界的焦點常常是準確性和易用性,安全性的課題被選擇性忽略??蔀楹螘N思MindSpore主動送測SGS Brightsight實驗室,并深度參與了人工智能框架安全目標的制定?
隱藏在首份CC EAL2+證書背后的,其實是人工智能的新潮向。
01 AI框架的險灘和暗礁
經(jīng)歷了Theano、Caffe等早期框架的探路,TensorFlow和PyTorch在全球范圍內的風靡,再到飛槳、昇思MindSpore等國產框架的崛起,AI框架在第三次人工智能浪潮中扮演的角色早已深入人心。
比如“操作系統(tǒng)”的比喻,AI框架在技術體系中有著承上啟下的作用,向下調用底層的計算資源,向上承接算法模型的搭建,開發(fā)者無需關注底層的邏輯和細節(jié),可以直接在框架下構建或調用算法模型并進行訓練部署,極大地提高了開發(fā)效率。
如果說AI框架撬動了人工智能產業(yè)化的“大航海”,看似平靜的水面下卻有著不可小覷的安全盲點。
一種是容易被察覺的“險灘”,典型的例子就是框架及其模型庫中的安全漏洞。根據(jù)開源軟件社區(qū)GitHub公布的數(shù)據(jù),TensorFlow自2020年以來被曝出的安全漏洞已經(jīng)有百余個;國內的360團隊曾對市場上的主流AI框架進行安全性評測,發(fā)現(xiàn)了150多個漏洞;騰訊安全團隊公開了TensorFlow組件中存在的重大漏洞,如果開發(fā)者編寫機器人程序時使用了該組件,黑客可通過漏洞控制機器人……
另一種是難以洞察的“暗礁”,譬如普遍存在的算法黑箱、數(shù)據(jù)泄露等問題。由于算法模型和復雜性和不確定性,人們無法直觀解釋結果背后的原因,一旦訓練數(shù)據(jù)中存在偏見,可能會直接影響訓練結果。甚至有一些開發(fā)者利用算法模型的復雜性,人為植入了一些隱蔽的“后門”,可以在近乎無感的情況下進行攻擊,或是竊取開發(fā)者上傳的敏感數(shù)據(jù),或是利用對抗樣本等方式干擾模型的判斷結果。
當人工智能的應用進入到深水區(qū),落地場景逐漸呈現(xiàn)出指數(shù)級增長的態(tài)勢,對應的安全風險也將被指數(shù)級放大。特別是AI框架已經(jīng)被越來越多企業(yè)和開發(fā)者依賴,倘若不能扎緊安全口袋,代價可能是雪崩級的災難。
傳統(tǒng)的安全保障像是塔防游戲,黑客尋找攻擊的缺口,開發(fā)者則努力堵住每一個漏洞,但在人工智能的語境里,假如黑客選擇AI框架或者算法模型為攻擊點,相當于在城內“空投”了一個個木馬,直接破防層層安全機制,以一種悄無聲息的方式進行系統(tǒng)級攻擊,產生無法估量的損失。
這大抵就是昇思MindSpore深耕安全的原因,人工智能產業(yè)想要行穩(wěn)致遠,勢必要在源頭上消除任何可能的安全風險。
02 昇思MindSpore的解法
某種程度上說,人工智能的安全焦慮并不是什么新話題。早在2017年就出現(xiàn)了可信人工智能的概念,2020年相關論文的研究數(shù)量已經(jīng)有上千篇,一些科技大廠也推出了驗證算法模型安全性的工具包。
可大多數(shù)討論僅僅局限在“討論”的范疇,缺少系統(tǒng)性的方法指引,也未能形成約束性的落地機制。個別公司或開發(fā)者開源的工具包,多半是“打補丁式”的解決思路,所能解決的問題比較單一,缺少體系化的方法論和行之有效的策略。
深諳其中癥結的昇思MindSpore團隊,儼然意識到了AI框架的特殊性,進而圍繞AI生命周期構建了一系列的技術能力:
針對算法模型的潛在風險,昇思MindSpore引入了魯棒性評測、對抗測評、對抗訓練、模型加密等技術,幫助客戶提升模型的安全性。
比如一些自研或者開源的第三方模型缺少魯棒性評測,昇思MindSpore給出了基于黑白盒對抗樣本、自然擾動等技術的評測方案,幫助客戶識別模型的脆弱點,并通過對抗樣本檢測、數(shù)據(jù)增強訓練等提升魯棒性;再比如為了防止模型在部署時被竊取,昇思MindSpore提供了模型混淆和元數(shù)據(jù)加密的輕量級方案,保障模型安全的同時在效率上比全量加密有著10+倍的提升。
針對數(shù)據(jù)泄露的行業(yè)頑疾,昇思MindSpore構建了隱私評估、差分隱私訓練、聯(lián)邦學習在內的數(shù)據(jù)隱私保障機制。
以爭議性最大的個人隱私保護為例,區(qū)別于上云集中式訓練的做法,昇思MindSpore基于安全多方計算、差分隱私等技術,解決了聯(lián)邦學習中的隱私泄露問題。同時考慮到一些圖像數(shù)據(jù)中存在涉及用戶隱私的敏感數(shù)據(jù),昇思MindSpore集成了隱私內容檢測、隱私知識構建、隱私消除等一整套能力,可以自動對敏感信息進行消除、填充、替換等處理,確保用戶隱私不被泄露。
針對AI可解釋性的質疑,昇思MindSpore的答案是通過原創(chuàng)語義級可解釋技術、可解釋方法工具集等對癥下藥。
這也是人工智能頻頻被挑戰(zhàn)的誘因所在,畢竟現(xiàn)階段模型訓練的過程往往不可見、模型推理的結果難以解釋,再加上數(shù)據(jù)分布不均勻、多樣性不足等問題,導致模型的決策結果可能出現(xiàn)偏差或傾向性。昇思MindSpore正在通過數(shù)據(jù)清洗、模型容錯性評估、提供模型決策的解釋等提升數(shù)據(jù)的公平性、模型的可解釋性,繼而讓用戶更理解、信任并有效地使用模型。
也就是說,相較于從倫理層面呼吁人工智能的道德準則,昇思MindSpore已經(jīng)在框架層面打造了覆蓋模型訓練、評估、部署的全流程安全可信,為企業(yè)和行業(yè)提供了源頭可信的系統(tǒng)性方案。
03 推開可信AI的大門
有理由相信,SGS Brightsight實驗室對昇思MindSpore進行安全評估時,除了框架本身的安全性,昇思MindSpore在模型安全、隱私保護、可解釋性方面的工作,同樣在評估標準中占了相當大的比重。
站在行業(yè)的立場上,全球首份人工智能框架的CC EAL2+證書,所承載的價值不單單是填補了市場空白,還為人工智能框架的安全可信提供了重要參照與標準,有望為整個人工智能產業(yè)的可信化進程按下加速鍵。
即使從2015年AlphaGo和李世石的圍棋大戰(zhàn)算起,人工智能的產業(yè)化也不過才七個年頭,可一場信任危機卻在蔓延中。
無論是特斯拉等多次上演的自動駕駛事故、部分電商平臺的大數(shù)據(jù)殺熟現(xiàn)象、資訊平臺算法推薦的內容同質化風波,還是“外賣小哥困在系統(tǒng)里”的現(xiàn)象級報道、圍繞個性化推薦權利的社會性討論,都預示著公眾對于人工智能的態(tài)度正在從樂觀好奇趨于謹慎質疑,不無制約人工智能產業(yè)化滲透的可能。
就昇思MindSpore在安全方面的努力來看,人工智能的信任危機并非無可挽回。直接的例子就是算法推薦,在外界對算法偏見問題群情激奮時,某銀行在昇思MindSpore上巧妙規(guī)避了潛在風險,通過基于LIME的推薦解釋解決了有無解釋的問題,利用基于KG的原創(chuàng)可解釋推薦網(wǎng)絡TB-Net獲得了語義級解釋能力,既解決了理財推薦結果難解釋的困局,又提升了推薦效率和轉化成功率。
值得一提的是,不只是SGS Brightsight實驗室的CC認證,昇思MindSpore還通過了云計算開源產業(yè)聯(lián)盟的評估,融合國內首批《可信開源社區(qū)評估體系》認證,并且支撐華為云的OCR服務通過了獨立機構BSI的AI C4審計認證……可信人工智能正在逐步成為整個行業(yè)的理性共識。
再來思考昇思MindSpore獲得全球首個CC EAL2+證書的時代意義,正在從根源上制約人工智能應用的弊端,為企業(yè)打通了強化隱私保護、穩(wěn)定性、可解釋性、公平性的路徑,有力地推開了可信AI的大門。
申請創(chuàng)業(yè)報道,分享創(chuàng)業(yè)好點子。點擊此處,共同探討創(chuàng)業(yè)新機遇!
蘋果16弄了兩個版本,一個是專門給中國人用的,準備用百度的AI,還要交錢。第二個是全世界都可以用的,用了ChatGPT,包括臺灣、香港、澳門都可以用。以后都這樣了。好,問題就出在這,蘋果和百度的合作出現(xiàn)問題了,新聞連起來看,才能明白其中含義。新聞一:蘋果正在和騰訊、字節(jié)初步接洽,考慮將二者的AI模型
“技術日新月異,人類生活方式正在快速轉變,這一切給人類歷史帶來了一系列不可思議的奇點。我們曾經(jīng)熟悉的一切,都開始變得陌生?!庇嬎銠C之父約翰·馮·諾依曼曾這樣說到。
“人工智能的商業(yè)模式,是要創(chuàng)造一個市場,而非一個算法”。這是世界AI泰斗MichaelI.Jordan的觀點。而當前的全球AI市場,占據(jù)主導地位的中美雙方,卻也走出了兩條截然不同的技術路徑,前者執(zhí)著于前沿技術的探索,后者則發(fā)力應用優(yōu)化和商業(yè)化落地。南轅北轍的兩個方向,或許已經(jīng)無法直接進行排位先后、優(yōu)
智能體進化發(fā)展了一年,現(xiàn)在的RPAAgent迭代到什么程度了?從實在智能最新發(fā)布的實在Agent7.0,看RPAAgent的迭代升級抓取豆瓣信息、自己制作PPT,這款AIAgent真的實現(xiàn)了流程全自動化AIAgent構建到執(zhí)行全自動化,持續(xù)進化RPAAgent再次降低智能體應用門檻實在智能重磅發(fā)布實
崔大寶|節(jié)點財經(jīng)創(chuàng)始人進入2024年,大模型似乎有熄火之勢:資本市場,與之關聯(lián)的概念炒不動了,英偉達股價動輒暴跌重挫,引發(fā)“泡沫戳破”的擔憂;消費市場,BATH們的推新活動少了,產品更新迭代的速度慢了,民眾的關注度降了……熱鬧的大概只剩下兩場酣仗:自5月15日字節(jié)跳動宣布“以厘計費”,打響國內大模型
文|智能相對論作者|陳泊丞好消息!你心心念念的事業(yè)單位發(fā)錄取公告了!壞消息!他們沒錄你,錄了個數(shù)字人。圖片來源網(wǎng)絡隨著數(shù)字人技術的突破,越來越多的傳統(tǒng)企業(yè)和機構開始用上了“數(shù)字員工”。甚至很多中國人心心念念的“鐵飯碗”,也被這些數(shù)字人給捧上了。數(shù)字人捧上了“鐵飯碗”簡單翻看一下全國各地事業(yè)單位的“錄
黑芝麻智能敲鐘后,港交所門口又有一些智駕芯片企業(yè)引發(fā)關注。據(jù)悉,近日地平線已通過中國證監(jiān)會IPO備案,擬發(fā)行不超過11.5億股境外上市普通股并在香港聯(lián)合交易所上市,預計籌集約5億美元資金。從天眼查可以了解到,該公司成立于2015年,是一家乘用車高級輔助駕駛(ADAS)和高階自動駕駛(AD)解決方案供
8月21日,萬眾矚目的2024世界機器人大會暨博覽會在北京亦創(chuàng)國際會展中心盛大開幕。這場為期5天,集“展覽”“論壇”“賽事”于一體的機器人盛會,反映了當下機器人領域的繁榮生態(tài)。據(jù)官方統(tǒng)計數(shù)據(jù),今年現(xiàn)場逛展觀眾高達25萬人次,比去年增加25%。機器人行業(yè)有多火?看看2024世界機器人大會火爆程度便可知