1. 創(chuàng)業(yè)頭條
  2. 前沿領(lǐng)域
  3. 人工智能
  4. 正文

關(guān)注算法安全新興領(lǐng)域,清華團(tuán)隊(duì)RealAI推出業(yè)界首個(gè)AI模型“殺毒軟件”

 2020-04-09 13:45  來源:互聯(lián)網(wǎng)  我來投稿 撤稿糾錯(cuò)

  域名預(yù)訂/競價(jià),好“米”不錯(cuò)過

近日,清華大學(xué)AI研究院孵化企業(yè)RealAI(瑞萊智慧)正式推出首個(gè)針對AI在極端和對抗環(huán)境下的算法安全性檢測與加固的工具平臺——RealSafe人工智能安全平臺。該平臺內(nèi)置領(lǐng)先的AI對抗攻防算法,提供從安全測評到防御加固整體解決方案,目前可用于發(fā)現(xiàn)包括人臉比對等在內(nèi)的常用AI算法可能出錯(cuò)的極端情形,也能預(yù)防潛在的對抗攻擊。

業(yè)界首個(gè)針對AI在極端和對抗環(huán)境下的算法安全性檢測與加固的工具平臺

“對抗樣本”成新型病毒 , 算法安全問題亟待解決

隨著人工智能技術(shù)的高速發(fā)展,人工智能在諸多場景正逐漸替代或協(xié)作著人類的各種勞動(dòng),它們可以成為人類的眼睛、耳朵、手臂甚至大腦。

其中,機(jī)器視覺作為AI時(shí)代的基礎(chǔ)技術(shù),其背后的AI算法一直是各科技巨頭和創(chuàng)業(yè)公司共同追逐的熱點(diǎn)。然而在機(jī)器視覺諸多主流應(yīng)用場景的背后,往往也藏著由技術(shù)性缺陷導(dǎo)致的算法安全風(fēng)險(xiǎn)。

例如,在一些訓(xùn)練數(shù)據(jù)無法覆蓋到的極端場景中,自動(dòng)駕駛汽車的識別系統(tǒng)可能出現(xiàn)匪夷所思的決策,危害乘車人的人身安全。從2016年至今,Tesla、Uber等企業(yè)的輔助駕駛和自動(dòng)駕駛系統(tǒng)就都曾出現(xiàn)過類似致人死亡的嚴(yán)重事故。并且這類極端情形也可能被惡意制造并利用,發(fā)動(dòng)“對抗樣本攻擊”,去年7月,百度等研究機(jī)構(gòu)就曾經(jīng)通過3D技術(shù)打印出能讓自動(dòng)駕駛“無視”的障礙物,讓車輛面臨撞擊風(fēng)險(xiǎn)。

而以上攻擊之所以能成功,主要是機(jī)器視覺和人類視覺有著很大的差異。因此可以通過在圖像、物體等輸入信息上添加微小的擾動(dòng)改變(即上述故意干擾的“對抗樣本”),就能導(dǎo)致很大的算法誤差。此外,隨著AI的進(jìn)一步發(fā)展,AI算法模型將運(yùn)用金融決策、醫(yī)療診斷等關(guān)鍵核心場景,這類AI“漏洞”的威脅將愈發(fā)凸顯出來。

近年來,包括清華大學(xué)人工智能研究院院長張鈸院士、前微軟全球執(zhí)行副總裁沈向洋等均提倡要發(fā)展安全、可靠、可信的人工智能以及負(fù)責(zé)任的人工智能,其中AI的安全應(yīng)用均是重點(diǎn)方向。

而且,AI安全作為新興領(lǐng)域,在開源社區(qū)、工具包的加持下,對抗樣本等攻擊手段日益變得復(fù)雜,相關(guān)防御手段的普及和推廣卻難以跟上。并且對抗樣本等算法漏洞檢測存在較高的技術(shù)壁壘,目前市面上缺乏自動(dòng)化檢測工具,而大部分企業(yè)與組織不具備該領(lǐng)域的專業(yè)技能來妥善應(yīng)對日益增長的惡意攻擊。

安全 測評到防御 加固, RealSafe 讓AI更加安全可控

就如網(wǎng)絡(luò)安全時(shí)代,網(wǎng)絡(luò)攻擊的大規(guī)模滲透誕生出殺毒軟件,RealAI團(tuán)隊(duì)希望通過RealSafe平臺打造出人工智能時(shí)代的“殺毒軟件”,幫助企業(yè)高效應(yīng)對人工智能時(shí)代下算法漏洞孕育出的“新型病毒”。

目前,RealSafe平臺主要支持兩大功能模塊:模型安全測評、防御解決方案

其中,模型安全評測主要為用戶提供AI模型安全性評測服務(wù)。用戶只需接入所需測評模型的SDK或API接口,選擇平臺內(nèi)置或者自行上傳的數(shù)據(jù)集,平臺將基于多種算法生成對抗樣本模擬攻擊,并綜合在不同算法、迭代次數(shù)、擾動(dòng)量大小的攻擊下模型效果的變化,給出模型安全評分及詳細(xì)的測評報(bào)告(如下圖)。目前已支持黑盒查詢攻擊方法與黑盒遷移攻擊方法。

防御解決方案則是為用戶提供模型安全性升級服務(wù),目前RealSafe平臺支持五種去除對抗噪聲的通用防御方法,可實(shí)現(xiàn)對輸入數(shù)據(jù)的自動(dòng)去噪處理,破壞攻擊者惡意添加的對抗噪聲。根據(jù)上述的模型安全評測結(jié)果,用戶可自行選擇合適的防御方案,一鍵提升模型安全性。另外防御效果上,根據(jù)實(shí)測來看,部分第三方的人臉比對API通過使用RealSafe平臺的防御方案加固后,安全性可提高40%以上

隨著模型攻擊手段在不斷復(fù)雜擴(kuò)張的情況下,RealSafe平臺還持續(xù)提供廣泛且深入的AI防御手段,幫助用戶獲得實(shí)時(shí)且自動(dòng)化的漏洞檢測和修復(fù)能力。

準(zhǔn)確度99.99%也難逃被 惡意 干擾” ,RealSafe高效 應(yīng)對算法威脅

考慮到公眾對于對抗樣本這一概念可能比較模糊,RealSafe平臺特意選取了公眾最為熟知的人臉比對場景(人臉比對被廣泛用于金融遠(yuǎn)程開戶、刷臉支付、酒店入住登記等場景的身份認(rèn)證環(huán)節(jié))提供在線體驗(yàn)。

并且,為了深入研究“對抗樣本”對人臉比對系統(tǒng)識別效果的影響,RealAI 團(tuán)隊(duì)基于此功能在國內(nèi)外主流 AI 平臺的演示服務(wù)中進(jìn)行了測試。

實(shí)測證明,“對抗樣本”可以極大的干擾人臉比對系統(tǒng)的識別結(jié)果,而測試的這幾家互聯(lián)網(wǎng)公司平臺開放的人臉比對API或SDK,幾乎覆蓋了目前市面上很多中小型企業(yè)在落地人臉識別應(yīng)用時(shí)的選擇,如果他們的人臉比對技術(shù)存在明顯的安全漏洞,意味著更廣泛的應(yīng)用場景將存在安全隱患。

因此,為了幫助更大范圍內(nèi)的企業(yè)高效應(yīng)對算法威脅,RealSafe平臺具備以下兩大優(yōu)勢:

· 組件化、零編碼的在線測評: 相較于ART、Foolbox等開源工具需要自行部署、編寫代碼,RealSafe平臺采用組件化、零編碼的功能設(shè)置,免去了重復(fù)造輪子的精力與時(shí)間消耗,用戶只需提供相應(yīng)的數(shù)據(jù)即可在線完成評估,學(xué)習(xí)成本低,無需擁有專業(yè)算法能力也可以上手操作。

·可視化、可量化的評測結(jié)果: 為了幫助用戶提高對模型安全性的概念,RealSafe平臺采用可量化的形式對安全評測結(jié)果進(jìn)行展示,根據(jù)模型在對抗樣本攻擊下的表現(xiàn)進(jìn)行評分,評分越高則模型安全性越高。此外,RealSafe平臺提供安全性變化展示,經(jīng)過防御處理后的安全評分變化以及模型效果變化一目了然。

從數(shù)字世界到物理世界 RealAI 落地更多安全周邊產(chǎn)品

隨著機(jī)器學(xué)習(xí)模型不斷的升級演化,“對抗樣本”已經(jīng)演變成一種新型攻擊手段,并且逐漸從數(shù)字世界蔓延到物理世界:在路面上粘貼對抗樣本貼紙模仿合并條帶誤導(dǎo)自動(dòng)駕駛汽車拐進(jìn)逆行車道、胸前張貼一張對抗樣本貼紙?jiān)诒O(jiān)控設(shè)備下實(shí)現(xiàn)隱身……

因此,除了針對數(shù)字世界的算法模型推出安全評測平臺,RealAI團(tuán)隊(duì)也聯(lián)合清華大學(xué)AI研究院圍繞多年來積累的領(lǐng)先世界的研究成果落地了一系列AI攻防安全產(chǎn)品,為更多場景保駕護(hù)航。

比如通過佩戴帶有對抗樣本圖案的“眼鏡”,黑客可以輕易破解商用手機(jī)的面部解鎖,通過在胸前張貼特制花紋實(shí)現(xiàn)在AI監(jiān)控下的“隱身”,以及通過在車輛上涂裝特殊花紋躲避AI對車輛的檢測。發(fā)現(xiàn)類似新型漏洞的同時(shí),RealAI也推出相應(yīng)的防御技術(shù),支持對主流AI算法中的安全漏洞進(jìn)行檢測,并提供AI安全防火墻對攻擊AI模型的行為進(jìn)行有效攔截。

人工智能的大潮滾滾而來,隨之而來的安全風(fēng)險(xiǎn)也將越來越多樣化,尤其近年來因AI技術(shù)不成熟導(dǎo)致的侵害風(fēng)險(xiǎn)也頻頻發(fā)生,可以說,算法漏洞已逐漸成為繼網(wǎng)絡(luò)安全、數(shù)據(jù)安全后又一大安全難題。

所幸的是,以RealAI為代表的這些頂尖AI團(tuán)隊(duì)早已開始了AI安全領(lǐng)域的征程,并開始以標(biāo)準(zhǔn)化的產(chǎn)品助力行業(yè)降低應(yīng)對安全風(fēng)險(xiǎn)的門檻與成本。此次上線RealSafe人工智能安全平臺是RealAI的一小步嘗試,但對于整個(gè)行業(yè)而言,這將是人工智能產(chǎn)業(yè)邁向健康可控發(fā)展之路的一大步。

申請創(chuàng)業(yè)報(bào)道,分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處,共同探討創(chuàng)業(yè)新機(jī)遇!

相關(guān)標(biāo)簽
ai技術(shù)
ai智能

相關(guān)文章

  • 匯聚中國AI頂尖力量 云天勵(lì)飛參與華為AI大模型聯(lián)合創(chuàng)新

    2023年7月6日,第六屆世界人工智能大會(huì)(WAIC2023)在上海開幕,“人工智能大模型”是本屆大會(huì)的備受矚目的話題,據(jù)悉,在昇騰AI大模型的創(chuàng)新研發(fā)中,華為聯(lián)手26家行業(yè)領(lǐng)軍企業(yè),組建了一支協(xié)同創(chuàng)新的“AI明星隊(duì)”,云天勵(lì)飛作為中國人工智能企業(yè)的杰出代表,和互聯(lián)網(wǎng)大廠、運(yùn)營商、科研院所等優(yōu)秀團(tuán)隊(duì)

    標(biāo)簽:
    ai技術(shù)
  • 用友大易:邁入AI招聘2.0時(shí)代,讓人力資源回歸本質(zhì)

    這幾個(gè)月來,以ChatGPT為代表的生成式AI展現(xiàn)出的能力令世界驚嘆。自從2016年AlphaGo戰(zhàn)勝李世石掀起了一波AI浪潮后,AI仿佛已經(jīng)沉寂了很久,ChatGPT的橫空出世就如同一束耀眼的光芒,讓AI這個(gè)名詞重回C位。過去在AI1.0時(shí)代,主要通過訓(xùn)練模型來實(shí)現(xiàn)圖像識別、聲音識別、語言處理等特

    標(biāo)簽:
    ai技術(shù)
  • 新發(fā)布的PaaS2.0,能否助力涂鴉智能再起飛?

    文:互聯(lián)網(wǎng)江湖作者:志剛2023年的IoT需要一個(gè)新故事。6月29日,涂鴉智能在開發(fā)者大會(huì)上,發(fā)布了企業(yè)級戰(zhàn)略PaaS2.0,希望通過一個(gè)平臺+四大開發(fā)服務(wù),建立起IoT生態(tài)。對于這場發(fā)布會(huì),市場的態(tài)度是積極的。美東時(shí)間6月29日收盤,涂鴉智能美股股價(jià)上漲5.6%,來到1.87美元/股。近日股價(jià)穩(wěn)定

    標(biāo)簽:
    ai技術(shù)
  • 大模型難掩AI制藥的悲傷:越過山丘,無人等候

    美團(tuán)曾經(jīng)的二號人物王慧文對標(biāo)OpenAI的創(chuàng)業(yè)項(xiàng)目光年之外,以20億賣給美團(tuán),再度引發(fā)市場對大模型的熱議。

    標(biāo)簽:
    ai技術(shù)
  • 拾起王慧文的AI夢,美團(tuán)沖向“光年之外”?

    2020年底,王慧文在朋友圈寫下這句話時(shí),外界本以為這位伴隨中國互聯(lián)網(wǎng)發(fā)展而持續(xù)創(chuàng)業(yè)20年的人物即將告別創(chuàng)業(yè)舞臺。但是,一個(gè)曾經(jīng)多次創(chuàng)業(yè),正值壯年的互聯(lián)網(wǎng)老將心中的創(chuàng)業(yè)熱情是難以熄滅的。

    標(biāo)簽:
    ai技術(shù)
  • 庫克已納投名狀:蘋果AI沒得選,只能選百度

    蘋果16弄了兩個(gè)版本,一個(gè)是專門給中國人用的,準(zhǔn)備用百度的AI,還要交錢。第二個(gè)是全世界都可以用的,用了ChatGPT,包括臺灣、香港、澳門都可以用。以后都這樣了。好,問題就出在這,蘋果和百度的合作出現(xiàn)問題了,新聞連起來看,才能明白其中含義。新聞一:蘋果正在和騰訊、字節(jié)初步接洽,考慮將二者的AI模型

    標(biāo)簽:
    蘋果AI
    百度AI
    庫克
  • AI加速時(shí)代的“進(jìn)度條”,我們撥動(dòng)了百分之幾?

    “技術(shù)日新月異,人類生活方式正在快速轉(zhuǎn)變,這一切給人類歷史帶來了一系列不可思議的奇點(diǎn)。我們曾經(jīng)熟悉的一切,都開始變得陌生?!庇?jì)算機(jī)之父約翰·馮·諾依曼曾這樣說到。

    標(biāo)簽:
    ai智能
  • AI視頻賽道,要變天了

    “毀滅你,與你何干?”,這是在劉慈欣的科幻小說《三體》里用來形容人類與三體人之間的戰(zhàn)爭的一句話。

    標(biāo)簽:
    ai智能
  • “創(chuàng)造市場”與“算法進(jìn)化”,中美AI競速的岔路口

    “人工智能的商業(yè)模式,是要?jiǎng)?chuàng)造一個(gè)市場,而非一個(gè)算法”。這是世界AI泰斗MichaelI.Jordan的觀點(diǎn)。而當(dāng)前的全球AI市場,占據(jù)主導(dǎo)地位的中美雙方,卻也走出了兩條截然不同的技術(shù)路徑,前者執(zhí)著于前沿技術(shù)的探索,后者則發(fā)力應(yīng)用優(yōu)化和商業(yè)化落地。南轅北轍的兩個(gè)方向,或許已經(jīng)無法直接進(jìn)行排位先后、優(yōu)

    標(biāo)簽:
    ai智能
  • 智能體進(jìn)化發(fā)展了一年,現(xiàn)在的RPA Agent迭代到什么程度了?

    智能體進(jìn)化發(fā)展了一年,現(xiàn)在的RPAAgent迭代到什么程度了?從實(shí)在智能最新發(fā)布的實(shí)在Agent7.0,看RPAAgent的迭代升級抓取豆瓣信息、自己制作PPT,這款A(yù)IAgent真的實(shí)現(xiàn)了流程全自動(dòng)化AIAgent構(gòu)建到執(zhí)行全自動(dòng)化,持續(xù)進(jìn)化RPAAgent再次降低智能體應(yīng)用門檻實(shí)在智能重磅發(fā)布實(shí)

  • 崔大寶:大模型降溫背后的難點(diǎn)、卡點(diǎn)、節(jié)點(diǎn)

    崔大寶|節(jié)點(diǎn)財(cái)經(jīng)創(chuàng)始人進(jìn)入2024年,大模型似乎有熄火之勢:資本市場,與之關(guān)聯(lián)的概念炒不動(dòng)了,英偉達(dá)股價(jià)動(dòng)輒暴跌重挫,引發(fā)“泡沫戳破”的擔(dān)憂;消費(fèi)市場,BATH們的推新活動(dòng)少了,產(chǎn)品更新迭代的速度慢了,民眾的關(guān)注度降了……熱鬧的大概只剩下兩場酣仗:自5月15日字節(jié)跳動(dòng)宣布“以厘計(jì)費(fèi)”,打響國內(nèi)大模型

    標(biāo)簽:
    大模型
  • 這一屆“出道”的數(shù)字人,已經(jīng)拿捧上了“鐵飯碗”

    文|智能相對論作者|陳泊丞好消息!你心心念念的事業(yè)單位發(fā)錄取公告了!壞消息!他們沒錄你,錄了個(gè)數(shù)字人。圖片來源網(wǎng)絡(luò)隨著數(shù)字人技術(shù)的突破,越來越多的傳統(tǒng)企業(yè)和機(jī)構(gòu)開始用上了“數(shù)字員工”。甚至很多中國人心心念念的“鐵飯碗”,也被這些數(shù)字人給捧上了。數(shù)字人捧上了“鐵飯碗”簡單翻看一下全國各地事業(yè)單位的“錄

    標(biāo)簽:
    數(shù)字人
  • 來到IPO關(guān)口,地平線離“三分天下”還有多遠(yuǎn)?

    黑芝麻智能敲鐘后,港交所門口又有一些智駕芯片企業(yè)引發(fā)關(guān)注。據(jù)悉,近日地平線已通過中國證監(jiān)會(huì)IPO備案,擬發(fā)行不超過11.5億股境外上市普通股并在香港聯(lián)合交易所上市,預(yù)計(jì)籌集約5億美元資金。從天眼查可以了解到,該公司成立于2015年,是一家乘用車高級輔助駕駛(ADAS)和高階自動(dòng)駕駛(AD)解決方案供

  • 機(jī)器人大會(huì)引領(lǐng)產(chǎn)業(yè)動(dòng)向,卓翼飛思繪制無人系統(tǒng)教科研新藍(lán)圖

    8月21日,萬眾矚目的2024世界機(jī)器人大會(huì)暨博覽會(huì)在北京亦創(chuàng)國際會(huì)展中心盛大開幕。這場為期5天,集“展覽”“論壇”“賽事”于一體的機(jī)器人盛會(huì),反映了當(dāng)下機(jī)器人領(lǐng)域的繁榮生態(tài)。據(jù)官方統(tǒng)計(jì)數(shù)據(jù),今年現(xiàn)場逛展觀眾高達(dá)25萬人次,比去年增加25%。機(jī)器人行業(yè)有多火?看看2024世界機(jī)器人大會(huì)火爆程度便可知

編輯推薦