3D+AIGC與智能手機的融合，無疑是移動人像賽道又一顛覆性重要突破。vivo再次領先背后，有著哪些極限挑戰(zhàn)？
作者|Cindy
編輯|劉珊珊
火熱7月下旬，“AI寫真數字人”一夜間刷屏社交網絡，漸有成為“中國AIGC首個刷屏案例”之勢。
這是AIGC（生成式人工智能）風口“夢想照進現(xiàn)實”冰山一角。在2023年，歷經70多年技術沉淀的AIGC，和ChatGPT、大模型、3D等技術一起，成為人工智能產業(yè)落地重要形式，為商業(yè)世界帶來全新代際變革。
一個引人注目的問題隨之浮現(xiàn)：作為高端制造行業(yè)重要分支，智能手機將在未來很長一段時間，仍是智能汽車、智能家居等科技最好載體。智能手機應如何與AIGC、3D、大模型這樣的全新技術融合貫通，以反哺智能手機的迭代創(chuàng)新？
“AI技術突破讓移動影像面臨新課題，也讓我們重新思考人與影像技術的關系。”7月30日，青海西寧。在這場交換彼此影像故事的盛典發(fā)布會上，vivo給出了自己的探索答案：AIGC、3D將成為創(chuàng)新賦能未來人像技術的生產工具。
影像研發(fā)，道阻且艱。影像長賽道上，vivo再次搶先布局，發(fā)布全新制程6nm自研影像芯片V3、推出AIGC四季人像模式、與蔡司聯(lián)合探索新結構的長焦鏡頭、并對T*鍍膜技術進行升級。
其中，外界最為關注焦點，正是vivo明確進行3D人像技術研發(fā)，將在人像3D重建感知和AIGC兩個方向進行探索。而為了更好的進行人像3D重建感知研究，vivo還在重慶建立了動捕實驗室。
這是vivo深耕“人性化的專業(yè)影像”之路又一重要升級。“得影像者得天下”已成行業(yè)共識的當下，移動影像——特別是人像競爭更是焦點中的焦點，“VO榮米”、華為甚至蘋果都在不約而同探索移動人像邊界。
3D+AIGC與智能手機的融合，無疑是移動人像賽道又一顛覆性重要突破。那么，vivo布局3D人像技術前沿，探索AIGC全新技術背后，有著哪些極限挑戰(zhàn)？又會給“極致內卷”的影像賽道，帶來怎樣的體驗創(chuàng)新？
01AI創(chuàng)新，vivo移動人像再躍遷
自2000年夏普推出世界上第一款能拍照的手機開始，23年間，手機影像能力在一輪輪迭代演進中極致內卷——盡管手機攝影足以媲美專業(yè)相機成像效果，但廠商對手機影像追求從未停止。
原因很簡單，人人皆可隨時隨地拍攝、分享、創(chuàng)作時代，誰掌握影像未來，誰就左右著用戶購買決策，更容易獲得市場和消費者的青睞。
其中，人像是最高頻最重要應用之一。“人像和夜景、運動、變焦，是我們定的四個拍照賽道。”vivo影像副總裁于猛如此表示，另外還有視頻、未來賽道，是和拍照并行的一級賽道。
拍人像，用戶最直觀感受是成像效果是否足夠自然和足夠美，但美沒有定義。對每家手機廠商而言，最難的是如何更懂用戶，更懂影像，去讓大多數用戶都拍出滿意的照片。
如何更懂用戶和影像上，每家廠商理解各不同。
vivo對人像攝影理解是，需要像專業(yè)攝影那樣，去精確人像和人體中語義重點，大到年齡、性別人物速寫，細到毛發(fā)、五官輪廓自然和立體感，并且要通過技術在影調、色彩、亮度、虛化等層面上，讓人與場景和諧、自然融合。
在此理解基礎上，vivo探索出行之有效的“影像”方法論，即通過“三個比肩”打造vivo影像技術矩陣——比肩專業(yè)影像設備、比肩專業(yè)攝影團隊、比肩專業(yè)后期能力，滿足每位創(chuàng)作者、每個普通人的不同訴求。
這對vivo的考驗是，需要從硬件、軟件兩大方面進行技術上的不斷革新。為此，vivo打造出光學感知系統(tǒng)、臻彩還原引擎、超清畫質引擎、算力加速引擎四大影像技術模塊，又與蔡司深度、全面合作打造行業(yè)頂級的專業(yè)人像鏡頭，從多個維度去優(yōu)化人像拍攝效果。
這些探索，讓vivo在人像賽道上相比行業(yè)其他玩家走得更遠。從2015年vivo X5 Pro推出知性美顏算法開始，到2022年vivo X80 Pro首次搭載蔡司人像微云臺鏡頭，vivo X90 Pro+搭載行業(yè)首發(fā)蔡司雙焦段人像鏡頭，以及vivo X90s的“質感模式”。8年間，vivo一直無愧人像、夜景賽道開辟者與領跑者，給了一個用戶幾乎無法拒絕vivo的理由。
從2023年第二季度中國（大陸）智能手機廠商市場份額中看到，vivo以17.7%的市場份額占據中國智能手機市場第一。而從2021年奪冠至今，這已經是vivo第三年取得這樣令人矚目的市場成功。
但是，用戶對移動人像的需求提升，永不會停止。這讓所有廠商影像創(chuàng)新都面臨“技術矛盾點”——輕量化趨勢下，手機內部空間方寸，很難以類似專業(yè)相機堆硬件方式持續(xù)進化。應如何去打造更具差異化、引領性的人像體驗？
人工智能，是誰都不會錯過的“第四次產業(yè)革命”機遇，手機廠商也如此。“我對于（影像）這個賽道越來越有信心，也相信這個賽道會越來越長。”在接受媒體專訪時，于猛就表示，AI正改變千行百業(yè)，也會給智能手機創(chuàng)新帶來無限可能。
事實上，AI能力早已和手機相融合。最典型的，就是成為行業(yè)標配的“AI多攝”，通過AI算法以及處理器算力，助力光感知系統(tǒng)軟硬件一體化協(xié)同升級，帶來手機人像拍攝上的指數級效果提升。
AI方面，vivo更是深耕已久。幾乎每一代vivo手機，影像、視頻、圖像、語音等日常處理背后，都有數十個復雜AI算法一起工作。
比如美顏技術，是vivo拋棄傳統(tǒng)遮瑕式美顏，通過篩選、達成的百萬量級素材訓練集，利用AI確?？梢栽谌魏稳讼駡鼍跋?，都能達成最佳美顏效果；“夜景拍攝”場景，vivo也是通過AI算法、實時黑光夜視等去贏得行業(yè)領先。
而在西寧舉辦的vivo影像盛典特別活動，更是AIGC、3D、大模型等全新技術浪潮之下，vivo基于歷史技術積累和未來研發(fā)方向，對AI如何與智能手機影像更好融合，以及影像光學、算力和算法未來發(fā)展方向的再次躍遷。
例如，不同于V2自研芯片，全新自研芯片V3將設計重心放到手機影像思考上，算法提升讓手機影像在畫質、寬容度等方面有了進一步的提升。不但場景覆蓋會更全面，并且在V3加持下，安卓平臺也將首次實現(xiàn)4K拍后編輯功能，支持4K電影人像視頻功能。
同時，vivo圍繞人像和夜景這兩個核心場景，集中構建了超感人像系統(tǒng)和蒼穹夜景系統(tǒng)。迭代算法矩陣目的，依然是通過AI，去確保人像、夜景等核心場景實現(xiàn)最極致的拍攝體驗和效果。
如果說上述探索，是vivo為滿足當前消費者多元影像需求，保持移動影像人像賽道持續(xù)領先優(yōu)勢的重要之旅。那么布局人像3D重建感知技術平臺，積極擁抱AIGC算法，則是AI浪潮下，vivo作為人像賽道的開辟者和領跑者，面向未來，引領行業(yè)進化的創(chuàng)新探索。
023D+AIGC，動捕實驗室的隱藏秘密
這是第一次有主流大廠，將3D、AIGC明確視為智能手機移動人像布局方向。
3D技術上，vivo其實不是第一次有所涉及。2018年，vivo發(fā)布 TOF 3D超感應技術，實現(xiàn)手機對高精度3D信息的采集和運算。
但毋庸置疑，最新布局的人像3D重建感知技術，意義會更加重大，將是事關行業(yè)未來的全新突破。
“基于穩(wěn)定的移動端人像3D感知技術，為用戶提供多種人像AR特效，幫助用戶創(chuàng)作出驚艷的虛實融合影像內容。”7月18日，在vivo重慶動捕實驗室，相關負責人告訴實地探訪和體驗的“極點商業(yè)”。
這是vivo重慶動捕實驗室首次對外界開放。vivo在盛典上發(fā)布的人像3D重建感知技術，正是重慶動捕實驗室的創(chuàng)新成果。
vivo重慶動捕實驗室坐落于vivo重慶智能制造中心內——作為vivo全球智能制造關鍵一環(huán)，vivo重慶智能制造中心于2014年布局、2017年完工并正式投產。
除了生產線，芯片、5G、AI、影像、3D等核心技術的研發(fā)應用，在此都有落子，和vivo北京研發(fā)中心、東莞智能制造基地、深圳研發(fā)中心等一起，成為完善vivo全球研發(fā)和生產布局重要一環(huán)。
從業(yè)內看，3D人像重建概念并不新鮮，被公認為是AIGC、AR/VR場景必然入口，也是數字人、機器人、自動駕駛等領域關鍵共性技術。
問題是，行業(yè)目前沒有可以通用的3D人像重建方案——大多數3D人像成本高昂，逼真效果一般，面臨算法復雜度高，難以實時處理挑戰(zhàn)。舉個例子，短視頻制作公司使用到的3D化寫實數字人，比如“柳夜熙”，制作成本可達到數十萬到百萬元不等。
vivo布局，看上去正是瞄準上述痛點——如果一款智能手機能低門檻解決3D人像重建算法復雜、算力要求高等核心挑戰(zhàn)，那么無疑會加快相關概念產業(yè)落地速度。
依托于vivo重慶影像實驗室平臺，vivo在重慶動捕實驗室中自主搭建了影視級光場系統(tǒng)。根據實驗室工作人員現(xiàn)場透露，光場系統(tǒng)由175個攝像頭、96盞燈環(huán)繞搭建而成，“只需3秒鐘，就可以實現(xiàn)人像重打光DEMO，然后通過AI等技術能力，完成‘毛孔級’的3D人像重建感知。
簡單來說，在vivo的3D數據采集平臺中，3D人像重建感知技術是一條這樣的路徑：捕捉人體3D姿勢數據—人臉3D重打光—通過AI算法完成3D人像重建—最終在端側應用于實際場景。
光場系統(tǒng)在其中起到關鍵作用。“96盞燈重打光只是往中心點一個方向。”vivo動捕實驗室相關人士對“極點商業(yè)”稱，175個不同角度機位攝像頭的投影下，可以類似“全息攝影”方式，全面、精準捕捉到人的面部表情、姿態(tài)動作以及手勢交互數據和視頻背景分割。
數據精確性對3D捕捉結果至關重要。在良好底層數據支撐下，該實驗室重點儲備了以人臉、人體和手勢為核心的三大人像3D感知算法，依靠AI算法模型，實現(xiàn)對人臉面部表情、人體姿態(tài)動作以及手勢交互感知的精準捕捉和驅動，減少動作捕捉、CG合成制作流程，最終生成一個逼真的3D目標人物。
這與傳統(tǒng)動捕，比如抖音AR渲染有著明顯區(qū)別——抖音AR渲染是2D，但vivo人像重建感知是3D，重建是一個“動起來”的過程，“3D場景精確性更高，也能提升深度信息。任何相機場景下的深度圖、人臉表情，都可以與Mask結合后，實現(xiàn)類似于單反相機、大光圈的漸近感、真實感，讓人像與背景更好融合。”
從“極點商業(yè)”實測來看，vivo人像3D重建感知技術下，坐在小凳子上后，只需燈光一閃，就完成了數據收集。生成的3D人像，AR特效相當驚艷，紋理、亮度、陰影表現(xiàn)遠超傳統(tǒng)專業(yè)相機，臉部甚至毛孔在細節(jié)、動作、行為的逼真度，都得到了“完美重現(xiàn)”。
相比技術創(chuàng)新，vivo追求的還有產業(yè)落地。如今，立足于人像3D重建感知技術，vivo開始加快AIGC算法的落地應用探索——幫助用戶創(chuàng)作出虛實融合影像內容。
通過3D重建感知，配合輔助AIGC，vivo得以大幅降低了成本和門檻，可以為用戶提供多種人像AR特效，比如在3D換裝、3D畫場景、表情驅動、數字人等方面的落地應用。
而盛典會上推出的AIGC算法，通過vivo手機可以拍出虛擬與實景結合更為自然和諧的照片，這正是vivo融合3D+AIGC虛擬內容創(chuàng)作技術后，在人像賽道上的應用探索：
通過vivo手機內置的AIGC四季人像模式，不僅拍出虛擬與實景結合更為自然和諧的照片，還能以假亂真，從草長鶯飛的春天，到炎炎酷暑的夏天、秋日層林盡染的秋天，以及白雪皚皚的寒冬，足不出戶拍出四季人像大片。
03技術長跑，敢突破邊界者才能持續(xù)領先
“AIGC四季人像模式，將會在未來人像攝影的使用場景中，打下堅實技術基礎。”一位手機行業(yè)觀察人士認為。
而在vivo影像效果產品經理張焱看來，AIGC在智能手機中的想象不止如此，比如借助AIGC算法，用戶還可以實現(xiàn)豐富多樣的人像屬性編輯，如對光照、年齡、發(fā)型、表情等進行編輯。“這些未來影像的新技術、新應用，將持續(xù)激活用戶創(chuàng)作熱情。”
人像攝影一直是vivo在影像領域的主力賽道，不論是和蔡司在傳統(tǒng)光學領域的持續(xù)沉淀，還是8年來在歷代產品中不斷打磨軟硬件，包括在3D/AIGC未來人像上基于用戶需求的不斷探索，其實都是率先在行業(yè)進行移動影像“極限挑戰(zhàn)”。
“賦予每個人表達和創(chuàng)作的自由空間，是手機作為影像創(chuàng)作工具價值所在。”在于猛看來，打造“人性化的專業(yè)影像”是vivo一直追求影像理念。vivo希望把各種復雜的影像技術和經驗都放進手機，讓用戶不受功能、場景、時間上的限制，專業(yè)創(chuàng)作者可以滿足極限環(huán)境下創(chuàng)作需求，普通用戶也可以通過簡單操作收獲個性化的影像。
這種“極限挑戰(zhàn)”理念追求，源自“埋頭種因”和“本分”價值觀下，vivo將“做正確的事”永遠排在第一位。
vivo在人像領域的深耕，就是最好案例。2014年開始布局影像賽道后，vivo花費三年多時間，走訪了全國55個城鎮(zhèn)，包括北上廣一線城市，也包括五、六線鄉(xiāng)鎮(zhèn)，在數百場深度訪談，以及上萬名不同職業(yè)、年齡的消費者測試后，逐步建立了一整套消費者正確認知，讓自己更懂用戶，更懂影像。
用于猛的話來說，這就是：想盡一切辦法、抓住一切機會，獲得認知。
在認知正確基礎上，vivo大踏步建立針對影像技術全鏈條的研發(fā)體系——畢竟，手機影像是一個系統(tǒng)工程，涉及軟件、硬件、算法、攝像頭、芯片等一系列技術的有效協(xié)同，所有環(huán)節(jié)都要做到領先，才能讓影像整體領先。
2017年，vivo組建AI全球研究院，在算法、數據、算力方面建立全面AI能力，全方位賦能vivo核心長賽道。
無論是歷時24個月、投入超300人研發(fā)，用硬件級算法開啟手機影像行業(yè)下一個時代的自研芯片V1，還是助推vivo成為安卓首家實現(xiàn)4K電影人像拍后編輯功能手機廠商的自研芯片V3，都是在埋頭種因后收獲的碩果。
芯片自研之外，vivo與蔡司這家百年光學品牌的全面牽手，目的也是在秉承共同影像理念下，不斷去突破影像想象邊界。
過去幾年，vivo在微云臺防抖、鏡頭鍍膜、光學鏡頭等方面的不斷進化——包括最新與蔡司聯(lián)合探索最新結構長焦鏡頭、對T*鍍膜技術進行升級，其實還是圍繞“讓普通用戶用手機拍出專業(yè)大片，讓專業(yè)人士可自由進行創(chuàng)作”，縮小專業(yè)與大眾攝影上的“創(chuàng)造力鴻溝”，共同探索移動影像新高度。
這些在移動影像領域的深刻理解、專業(yè)技術和自我超越，vivo得以奠定影像領域的全球優(yōu)勢，引領中國世界移動影像進入中國時刻——哪怕與iPhone相比，vivo表現(xiàn)也不落下風。人們心中對vivo堅守的“長期主義”，也有了更多新認知。
可以暢想的是，“第四次產業(yè)革命”浪潮席卷，大模型、AIGC必將進入移動影像領域趨勢下，其使用場景將有著巨大的想象空間，“手機影像大師”有機會書寫更多AI傳奇。
一個例子可以說明，此前vivo相關的AI工程師已經超過1000名，仍在源源不斷投入，將更多AI研發(fā)人才納入囊中。vivo官網最新招聘顯示，其正在招聘大量AI算法專家、AR/VR領域AI大模型專家、圖像AIGC算法專家、AI產品經理，3D光學動捕算法工程師、工作地點位于深圳、杭州、重慶等地。
“基于AI影像領域的探索，vivo瞄準的是更大世界。”一位資深手機從業(yè)人員評價說。
目前，AIGC在vivo手機中的應用主要是人像，但AI與影像生產力工具結合緊密趨勢下，AIGC未來在vivo中也會有更多用武之地，比如與手機終端語音助手結合，可以更快速、準確理解語義。
AI大時代下，AI在文字、語音、圖像、視頻，教育場景、音樂創(chuàng)作等領域，與手機融合具備廣泛應用空間，讓手機工具價迎來更大爆發(fā)。比如，教育場景通過AI個性化因材施教，讓中小企業(yè)、普通用戶都能低門檻、低成本擁有屬于自己的逼真“數字人”——而非當前AI寫真照片。
或者，讓所有人可以通過AI進行創(chuàng)作，或者代碼編寫、識別翻譯，實現(xiàn)內容生態(tài)的新一輪范式轉移。以及，在AR、元宇宙等虛擬世界中，加速實現(xiàn)環(huán)境、虛擬人物的構建需求，去無限逼近真實。在遠程醫(yī)療、智能汽車等方面，AI與手機的結合同樣充滿想象空間。
這些未來暢想的實現(xiàn)或融合創(chuàng)新基礎，毫無疑問仍然基于影像。
“vivo將把影像視為和AI、5G、6G通信一樣的底層技術能力。”在于猛看來，在不遠的未來，vivo將把影像當成一種AI底層能力，去和其他產業(yè)融合創(chuàng)新，“如同互聯(lián)網改造制造業(yè)一樣，影像的價值也遠不止拍照、游戲，而是與AI、互聯(lián)網一樣有無限可能。”
申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！
