在今年的華為MBBF論壇上,七鑫易維、華為和西安電子科技大學聯(lián)合推出了適用于VR/AR頭戴式設備的XR Pro 3D全息立體視覺原型系統(tǒng)。
在VR/AR頭戴式設備中,因為顯示模塊采用定焦屏幕,所以一直存在一種缺陷,即視覺輻輳調節(jié)沖突(Vergence-Accommodation Conflict,簡稱VAC),簡單的說,就是用戶雙目視差形成的深度感知和單目焦距形成的深度感知是具有差異性的,恰恰正因為這種感知上的不同會讓大腦產生沖突感,從而會讓用戶對VR畫面產生不適,這就是為什么有一部分人觀看VR畫面的時候會產生眩暈感的原因原因所在。
其實在真實世界,人眼未注視的焦平面在視網膜中形成的圖像是模糊的,這種模糊線索可以讓人判斷物體所處的不同距離,但人是無法通過定焦系統(tǒng)進行模糊線索來進行距離判斷,所以很容易形成虛擬物體距離和大小的視覺錯覺。
如果想解決該問題,就需要VR/AR采用變焦系統(tǒng),讓用戶注視不同深度的畫面信息時,畫面變焦到相應的焦平面,使雙目視差形成的深度與單目焦距形成的深度感知保持一致。在變焦系統(tǒng)尚不成熟時,可采用光場數據結合焦平面解碼,形成不同焦平面的模糊線索,模擬真實的3D全息視覺。
圖:當觀察近處的玩具兔時,遠處的相框會呈現視覺模糊,當觀察遠處的鏡框時,則近處的玩具兔呈現視覺模糊
為此,七鑫易維、華為和西安電子科技大學聯(lián)合推出了這套適用于VR/AR頭戴式設備的XR Pro 3D全息立體視覺原型系統(tǒng),以華為的VR Glass為硬件載體,加入七鑫易維的眼球追蹤功能,借助其眼球追蹤算法,高速檢測用戶眼部信息,計算出用戶的注視深度,并利用其自主專利技術中的深度感知方法,通過AI識別和碰撞檢測相結合的方式,大幅度提升了用戶感知的深度范圍和精準度。
圖:華為VR Glass和七鑫易維眼球追蹤模塊
而在上述解決方案中,需要實時獲知用戶的雙目視差注視深度,否則系統(tǒng)并不知道應該采用的平面焦距。西安電子科技大學在本方案中提供了光場圖像數據及其實時解碼,當用戶注視不同深度時,所注視焦平面會被清晰解碼和顯示,其他焦平面的圖像則和真實視覺類似呈現視覺模糊線索,從用戶角度看,與真實世界感知更加接近,大幅度降低了VAC帶來的沖突感和視覺錯覺。
圖:眼球追蹤與光場數據結合展示不同焦平面顯示效果,實現真3D全息視覺
該方案的最終實現離不開高帶寬、大算力的支持,借助5/5.5G網絡的確定性傳輸能力和云端算力,使之成為可能。但值得注意的是,由于3DOF注視點的運動預測極為困難,網絡傳輸帶寬和時延要求相比當前的VR業(yè)務要更高。
從傳統(tǒng)的液晶顯示到全新虛擬屏顯,通過雙目視差的原理,VR/AR為人眼帶來了立體視覺,但是由于每只眼睛的屏幕仍然是定焦屏幕,所以該立體視覺從本質上講仍然呈現的是2D畫面,無法解決VAC帶來的視覺錯覺與疲勞。本次三方聯(lián)合推出的方案,能通過深度信息的視覺變化,真正模擬了人眼的主觀效果,消除視覺錯覺,將2D視差立體視覺推進到了3D全息立體視覺,進一步解決了目前VR/AR中存在的技術難點,提高了VR/AR的用戶體驗,這也將會是VR/AR顯示上的又一大進步!未來變焦技術成熟后,該方案依舊可以進一步發(fā)揮其作用。
圖:從2D平面視覺到3D全息立體視覺的發(fā)展路徑
目前VR/AR技術正在高速發(fā)展,如何幫助用戶更加自然的過度到新屏顯的交互時代,是所有新形態(tài)硬件廠商共同努力的目標,七鑫易維期待利用眼球追蹤技術與新興硬件廠商共同探索VR/AR方面的更多可能,推進了VR/AR更大規(guī)模的應用,為用戶打造更為舒適的使用環(huán)境。
申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！
