5G來了,VR/AR概念似乎回暖|他們之間到底有什么關系?

作者:網絡 /  / 瀏覽次數:
本文作者馬杰思(微信:jiesima),小米VR/AR高級總監
5G來了,VR/AR概念似乎回暖了。投資、咨詢、市場分析等領域里關注5G+VR/AR的人又多了起來。然而也有不少從業者認為5G+VR/AR純屬概念炒作,認為兩者之間并沒有一毛線關系,甚至大有談5G就踢群的架勢。所以5G+VR/AR到底有沒有真實的價值?在做了相關的研究后,我們認為:
1、5G的大帶寬特性對于VR的價值是在線觀看5K以上分辨率的全景視頻,對于AR在現階段價值不大。
2、5G低時延特性的價值是通過云游戲技術提升畫質,同時幫助云游戲技術降低其“網絡時延”,使得采用云游戲技術方案的VR/AR產品的“運動到成像時延”能夠達到20毫秒的及格線以內(“網絡時延”是“運動到成像時延”的組成部分)。
3、5G的低時延特性并無法直接幫助現在的VR/AR產品降低“運動到成像時延”。
 
下文我們將詳細拆解5G與VR/AR的關系。
01VR/AR如何接入5G網絡?
要讓5G發揮作用,先得讓VR/AR連上5G網絡。
我們先說VR。VR領域中最為主流的品類是VR一體機,即無需連接手機或PC,內置處理器,可以獨立使用的VR產品。VR一體機使用的芯片組往往是手機3年前的配置,目前主流產品依然在使用高通驍龍821和835。這些芯片組不具備直接接入5G網絡的能力。其實不僅僅是VR,現存的各類其他硬件產品也都不支持5G,僅支持Wi-Fi或4G。為了應對這一問題,出現了5G CPE這樣的設備。它可以將5G信號轉化為Wi-Fi信號,現存產品就可以通過Wi-Fi連到5G CPE,再連上5G網絡了。
 
 
聽起來這和千兆家庭寬帶也沒有什么區別嘛?從家庭的使用場景來看,確實如此,無論使用5G CPE還是千兆家庭寬帶,VR一體機均為通過Wi-Fi進行連接,兩者達到的下載速率也是相似的(千兆bps)。同時,由于VR是全沉浸式的體驗,絕大部分用戶是在家里使用,對于移動性的需求較小,因此千兆家庭寬帶能很好發揮作用,對于5G網絡的需求則相對較小。 數據來源:小米VR用戶調研
 
千兆家庭寬帶和5G,在面對復雜的城鄉基礎設施環境時,都存在鋪設網絡的可行性、效率、成本等問題。所以,對于VR來說,關鍵是看5G CPE和千兆家庭寬帶誰能更快更廣的普及了。對于AR來說,故事則有所不同。目前國內做AR眼鏡的整體思路是,讓AR眼鏡通過有線方式連接到手機上(Displayport over Type-C),AR眼鏡僅僅作為顯示單元,運算和電池都是用的手機,以此來降低眼鏡的重量,提升佩戴舒適性(雖然現在的技術距離全天舒適佩戴還有很遠的距離)。因此AR眼鏡是否能連上5G網絡,主要得看它連接的手機是否支持5G。目前已經能看到,多家手機廠商放出了5G實測視頻,相信5G手機的面世也將很快發生。相比VR,AR眼鏡能夠相對輕松的搭上5G手機這趟順風車。好,現在連上5G了,Now what?5G有三大特性:大帶寬、超低時延與高可靠性、大規模連接。其中前兩者是與VR/AR息息相關的,我們接下來分別進行討論。
 
來源:OFweek物聯網
 
 
02
5G大帶寬對于VR/AR的作用
5G大帶寬對于VR的作用在于提升全景視頻的分辨率和碼率,從而達到更好的觀看體驗。雖然目前的VR設備都可以觀看全景視頻,但是分辨率和碼率往往達不到及格線,看起來感覺糊成一鍋粥,這是一個普遍的問題。我們來看看及格線的要求是什么。在看視頻的時候,我們希望視頻的分辨率與屏幕的分辨率保持一致,以達到最好的效果。比如用1080p的電腦屏幕看1080p的視頻,是最佳體驗。VR頭顯的視場角一般是110°左右,全景視頻是一個360°的球體,相當于VR頭顯視場角的3倍多。VR頭顯屏幕分辨率一般為2K或4K,因此全景視頻的最佳分辨率也是其3倍多,即8K或12K。只有達到這樣的分辨率才能有優秀的觀影體驗,然而這樣的分辨率對于寬帶速率要求是極高的。現在主流視頻平臺的1080p視頻,碼率大約在1~2Mbps。比如愛奇藝的《海王》全長2.17小時,1080p視頻文件大小為1.58GB,碼率約為1.6Mbps。我國平均的網速速率遠高于這一碼率,所以一般情況下,你看1080p視頻沒有任何問題。而VR全景視頻的碼率則要高了一個數量級。以行業標桿的Oculus Studios出品的《Henry》為例,其片長為8分42秒,分辨率為5K,文件大小為1.3GB,碼率約為20.8Mbps。這已經接近我國平均網速速率,大量用戶會無法流暢地在線觀看,必須要下載下來看才行。這就有點像15年前,大家看視頻都得先通過BT或電驢下載下來一樣。現在你要看一個超高清的、高碼率的優質VR全景視頻,也需要先下載下來,才能保證最好的觀影體驗。5G和千兆家庭寬帶,使得網絡速率提升到1000Mbps左右,讓在線觀看20Mbps的全景視頻成為可能,大家觀看VR全景視頻就和現在愛奇藝1080p視頻的體驗一樣了。除了視頻之外,VR云游戲同樣需要大帶寬。VR云游戲其實也是一個全景視頻流,也是360°的,因此也需要上述相同的分辨率和碼率,才能達到最佳的體驗效果。

對于AR來說,5G的大帶寬有什么作用?
當前行業所暢想的AR眼鏡應用場景主要分為兩類:
第一類是手機的大屏化:將手機操作系統變成一個大屏的、多窗口的體驗。 手機的大屏化場景所需的網絡帶寬與現有手機和PC無差異,5G無法提供額外的附加價值。第二類是原生AR體驗:即利用計算機視覺識別現實中的場景,將虛擬信息有機的疊加到現實的場景中。原生AR體驗往往是基于3D圖形的,5G大帶寬的作用主要是提升3D模型的實時加載速度,讓3D模型無需提前下載到本地,只有需要用到的時候再從云端進行加載,減少包體大小(注意,這并不是云游戲的技術方案)。然而3D圖形加載速度這個改善的價值十分微小。受限于移動設備的算力,3D模型文件體積并不大,而且大部分應用場景對于實時加載的需求也并不強烈。只有等到對3D模型的精度需求極高、對3D模型實時加載的需求很強的情況下,5G才有其發揮的價值。目前能看到這樣的場景就是VR/AR Telepresence(又稱VR/AR Holoportation),即將人體進行3D重建或體量捕捉(Volumetric Capture)后,遠程進行近似于面對面一般的VR/AR通信。不過這樣的技術還處于實驗室階段,距離消費市場還很遙遠。另外,由于AR眼鏡并不適合觀看全景視頻,因此5G的大帶寬也無用武之地。
 
 
03
5G低時延對于VR/AR的作用
一提到5G低時延對于VR/AR的作用,你能在各種媒體上看到類似“5G降低VR/AR時延,解決VR/AR眩暈感”這樣的說法。這是一個巨大的誤區。5G對于降低VR/AR時延沒有任何的作用。要講清楚這個問題,我們先來看什么是VR/AR時延。VR/AR時延又稱為運動到成像時延(Motion-to-Photon Latency),是指從IMU或視覺傳感器檢測頭部/手部的運動,到圖像引擎渲染出對應的新畫面并顯示到屏幕上,這樣一個鏈路的時延。
 
主流的VR頭顯均已在本地做到了20毫秒以內的運動到成像時延,整個鏈路都是在本地設備上完成的,并不需要連網。20毫秒是一個人類感知的黃金分割線,時延低于20毫秒,我們就感覺不到了。我們測試過一些2018年的產品,時延已經達到了10毫秒左右。有人可能要說了,那既然已經做到20毫秒以內了,為什么我玩VR還會眩暈?那是因為導致VR眩暈的因素不止是時延,而是共有三個:時延、光學參數、內容舒適度。目前的技術已經解決了時延和光學參數的問題,但是在內容設計上帶來的眩暈感是無解的,VR游戲和體驗中的劇烈運動和快速移動依然可能會讓你眩暈。這完全取決于你對暈動癥的耐受程度,每個人都有所不同。這也是為什么全球最好的VR品牌Oculus在2014年解決了時延和光學參數的問題之后,還對其內容進行了舒適度評級,讓用戶根據自己的耐受度選擇適合自己的VR體驗。
 
我們說回5G。再重復一遍,5G對于降低現有VR/AR產品的運動到成像時延沒有任何作用。假設非要在這個鏈路上加入5G,反而只會增加整個鏈路的時延。比如,如果將圖像引擎渲染這一步放在云端來做,也就是云游戲的做法,那么就會引入5G上下行帶來額外的時延。5G的理論時延是1毫秒,那么整體鏈路時延就會變成20毫秒 + 1毫秒 = 21毫秒。如果5G實際時延相比理論的1毫秒高出許多,比如10毫秒,那么整個鏈路的時延就是20毫秒 + 10毫秒 = 30毫秒。這就會超出了20毫秒的基準線,反而會給用戶帶來眩暈感。(注:本文中網絡時延是指端到端的上行加下行時延。)
 
5G低時延的特征對于VR/AR的作用并不是降低時延,而是通過云游戲的技術方案提高畫質,并降低云游戲技術中的網絡時延。無論是VR一體機,還是連接手機的AR眼鏡,都是運行在移動端上,主要是高通驍龍系列。相比PC的CPU和GPU而言,移動端的3D圖形性能還是有數量級上的差異。VR/AR強調的是沉浸感,對于畫質的要求很高,最極致的VR體驗需要強勁的高端PC來承載。下面是VR游戲《Robo Recall》在Oculus Quest(移動芯片)和Oculus Rift(PC端)上運行的畫面對比。我個人做了對比測試,感官上的差異會比大家看圖片來得還要顯著。 
 
5G可以將3D圖形運算放到云端,也就是云游戲的技術路線。這樣就可以利用云端強勁的PC級CPU和GPU來進行3D圖形運算,再以視頻流的形式傳回本地的VR/AR設備上,讓移動芯片的VR/AR設備也能顯示出最頂級的畫質。然而,云游戲的技術方案對于VR/AR來說,最大的挑戰在于網絡時延。如果采用了云游戲的技術方案,那么網絡時延就變成了運動到成像時延的一部分,網絡時延會增加整體的運動到成像時延。從目前的數據來看,網絡時延是整個鏈路中最長的部分,也是尚未解決的部分。目前基于家庭寬帶的情況,云游戲的時延約在150毫秒左右。比如,Google的云游戲服務Stadia,經Digital Foundry初步測試,時延在166毫秒。如果把這樣的技術方案搬到VR/AR上來,那一定會讓用戶暈到天昏地暗。這個時候5G低時延的價值就來了,如果5G真的能夠達到標準中的1毫秒時延,那么基于5G的VR/AR云游戲方案就能夠達到合格的用戶體驗。如果真能做到,這會是VR/AR成為消費市場主流產品的重要基礎設施。那么問題來了,5G實際上到底能做到多低的時延,什么時候能做到這樣低的時延。這才是關鍵。
 
再次來總結一下。我們認為:
連接5G網絡的方式,VR主要將會通過5G CPE,AR主要將會通過5G手機。5G的大帶寬特性對于VR的價值是在線觀看5K以上分辨率的大碼率全景視頻,對于AR在現階段價值不大。5G的低時延特性并無法幫助現在的VR/AR產品降低“運動到成像時延”,它的價值是通過云游戲技術提升畫質,同時幫助云游戲技術降低其“網絡時延”(“網絡時延”是“運動到成像時延”的組成部分),使得采用云游戲技術方案的VR/AR產品的“運動到成像時延”能夠達到20毫秒的及格線以內。