聊一聊VR虛擬現(xiàn)實(shí)（十三）：進(jìn)入VR行業(yè)需要學(xué)習(xí)哪些計(jì)算機(jī)技術(shù)？

上海微信小程序開(kāi)發(fā)制作、APP、網(wǎng)站、小程序定制、小程序外包開(kāi)發(fā)公司

首頁(yè) > 熱點(diǎn)資訊 > 資訊詳情

聊一聊VR虛擬現(xiàn)實(shí)（十三）：進(jìn)入VR行業(yè)需要學(xué)習(xí)哪些計(jì)算機(jī)技術(shù)？

2022-12-17

最近隨著VR知乎上經(jīng)常有人問(wèn)行業(yè)的復(fù)蘇:我以后想做。VR，你需要學(xué)習(xí)什么計(jì)算機(jī)技術(shù)？本文系統(tǒng)介紹：進(jìn)入VR計(jì)算機(jī)軟件技術(shù)哪些計(jì)算機(jī)軟件技術(shù)。

由于篇幅有限，技術(shù)細(xì)節(jié)不會(huì)在術(shù)細(xì)節(jié)，主要介紹某一方向所需的軟件知識(shí)，以供進(jìn)入VR行業(yè)學(xué)生參考。

- 設(shè)備端 -

首先，是VR與眼鏡平臺(tái)相關(guān)的工作包括以下三個(gè)部分：

一、顯示技術(shù)

目前的VR設(shè)備有三類(lèi):外接頭顯(包括:PCVR 和 PSVR）、一體機(jī) 和手機(jī)盒。這三類(lèi)VR現(xiàn)有計(jì)算設(shè)備中使用的眼鏡操作系統(tǒng)（Windows、Android 等等)。因此，從系統(tǒng)層面來(lái)看，沒(méi)有新的技術(shù)內(nèi)容。但在顯示層面上，它比現(xiàn)有的計(jì)算設(shè)備更復(fù)雜。

當(dāng)游戲引擎渲染一個(gè)時(shí)VR畫(huà)后，不能像 PC 或者手機(jī)直接上屏，還需要反畸變、合成、位置預(yù)測(cè)等過(guò)程才能貼在屏幕上。這需要很多計(jì)算機(jī)圖形學(xué) 和操作系統(tǒng) 相關(guān)知識(shí)。

此外，為了進(jìn)一步提高渲染效率，還需要引入視覺(jué)渲染技術(shù)。為了解決這個(gè)問(wèn)題 VAC (收斂沖突)未來(lái)將引入問(wèn)題光場(chǎng)顯示這些技術(shù)也需要計(jì)算機(jī)圖形學(xué) 相關(guān)知識(shí)。

二、定位技術(shù)

VR圖像的生成取決于定位的準(zhǔn)確性。這涉及兩種技術(shù)：頭部定位和手柄定位。定位技術(shù)可分為以下三類(lèi)：

1. 外部激光定位（Lighthouse）

通過(guò)計(jì)算外部激光發(fā)射器掃描空間頭盔和手柄接收激光信號(hào)的時(shí)差推導(dǎo)出設(shè)備的空間坐標(biāo)。其特點(diǎn)是:速度快，位置準(zhǔn)確，缺點(diǎn)是成本高。HTC vive 就是這樣。

Lighthouse技術(shù)，由Valve公司研制

2. 外部視覺(jué)定位

攝像頭放在外面拍攝頭盔/手柄計(jì)算設(shè)備的位置，Oculus Rift（紅外線）和 PSVR (可見(jiàn)光)都是這樣使用的。要準(zhǔn)確高效地檢測(cè)出光標(biāo)點(diǎn)，需要計(jì)算機(jī)視覺(jué)的圖像處理知識(shí)。

PSVR定位光標(biāo)點(diǎn)

3. 內(nèi)置視覺(jué)定位（ InsideOut 定位）

估計(jì)頭盔運(yùn)動(dòng)是通過(guò)頭盔上攝像頭拍攝圖片的變化來(lái)估計(jì)的。WMR、Quest使用這種方法。它的優(yōu)點(diǎn)是不需要額外的架設(shè)設(shè)備。但定位精度比激光定位差。

還需要根據(jù)圖片推斷相機(jī)的運(yùn)動(dòng) 計(jì)算機(jī)視覺(jué) 相關(guān)知識(shí)。

Quest頭盔上的四個(gè)定位攝像頭

InsideOut 頭部定位對(duì)應(yīng)的手部定位有點(diǎn)復(fù)雜，分為電磁手柄定位，超聲手柄定位和視覺(jué)手柄定位三種方法。前兩種通常是硬件直接定位坐標(biāo)，最后一種仍然是基于計(jì)算機(jī)視覺(jué)，是攝像頭從外置攝像頭換成了頭盔上的攝像頭。

三、識(shí)別技術(shù)

在某些情況下，為了更準(zhǔn)確地反映用戶(hù)的動(dòng)作，還需要識(shí)別人體的各種狀態(tài)。包括：手勢(shì)識(shí)別、身體姿勢(shì)識(shí)別、表達(dá)識(shí)別、眼睛跟蹤。手勢(shì)識(shí)別有兩種技術(shù)路線：一種是戴手套，用硬件識(shí)別，另一種是基于計(jì)算機(jī)視覺(jué) 識(shí)別。前者優(yōu)勢(shì)準(zhǔn)確，后者使用方便。

基于視覺(jué)的手勢(shì)識(shí)別

身體姿勢(shì)識(shí)別類(lèi)似于手勢(shì)識(shí)別，也有佩戴硬件和視覺(jué) 兩套方案。但現(xiàn)在常用的是基于硬件?；谝曈X(jué)的姿態(tài)識(shí)別通常用于監(jiān)控場(chǎng)景VR其準(zhǔn)確性也比較少見(jiàn) 硬件方案差很多。

慣性動(dòng)作捕捉設(shè)備

眼動(dòng)追蹤主要是計(jì)算機(jī)視覺(jué)方案，現(xiàn)在有眼部肌電信號(hào)進(jìn)行眼動(dòng)跟蹤，但只存在于實(shí)驗(yàn)室。最后，表情識(shí)別只能靠計(jì)算機(jī)視覺(jué) 來(lái)做。所有上述識(shí)別內(nèi)容，仍處于較前沿狀態(tài)，在實(shí)際應(yīng)用中主要是B端場(chǎng)景，C端使用相對(duì)較少。Oculus Quest 最近剛剛推出手勢(shì)識(shí)別預(yù)計(jì)越來(lái)越多的C端應(yīng)用將嘗試這種新的交互方式。

- 應(yīng)用端 -

搭好VR眼鏡平臺(tái)后，內(nèi)容需要根據(jù)不同的應(yīng)用場(chǎng)景進(jìn)行填充。應(yīng)用程序端的相關(guān)技術(shù)可分為以下類(lèi)別：

一、內(nèi)容開(kāi)發(fā)

首先是最常見(jiàn)的VR在技術(shù)層面上，游戲應(yīng)用開(kāi)發(fā)與普通3D游戲沒(méi)有區(qū)別，大部分都是用的。 U3D，Ureal 等待引擎開(kāi)發(fā)。因此，我想在未來(lái)從事VR內(nèi)容開(kāi)發(fā)的學(xué)生可以直接從游戲引擎開(kāi)始。

《Job Simulator》，基于銷(xiāo)量過(guò)百萬(wàn)Unity3D

二、視頻制作

VR目前視頻制作設(shè)備比較成熟。用戶(hù)在使用時(shí)，避免了早期拼接步驟，直接輸出 360度全景視頻。

制作簡(jiǎn)單，但視頻領(lǐng)域仍有兩種新技術(shù)需要探索：視頻分片編解碼和容積攝影。

編解碼視頻分片可以解決兩個(gè)問(wèn)題：帶寬不夠以及芯片解碼限制。未來(lái)為了傳輸和播放12K我們需要優(yōu)化編解碼環(huán)節(jié)的視頻。

Rockeymen：聊一聊VR虛擬現(xiàn)實(shí)(8):VR視頻的清晰度

目前，一些公司已經(jīng)朝著這個(gè)方向投資。 VR4P、VSBIT、威爾云等。

容積攝影在之前的文章中，我們還介紹了技術(shù)：

Rockeymen：聊一聊 VR虛擬現(xiàn)實(shí)(5):我們離黑客帝國(guó)有多遠(yuǎn)

它主要通過(guò)多攝像頭從多個(gè)角度拍攝相同的場(chǎng)景，最終 “拼” 一個(gè)人可以 “走進(jìn)去” 的3D視頻場(chǎng)景，很酷。

要實(shí)現(xiàn)這一點(diǎn)，也需要一些圖像處理的知識(shí)。

體積攝影效果

三、網(wǎng)絡(luò)技術(shù)

云VR會(huì)是VR該領(lǐng)域的一個(gè)大趨勢(shì)是，它需要在云服務(wù)器輸?shù)奖镜?。VR可參考相關(guān)內(nèi)容：

Rockeymen：聊一聊VR虛擬現(xiàn)實(shí)(9):也說(shuō)5G與云VR

下圖是一種云VR 服務(wù)架構(gòu)。它主要考慮的是云內(nèi)容編碼及高效傳輸。因此，一個(gè) 計(jì)算機(jī)網(wǎng)絡(luò)技術(shù) 專(zhuān)家，也可以快速投資云VR的領(lǐng)域。

一種云VR服務(wù)架構(gòu)

此外，未來(lái)流行的虛擬社交網(wǎng)絡(luò)將對(duì)網(wǎng)絡(luò)傳輸有更高的要求。圖像同步所需的數(shù)據(jù)量比傳統(tǒng)的網(wǎng)絡(luò)游戲大一個(gè)量級(jí)。目前，最受歡迎的VR社交游戲：VRChat，同時(shí)，在線人數(shù)超過(guò)2萬(wàn)。同時(shí)，單個(gè)房間的人數(shù)上限只有30人左右。想要實(shí)現(xiàn)。還需要對(duì)數(shù)據(jù)同步做很多研究。

目前最火的VR社交游戲：VRChat

一般來(lái)說(shuō)，如果你想做點(diǎn)什么VR與眼鏡平臺(tái)相關(guān)的工作需要與計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)視覺(jué)和操作系統(tǒng)相關(guān)的知識(shí)。如果你想VR在應(yīng)用端做一些工作，現(xiàn)在的3D游戲，視頻娛樂(lè) 所需的技術(shù)知識(shí)相似。，因?yàn)閂R眼鏡公司也要做上層系統(tǒng)應(yīng)用，所以也會(huì)涉及3D開(kāi)發(fā)內(nèi)容。

希望以上介紹能加入。VR這個(gè)行業(yè)的學(xué)生很有幫助。

更多文章，也可以關(guān)注自己的專(zhuān)欄:逐鹿VR

相關(guān)文章：

聊一聊 VR虛擬現(xiàn)實(shí)(1):VR的發(fā)展史

聊一聊 VR虛擬現(xiàn)實(shí)(二):VR眼鏡的分類(lèi)

聊一聊 VR虛擬現(xiàn)實(shí)(三):VR游戲

聊一聊 VR虛擬現(xiàn)實(shí)(4):當(dāng)前:VR行業(yè)的幾大挑戰(zhàn)

聊一聊 VR虛擬現(xiàn)實(shí)(5):我們離科幻電影有多遠(yuǎn)

聊一聊 VR虛擬現(xiàn)實(shí)(6):消除距離

聊一聊 VR2019年虛擬現(xiàn)實(shí)(7) VR游戲現(xiàn)狀

聊一聊 VR虛擬現(xiàn)實(shí)(8):VR視頻清晰度

聊一聊 VR虛擬現(xiàn)實(shí)(9):5G與云VR