胡 璇 騰訊研究院高級研究員

王煥超 騰訊研究院研究員

2021 年底，微軟亞洲研究院以論文形式發(fā)布了一項(xiàng)沉浸式 3D 視頻交流系統(tǒng)——VirtualCube，并一舉拿下虛擬現(xiàn)實(shí)與圖形學(xué)領(lǐng)域 IEEE VR 2022 (& IEEE TVCG) 的最佳期刊論文獎(jiǎng)。

從技術(shù)層面看，VirtualCube 為構(gòu)建出每個(gè)用戶的實(shí)時(shí) 3D 影像，硬件方面采用包括用于獲取用戶 3D 模型的六臺攝像機(jī)，以及由三個(gè) 65 寸 4K 屏幕組成的環(huán)繞顯示設(shè)備，位于隔間之內(nèi)。同時(shí)，利用軟件系統(tǒng)和專用算法保障視覺還原度，包括參與者的形體、相對位置關(guān)系、相互注視，并保證視頻流幀率穩(wěn)定。研發(fā)團(tuán)隊(duì)也在探索未來加入空間音頻支持和復(fù)雜手勢處理等更多維度。

簡單來說，VirtualCube 的作用，是把傳統(tǒng)視頻會議中的“紙片人”（由每秒 24 幀圖片構(gòu)成的視頻），還原成了真正的“大活人”：即使對方保持不動，你也能轉(zhuǎn)過頭看到 ta 的側(cè)臉。

在傳統(tǒng)的視頻會議中，經(jīng)典難題就是與會者缺乏眼神交流：如果發(fā)言者注視攝像頭，會感覺自己在和屏幕而非人類對話；而一旦注視屏幕中的人臉，就更無法與對方“對視”，看起來心不在焉。VirtualCube 創(chuàng)造性地解決了這一問題：視頻雙方不必看攝像頭，也會有自然的眼神交流。

根據(jù)官方的介紹，VirtualCube 系統(tǒng)的核心目標(biāo)正是實(shí)現(xiàn)“參與者位于同一房間中”的臨場感，從而讓不同時(shí)空環(huán)境下的參會者，都能夠更沉浸和放松，更專注于溝通本身。在它之前，谷歌的 Starline、Facebook 的 Horizon Workrooms 也都是解決這一需求的先行者。

在新冠疫情的大背景下，遠(yuǎn)程辦公成為不少公司的選擇，而視頻會議作為兼顧體驗(yàn)與溝通效率的一項(xiàng)工具，成為遠(yuǎn)程辦公的標(biāo)配。但與真實(shí)的線下交流相比，視頻會議仍顯得不夠自然，前述的缺乏眼神交流等問題的存在，都讓參與者無法沉浸。從這一角度出發(fā)，我們自然就能理解 VirtualCube 等技術(shù)努力的意義所在。

對于遠(yuǎn)程辦公者來說，VirtualCube 是以一種比視頻會議更生動的方式，把你的同事和老板搬到了你的面前，從而實(shí)現(xiàn)了媲美線下的臨場感。

但也有不少觀點(diǎn)認(rèn)為，所謂的“臨場感”可能是一種偽需求，對于遠(yuǎn)程辦公來說，連接才是第一性的目標(biāo)，視頻甚至是語音通話的作用已經(jīng)足夠，對臨場感的追尋顯然并不必要。問題來了，對遠(yuǎn)程辦公乃至更廣義上的工作模式而言，“臨場感”真的是冗余的嗎？通過技術(shù)追求“臨場感”到底有什么意義？

接下來，我們就討論這個(gè)問題。

比起線下， 遠(yuǎn)程辦公到底差了點(diǎn)啥？

得益于各種數(shù)字化技術(shù)和工具的存在，遠(yuǎn)程辦公不再是一件稀奇事。通過語音通話和即時(shí)通訊軟件，我們可以與同事保持聯(lián)系；通過在線會議工具，能夠參加大大小小的會議或研討；通過在線協(xié)同工具，可以與團(tuán)隊(duì)同步工作進(jìn)度，流程化地完成長鏈條任務(wù)。

所以，在新冠疫情暴發(fā)之后，遠(yuǎn)程辦公很快就成為許多公司選擇的工作模式。艾媒咨詢數(shù)據(jù)顯示，2020 年復(fù)工期間，中國有超過 1800 萬家企業(yè)采用了線上遠(yuǎn)程辦公模式，超過 3 億用戶使用遠(yuǎn)程辦公應(yīng)用。騰訊研究院 T-ask 的一項(xiàng)調(diào)研也發(fā)現(xiàn)，接近 7 成（69.8%）被調(diào)研者都有過遠(yuǎn)程辦公經(jīng)歷。不久前，攜程公司官宣了混合辦公的規(guī)定，全球范圍內(nèi)，微軟、Google、meta 等公司也都推出相關(guān)措施。

可以說，遠(yuǎn)程辦公正在成為大多數(shù)人所接受的常態(tài)。但是，隨著常態(tài)化過程的深化，遠(yuǎn)程的一些弊端或者說劣勢也在逐漸凸顯出來。

先把時(shí)間線拉回到世紀(jì)之初，彼時(shí)的科技界也曾有過一波遠(yuǎn)程辦公浪潮。以 IBM 為例，其在 2009 年的一項(xiàng)報(bào)告中宣稱，全球 38.6 萬公司員工中有 40% 都居家辦公，十年間，公司將節(jié)省下來的辦公空間出售就獲益 19 億美元。但這波浪潮很快就退卻了，原因就在于，這些先行者發(fā)現(xiàn)，遠(yuǎn)程辦公在員工溝通效果、工作效率以及企業(yè)文化的形成方面存在諸多問題，因此仍不能替代線下辦公。

其中最有代表性的是雅虎。2013 年，雅虎頒布了一項(xiàng)規(guī)定，明確禁止員工遠(yuǎn)程，而是必須到最近的辦公區(qū)中辦公，否則將被辭退。2017 年，IBM 也將員工召回辦公室現(xiàn)場工作。彼時(shí)的雅虎全球人力資源總監(jiān) Jackie Reses，在內(nèi)部備忘錄中寫道：“作為一個(gè)雅虎人，不僅僅要做好日常工作，更重要的是要互動和體驗(yàn)。而互動和體驗(yàn)只有在辦公室才能完成?！?/p>

是的，互動和體驗(yàn)，正是對比遠(yuǎn)程與現(xiàn)場辦公的關(guān)鍵線索。遠(yuǎn)程辦公雖然以某種方式實(shí)現(xiàn)了“互動”和“體驗(yàn)”，但并不完整。

在現(xiàn)場辦公中，工作者能夠直接進(jìn)行面對面溝通，在這種溝通模式中，除了口語交流，雙方能看到彼此的眼神、表情、手勢、動作這些語言之外的要素。同時(shí)，交流時(shí)所處的環(huán)境也相當(dāng)重要：氣味、光線、現(xiàn)場布置、雙方所處的位置，甚至是對方的毛孔、飛濺的唾沫。它們的存在，賦予每次交流以深刻的獨(dú)特性。

這些因素的加總，共同構(gòu)成了交流的“語境”，它對于傳達(dá)意涵與感情，從而使交流雙方建立更好的理解與合作而言相當(dāng)重要。用一個(gè)統(tǒng)一的詞來定義，這些東西就是“臨場感”，它涵蓋了你在交流語境中的所見、所聽、所聞、所思、所感，以及由這些全部觀察與感受形成的綜合感覺。對比之下，遠(yuǎn)程辦公可以借助各種工具，實(shí)現(xiàn)語音、視頻畫面的傳遞，并在某種程度上模擬現(xiàn)實(shí)，但它缺少的就是這種“臨場感”。

瓦爾特·本雅明曾經(jīng)提出過“靈韻”（Aura）的概念，用以描述藝術(shù)品實(shí)體以及線下劇場的演出所具有的一種綜合的真實(shí)特質(zhì)。當(dāng)機(jī)械復(fù)制時(shí)代來臨，通過大規(guī)模的復(fù)制（本雅明主要指攝影），藝術(shù)品和演出的傳播范圍廣了，但“靈韻”卻消失了。而遠(yuǎn)程辦公所不具備的，正是線下辦公的“靈韻”。

靈韻的消失是一個(gè)觸發(fā)點(diǎn)。與面對面的現(xiàn)場辦公相比，遠(yuǎn)程辦公無疑增加了溝通成本。線下幾句話能說明白的事情，要經(jīng)過很多次低效的線上溝通才能達(dá)成目的。同時(shí)，面對面的互動決定了要在同一時(shí)間內(nèi)和空間內(nèi)進(jìn)行同一件事，因此有利于更快地做出決策。而遠(yuǎn)程辦公就不行，你不會知道網(wǎng)線另一端的同事到底在干什么：擼貓、哄娃，還是蹬劃船機(jī)。即便同在一個(gè)視頻會議上，也不能保證同事有沒有開著其他窗口。

第二個(gè)層面是工作關(guān)系。在工作場所中，員工通過觀察同事的表現(xiàn)和行為，能夠了解公司的制度、規(guī)范和文化，這是一個(gè)學(xué)習(xí)的過程。同時(shí)，員工之間的真實(shí)互動，有助于建立起良好的工作關(guān)系，這不僅能增強(qiáng)團(tuán)隊(duì)凝聚力和公司文化，而且緊密、融洽的工作關(guān)系本身就是工作效率和創(chuàng)造力的一部分。

對于新員工來說，類似互動尤為重要。如果缺少這些環(huán)節(jié)，直接進(jìn)入到遠(yuǎn)程辦公的模式中，很可能面臨難以融入的問題?！度A爾街日報(bào)》的一篇報(bào)道寫到一名年輕人在工作一年半后，才有機(jī)會和其他同事見面：“開會時(shí)，大家關(guān)掉了攝像頭，我甚至不知道他們長什么樣。”顯然，這無助于工作者之間建立起正常的關(guān)系，并進(jìn)一步影響工作的開展。

鮑曼在《工作、消費(fèi)主義和新窮人》中指出，工作場所承載了最主要的社交融合功能?，F(xiàn)代社會中，成年人大部分時(shí)間都是在工作中度過的，這意味著工作中的人際關(guān)系，不僅僅是純工作層面，也是我們作為與他人建立連接、參與社會化的一種必須。

這或許是工作制度更深遠(yuǎn)的意義，也是遠(yuǎn)程辦公缺失臨場感最嚴(yán)重的后遺癥：長時(shí)間以工作和任務(wù)導(dǎo)向，缺乏人際互動，不但會促成焦慮和抑郁等不良情緒，也嚴(yán)重影響了成年人正常的社會化過程。

這些技術(shù)在 努力追求“數(shù)字臨場感”

正是考慮到遠(yuǎn)程辦公的一系列負(fù)面影響，不少遠(yuǎn)程辦公的支持者紛紛“反水”。2021 年 2 月，谷歌在提交給監(jiān)管機(jī)構(gòu)的年度報(bào)告中指出，居家辦公影響了公司的工作效率、競爭力和企業(yè)文化，并表示更多員工將會回歸到線下辦公。

回到傳統(tǒng)模式當(dāng)然是一種選擇，但考慮到遠(yuǎn)程辦公仍然可能是未來重要的工作模式之一，哪怕只著眼于疫情反復(fù)的近期，它也是實(shí)用主義的應(yīng)對之策，所以，彌補(bǔ)遠(yuǎn)程辦公在“臨場感”方面的不足，未嘗不是一種可選項(xiàng)。

試想一下，如果能通過 VirtualCube 這樣的方式，把同事的 3D 形象投影到你的身旁，即便是居家辦公，同事也坐在你旁邊或與你面對面，隨時(shí)能閑談或開會交流（空間音頻完美還原），其實(shí)已經(jīng)在很大程度上解決了“臨場感”不足的問題。

其實(shí)在 VirtualCube 之前，谷歌于 2021 年 5 月公開的視頻通話 Starline 項(xiàng)目，就已實(shí)現(xiàn)了令人驚嘆的“隔空傳人”，遠(yuǎn)在千里外的家人影像如此清晰、立體，仿佛觸手可及。示范了 3D 全息影像對“臨場感”的有力加成，也初步克服了最大挑戰(zhàn)：在手機(jī)、電視、VR 等 2D“平板”顯示設(shè)備上還原 3D 內(nèi)容。

對面的女士是實(shí)時(shí)影像，既非真人，也非普通視頻

VirtualCube 和 Starline 效果相似，但技術(shù)路徑不同。下面從視覺原理和技術(shù)脈絡(luò)兩方面來看全息影像如何步步進(jìn)化，我們距離科幻電影中的“真全息”還有多遠(yuǎn)。

全息投影是鋼鐵俠眾多黑科技之一

3D 視覺是人類的生存法寶，多種線索幫助大腦形成空間感。狩獵求生時(shí)，祖先依靠雙眼來判斷獵物的遠(yuǎn)近、大小、形態(tài)；直到今天，視覺仍是各種感官中最主要的信息來源，對空間、光影、運(yùn)動等保持高度靈敏。

第一類是平面線索，包括近大遠(yuǎn)小、遮擋關(guān)系、光影紋理等，這也是繪畫、攝影中立體感的基礎(chǔ)。我們憑借生活經(jīng)驗(yàn)，將圖像視作三維物體在二維平面的投影，“腦補(bǔ)”其原本的模樣。

左圖：立方體，而非三個(gè)鄰接的平行四邊形

右圖：陰影、遮擋、近大遠(yuǎn)小在繪畫中應(yīng)用的實(shí)例

畫面動起來，立體效果翻倍：比如“添加兩條白杠變 3D“的例子。白杠遮擋了部分原圖，將視頻切割成了前景（魁地奇）中景（白杠）和背景（哈利波特）三部分，模糊效果進(jìn)一步拉遠(yuǎn)了三個(gè)景別的心理距離。

當(dāng)心！魁地奇要飛到你鼻尖上啦

第二類是深度線索，它們是突破“臨場感”的關(guān)鍵。即在 XY 軸構(gòu)成的平面外、Z 軸上的更多信息，包括：雙目視差，移動視差和聚焦模糊。雙目視差的典型應(yīng)用是 3D 電影和 VR 眼鏡，戴上特制的眼鏡后，左右眼接收到的畫面會有些微差異，經(jīng)由大腦重新加工為立體的畫面。

移動視差更為重要，現(xiàn)實(shí)中“橫看成嶺側(cè)成峰”，對著手機(jī)圖片可沒這效果。畢竟顯示器中每一幀畫面的像素排列都是恒定的，無論晃頭看還是調(diào)節(jié)焦點(diǎn)，圖像不會有任何差異，因此立體感也是不完整的。

實(shí)現(xiàn)移動視差，就要確保觀看者在不同的位置和角度看到不同的內(nèi)容，大致有兩條技術(shù)路徑：第一是在顯示器本身做文章，第二是追蹤觀看者并發(fā)送正確的畫面。

借用lookingglass的效果示意圖

路線一的典型代表是 LookingGlass、京東方等生產(chǎn)的新型光場顯示器，谷歌 Starline 中使用的也是這種設(shè)備。原理是在顯示層上疊加一層柱狀透鏡，使不同視角下進(jìn)入眼睛的光線不同。外觀上和普通顯示器區(qū)別不大，只是很厚，像一塊大玻璃。這本身并不是一項(xiàng)黑科技，你小時(shí)候一定見過。

在 2010 年前后曾興起過一陣裸眼 3D 電視風(fēng)潮，飛利浦在 2010 柏林電子展就率先展出，東芝、索尼也有布局；最大的瓶頸是芯片算力，要增加多少微視角，就要同時(shí)渲染多少倍的畫面，很快因?yàn)轶w驗(yàn)不佳而被遺忘。

飛利浦的專利到期后，多家廠商又重新?lián)炱疬@一科技樹。在強(qiáng)勁顯卡支持下，LookingGlass 在 2018 年推出首臺設(shè)備，2021 年初發(fā)布了體積更小的消費(fèi)級產(chǎn)品 portrait，可同時(shí)渲染 45 個(gè)視角畫面，可視范圍更大；能配合各種外接設(shè)備使用，從而實(shí)現(xiàn)與全息內(nèi)容的高級交互，包括 VR 手柄，傳感器，觸覺反饋系統(tǒng)等。

LookingGlass與傳感器聯(lián)動效果示意

路線二的典型代表是 VirtualCube 項(xiàng)目中搭建的設(shè)備。原理為根據(jù)用戶眼睛的位置，持續(xù)顯示正確的圖像和視角，相比 Lookingglass 等更為節(jié)約算力；缺點(diǎn)是體積稍大，同時(shí)只支持 1 人觀看。

也有產(chǎn)品融合以上兩種方式，如 Sony 的 ELFD 3D 顯示器，在 2020 年的 CES 上展出 15 英寸原型機(jī)后受到廣泛關(guān)注。ELFD 采用了索尼的三項(xiàng)專利技術(shù)：高速、高精度、實(shí)時(shí)傳感；實(shí)時(shí)光場渲染；高精度 3D 顯示。既追蹤用戶，以最小的延遲實(shí)現(xiàn)精確的眼部檢測；也結(jié)合微光透鏡實(shí)現(xiàn)更立體的效果。

不要因?yàn)槭煜?，就覺得“必須”

本文的討論主要是從“遠(yuǎn)程辦公”出發(fā)，但“臨場感”及相關(guān)的技術(shù)努力，顯然不局限于這一個(gè)場景。數(shù)字技術(shù)在大大小小的領(lǐng)域推進(jìn)著范式變革，也自然會引出傳統(tǒng)范式與新興范式的特性對比。沿著這一思路，再來思考“臨場感”這個(gè)概念，恐怕也沒有那么簡單了。

我們對于臨場感的理解與認(rèn)知，建立在面對面人際交往的傳統(tǒng)模式的基礎(chǔ)之上，我們認(rèn)為它是“好”的，是要去追尋的，在很大程度上是因?yàn)榕R場感是舊范式的固定屬性，因此具備了合理性，也自然而然地成為我們評價(jià)和衡量新范式的標(biāo)準(zhǔn)。但是隨著數(shù)字時(shí)代的延伸，“臨場感”的定義也會發(fā)生變化，說不定“在線連接”的時(shí)代也會發(fā)展出屬于自己的“光韻”，正如攝影也已經(jīng)成為嚴(yán)肅藝術(shù)的代表一樣。

所以我們不必過于糾結(jié)。每一代人都有所屬的媒介環(huán)境和所處的時(shí)代背景，據(jù)此又會形成不同的價(jià)值觀念和認(rèn)知。沒有什么是變動不居的，時(shí)代在發(fā)展，工具和技術(shù)在進(jìn)步，我們對于事物的認(rèn)知和態(tài)度也會因此發(fā)生變化?！肮ぷ鳌钡亩x也在發(fā)生漂移，生活在 21 世紀(jì)的我們所理解的“工作”，與 16 世紀(jì)紡織工廠工人的認(rèn)知幾乎完全不同，同理，一直處在線上辦公模式中的人，對于工作的認(rèn)知，顯然也會與我們這一代人有很大差別。

這就意味著，我們對“臨場感”這種傳統(tǒng)范式屬性的追尋，很可能缺少合理性的支撐。因?yàn)閷τ谛乱淮蛘哒f下一代工作者來說，他們對工作的認(rèn)知可能就是“分散各地的人們，通過在線協(xié)同工具，相互溝通與協(xié)作，模塊化、流程化完成任務(wù)”，既然遠(yuǎn)程連接能夠提供這些條件，那為什么還要有一個(gè)物理的工作空間呢？為什么還要追求什么“臨場感”呢？

所以，當(dāng)我們討論臨場感時(shí)，要保持警惕，它可能不是未來工作模式中所必須的，避免因?yàn)槭煜?，就覺得必須。不能因?yàn)閭鹘y(tǒng)事物的固有認(rèn)知，限制了我們對新事物的想象。這跟我們對元宇宙等新事物的態(tài)度應(yīng)該是一致的，所有人都在討論元宇宙，但它到底是什么樣貌，不是以現(xiàn)在的技術(shù)形態(tài)為標(biāo)準(zhǔn)的。與其按照舊思維去構(gòu)想，去定義，去框定，不如打開想象空間，不設(shè)限，靜待它自我發(fā)展與延伸，這就可以了。