這是上周微軟在IT盛會Ignite 2021上與任天堂合作展示的HoloLens版本《Pokemon Go》。這個版本與此前的移動端版本有所不同，玩家可與寵物小精靈進行直接的互動，而且兩位玩家在現(xiàn)實中相遇，能夠看到彼此的寵物小精靈，來一場寵物小精靈Battle。

相比于《Pokemon Go》，微軟的黑科技“全息傳送”再現(xiàn)更引人關(guān)注，微軟技術(shù)研究員基普曼通過全息投影出現(xiàn)在了大會現(xiàn)場。

無論是HoloLens版本的《Pokemon Go》，還是基普曼的全息投影的實現(xiàn)，都是基于微軟最新推出的服務(wù)平臺Microsoft Mesh。

什么是Microsoft Mesh ？

Mesh作為一個由Azure提供支持的新的混合現(xiàn)實平臺，在此次大會上被微軟正式推出。據(jù)微軟介紹，它將簡化多用戶XR應(yīng)用程序的創(chuàng)建。我們可以將Mesh理解為，是微軟為開發(fā)者提供用來創(chuàng)建多人XR應(yīng)用程序的開發(fā)工具。

Mesh平臺允許處于不同物理位置的人們通過不同類型的設(shè)備，以虛擬形象甚至是全息投影的方式進行協(xié)作、共享，將最具真實感的自己投射在MR世界中與人交流，就像是在真實世界與人互動。

圖源：微軟官網(wǎng)

基普曼表示：“你可以感受到自己與他人進行內(nèi)容共享，或是通過不同MR設(shè)備進行傳送，即使你們并不處在同一個物理位置。”

據(jù)微軟介紹，Mesh是微軟研發(fā)多年的成果，涉及內(nèi)容從手部、眼動追蹤，Hololens的發(fā)展到創(chuàng)建持久性全息圖、創(chuàng)建個性化虛擬形象的人工智能模型。

云計算是微軟的核心業(yè)務(wù)，Mesh的底層就是云計算平臺Azure，受益于其龐大的計算資源、數(shù)據(jù)、人工智能以及MR服務(wù)。

因此Mesh是云計算的進一步擴展，Mesh所支持的全息傳送以及高精度的虛擬人物面部、動作追蹤等，需要云計算去幫助解決運算、硬件、渲染、儲存等諸多問題。

基普曼說：“我們將越來越多的價值建立在智能云Azure。在這些協(xié)作體驗中，其內(nèi)容并存儲在設(shè)備或是應(yīng)用中，而是儲存在云端，需要特殊的鏡頭讓我們?nèi)タ吹剿！?/p>

借助支持Mesh的應(yīng)用，無論地理位置如何，用戶都可使用3D物理模型（無論是小到家具，還是大到噴氣發(fā)動機等等事物）在共享空間以自己虛擬形象或是全息投影形象出現(xiàn)在共享的虛擬空間中，在全息模型上進行協(xié)作。

那微軟為何要推出多用戶XR應(yīng)用程序開發(fā)平臺Mesh？

微軟在介紹中表示MR是繼大型主機、個人電腦、智能手機之后的第四波計算機浪潮，正在成為跨消費與商業(yè)領(lǐng)域的主流。MR將人們從屏幕體驗中解放出來，讓人們可以在自己的空間與人或物產(chǎn)生直接交互。

據(jù)介紹，世界上有數(shù)以億計的用戶通過手機進行過任天堂的MR體驗，《財富》雜志所統(tǒng)計的前五百強組織50%以上曾利用HoloLens等MR解決方案提高投資回報率，促進業(yè)務(wù)發(fā)展。

鑒于此，MR發(fā)展至今能為人們帶來MR體驗的應(yīng)用程序數(shù)量應(yīng)該非?？捎^，然而事實并非如此，因為一些開發(fā)條件限制了開發(fā)人員的MR體驗的開發(fā)，特別是以下4個問題：

1、在MR體驗中呈現(xiàn)具有真實感的人需要大量時間與資源；

2、跨時區(qū)與設(shè)備類型在共享MR空間保持全息圖的穩(wěn)定并非易事；

3、難以將擁有高保真度的3D模型引入MR體驗以支持客戶所擁有的文件格式；

4、在地理位置相對分散的MR會話中，想要同步用戶的動作與表情是一項復(fù)雜的工作。

微軟正是為了解決這些挑戰(zhàn)而推出Mesh：讓開發(fā)人員進行多用戶MR應(yīng)用程序設(shè)計，而無需擔(dān)心復(fù)雜的技術(shù)挑戰(zhàn)。

那Mesh所實現(xiàn)的功能背后是怎樣的技術(shù)在支撐？

Mesh功能呈現(xiàn)及技術(shù)解析

微軟對于Mesh的定位，主要在于打造能夠跨屏幕、自然交互、與真實觀景和人互動的體驗。因此該平臺需要圍繞微軟現(xiàn)有的HoloLens平臺、MR頭顯平臺以及更多常用平臺進行功能設(shè)計。

事實上，Mesh平臺從多個方面定義了未來XR應(yīng)用應(yīng)有的一些特質(zhì)，比如跨平臺支持、基于云端服務(wù)、支持LBA AR等等。每一項功能單拎出來看，都有與之對應(yīng)的企業(yè)及服務(wù)面向一部分特定用戶群體在蓬勃發(fā)展。

圖源：微軟官網(wǎng)

1、與微軟其他平臺、工具相互通

Mesh基于Azure打造，能與微軟其他平臺、工具相互通。借助Azure Active Directory和Microsoft帳戶等身份服務(wù)，在經(jīng)過適當(dāng)身份驗證和授權(quán)后，能將用戶帶入安全且受信任的會話中。Microsoft Graph則可讓用戶將商業(yè)或是消費者空間的內(nèi)容、聯(lián)系等信息接入。而且作為開發(fā)人員，而無需擔(dān)心計費、音視頻傳輸、底層實時管理功能等核心基礎(chǔ)架構(gòu)。

除了核心平臺，微軟由AI支持的關(guān)鍵性功能讓Mesh能通過實現(xiàn)用于MR的大規(guī)模多用戶在線（MMO）場景來解決一些復(fù)雜的技術(shù)挑戰(zhàn)。

2、臨場感

Mesh提到的臨場感主要指兩點，第一點是有代表性的虛擬形象，在多用戶MR體驗中，不同類型設(shè)備使用不同代表性虛擬形象，這些虛擬形象用戶可進行個性化定制。Mesh通過設(shè)備的Inside-out傳感器為用戶提供有代表性的3D虛擬形象并做出呈現(xiàn)。Mesh平臺自帶虛擬形象與自定義制作工具，因此虛擬形象可直接使用。此外，該平臺還可以通過其AI驅(qū)動的動作模型幫助現(xiàn)有的虛擬形象捕獲與用戶動作一致的動作和表情。

第二點是通過Outside-in傳感器實現(xiàn)真實的360度全向拍攝，這些傳感器可進行自定義相機的設(shè)置，比如通過 Mixed Reality Capture Studio將捕獲的3D圖像以高保真度保存下來，或是利用Azure Kinect捕獲深度感應(yīng)用圖像，用以幫助生成全息圖像。

Mixed Reality Capture Studio

當(dāng)全息圖生成后，可在XR頭顯或是手機、PC、平板電腦上啟用基于Mesh開發(fā)的應(yīng)用程序使用全息圖，并將其呈現(xiàn)給用戶。

3、空間地圖

在Mesh到來之前，各種設(shè)備只擁有自己局部世界的地圖，而借助Mesh，這些本地緩存地圖可進行合并與優(yōu)化，形成一個對空間、環(huán)境的全局式了解。這個框架將內(nèi)容進行錨定，視野進行分享，并進行3D協(xié)作。

Mesh幫助創(chuàng)建的地圖精度要高于GPS，甚至是在GPS無法進行定位的空間進行。它有助于交付可以與特定興趣點關(guān)聯(lián)的“世界鎖定全息圖”。此外，Mesh可以生成與給定對象的精確布局和幾何形狀對齊的相同理解，從而使開發(fā)人員可以輕松構(gòu)建可能需要將對象與視覺信息（如指令、服務(wù)記錄，以及其他重要數(shù)據(jù)）完全匹配的可視化信息覆蓋的應(yīng)用程序?qū)ο蟆?/p>

4、全息渲染

全息渲染是智能邊緣云計算和智能云架構(gòu)的典型實例，全息渲染在Mesh的支持下可以對設(shè)備的運算與功耗不做要求的情況下，依然做到高保真度。Mesh允許開發(fā)者為每個場景與模型在本地獨立渲染與通過云連接進行的遠(yuǎn)程渲染之間進行選擇，賦予了開發(fā)者在進行應(yīng)用程序設(shè)計時更高的靈活度，這些應(yīng)用程序可根據(jù)設(shè)備的不同進行延遲與保真度的優(yōu)化。

不僅如此，全息渲染還支持大多數(shù)的3D文件格式，在啟用Mesh的應(yīng)用程序中進行本地渲染，從而解決引入用戶已有3D模型進行協(xié)作的問題。

5、多用戶同步

在虛擬協(xié)作會議中創(chuàng)建全息圖的共同視角，并且進行互相交流對開發(fā)者而言是一個大的挑戰(zhàn)。在Mesh中，共享的內(nèi)容是通過多用戶同步啟用的，這將有助于對參與者姿勢、動作、表情，或是空間中全息圖的變化進行更新。所有這一些都發(fā)生在100毫秒的延遲內(nèi)，無論是在同一個物理空間或是異時區(qū)。Mesh中的空間音頻會對這些功能進行增強，從而在多用戶場景中營造在相同物理空間的感覺。

據(jù)微軟介紹，為了利用這些功能，Mesh會為開發(fā)者提供跨平臺的SDK，以便開發(fā)者針對不同設(shè)備類型進行應(yīng)用程序的創(chuàng)建。目前Mesh與C++與C#一起支持Unity，在接下來的幾個月中，Mesh將會支持Unreal、Babylon以及React Native。除了訪問功能外，SDK還提供預(yù)構(gòu)建的UX結(jié)構(gòu)，供開發(fā)人員在應(yīng)用程序中使用。這將使得開發(fā)人員更快速、簡潔地提供MR體驗。

Mesh平臺的出現(xiàn)，將這一系列新功能集合到一起，共同成為XR應(yīng)用的特質(zhì)呈現(xiàn)。這種整合，將零星的技術(shù)方向化零為整，讓XR的概念逐步具象化，而這正是它的最大貢獻。

Mesh背后，Azure智能云帶來的價值

基于Mesh開發(fā)的XR應(yīng)用程序，能被廣泛的應(yīng)用于多個領(lǐng)域、多個場合，這主要歸功于Azure智能云帶來的價值。

Mesh的虛擬協(xié)作特性，能讓跨時區(qū)的用戶通過數(shù)字化的方式匯聚在一起，共同探討理解有助于更快速地查看數(shù)據(jù)資料，并更好地做出決策。

用戶可進行隨時隨的共同訓(xùn)練，得益于”Holoportation”（全息傳送：微軟公司開發(fā)的3D視頻捕捉系統(tǒng)）、全息共享與可視化功能，合作伙伴無需花費時間與精力在旅途中，便可進行面對面的學(xué)習(xí)。

例如，遠(yuǎn)程醫(yī)療，專家可以看到其他醫(yī)師的診斷，并進行數(shù)據(jù)覆蓋以確保達成共識，更好地解決問題、共同制定決策。設(shè)計師、工程師可共同進行3D設(shè)計，團隊成員可在參與設(shè)計時利用不同設(shè)備進行想法和創(chuàng)造力的分享。無論是在現(xiàn)實中親臨現(xiàn)場，還是通過全息傳輸，同事間都能在內(nèi)容上進行實時協(xié)作。

Mesh的多應(yīng)用場景與基于云計算平臺Azure的性質(zhì)，意味著微軟云計算產(chǎn)業(yè)與MR業(yè)務(wù)的擴展。

微軟技術(shù)研究員亞歷克斯·基普曼（Alex Kipman）表示：“從一開始，這就是混合現(xiàn)實的夢想?！?實際上，您可以感覺自己就像在與共享內(nèi)容的人在同一個地方，或者您可以從不同的混合現(xiàn)實設(shè)備進行傳送，即使在身體不在一起的情況下也可以與人們在一起?！?/p>

他認(rèn)為，伴隨著越來越多的人在Mesh平臺活躍，我們所有人都是參與正在Azure智能云中建立價值的一環(huán)。在這些協(xié)作體驗中，內(nèi)容不在目前用戶的設(shè)備或應(yīng)用程序內(nèi)部。全息內(nèi)容被上傳到到云端，這意味著用戶所佩戴的混合現(xiàn)實設(shè)備只需要負(fù)責(zé)沉浸式的呈現(xiàn)視覺效果和交互即可。對于有限算力的個體而言，這是一種飛躍?！?/p>

最重要的是，隨著XR應(yīng)用在Meah平臺的逐漸發(fā)展和成熟，更多的安全隱患和從未見過的網(wǎng)絡(luò)安全事件開始成為備受矚目的焦點。相比之前，在基于Azure智能云Meah平臺上獲得的新版AltspaceVR體驗，可以使公司能夠使用企業(yè)級安全功能（包括安全登錄，會話管理和隱私合規(guī)性）在虛擬現(xiàn)實中舉行會議和工作聚會。

Azure智能云為Meah容納海量模型場景和人物提供先決條件，這令該平臺與傳統(tǒng)意義上的APP區(qū)分開來。你可以理解為在XR環(huán)境下，這種應(yīng)用間的穿梭更像是一種城市之間的一次旅行，期間不會產(chǎn)生下載的過程，更不會出現(xiàn)硬件算力適配的問題。

實際上，自2020年末開始，各個大廠開始全力推行基于云服務(wù)的平臺服務(wù)策略。其中，Epic的數(shù)字人平臺、HTC的VR社交平臺等等，均先后擁抱云技術(shù)。算力、資源的云端化，將為更加安全、高性價比的XR體驗下放到每個普通消費者身邊，這也是XR產(chǎn)業(yè)普及的曙光。

總結(jié)

微軟在XR方向布局不遺余力，也正如技術(shù)負(fù)責(zé)人Alex Kipman從“海底深處”突然“閃現(xiàn)”，之后用詩般浪漫的念白開場所述—— 一個人做夢只是夢而已， 所有人一起做的夢就叫現(xiàn)實。

錯失移動互聯(lián)網(wǎng)先機的微軟，正在MR領(lǐng)域結(jié)合云計算優(yōu)勢帶著每個人走近未來。Mesh，絕非是錦上添花的存在，如果保持這樣的優(yōu)勢，擁有XR底層開發(fā)系統(tǒng)與云計算支持的微軟或?qū)⒍xXR未來的某些標(biāo)準(zhǔn)。

而隨著蘋果、Facebook等紛紛以不同方向入局，這將為未來的MR產(chǎn)業(yè)帶來極為豐富的生態(tài)。