Unity創(chuàng)造VR中的百萬人的音樂狂歡
Unity創(chuàng)造VR中的百萬人的音樂狂歡
在除夕夜音樂會的后臺工作，是一種怎樣的感覺，本文帶你了解一場突破世界紀(jì)錄的百萬名觀眾音樂狂歡盛宴。
如果音樂會發(fā)生在大流行封鎖期間，觀眾不得不呆在家里，那會怎么樣？
進(jìn)入到虛擬現(xiàn)實(shí)音樂會幾乎可以感受到和親自到場一樣的瘋狂體驗(yàn)——有時甚至更令人興奮。此次音樂狂歡中的數(shù)百萬（虛擬）觀眾同樣也感受到了這一點(diǎn)。
音樂人Jean Michel Jarre 戴著太陽眼鏡和黑色頭帶身處于昏暗的背景中，紅藍(lán)相間的光線照射在他的臉上
此次音樂會的AR/VR負(fù)責(zé)人安東尼·維蒂洛（Antony Vitillo）完整記錄下了讓·米歇爾·雅爾（Jean Michel Jarre）的歡迎來到另一邊（WTTOS）整場音樂會。其中國際電子音樂巨星在巴黎圣母大教堂的虛擬現(xiàn)實(shí)復(fù)制品中進(jìn)行表演，與世界各地的觀眾一起慶祝除夕。
本次音樂會獲得了超過7500萬的瀏覽量，顯然在國際音樂節(jié)獲得了巨大的成功。安東尼和團(tuán)隊使用Unity將所有節(jié)目整合到一起。
三個月的時間限制
三個月對于任何舞臺活動來說都是一個緊迫的時間限——因?yàn)榛I備組需要考慮到燈光設(shè)計、聲音設(shè)計、舞臺視覺效果、煙火和后勤等等一系列方面——對于一個需要軟件開發(fā)的音樂會來說時間更是尤其緊迫。但隨著除夕的臨近，團(tuán)隊在9月啟動了項(xiàng)目，并在10月初積極集結(jié)開始工作。
當(dāng)時其中一位合作者，燈光編導(dǎo)杰萬·莫蘭迪（Jvan Morandi）進(jìn)入這個項(xiàng)目時，他問道，“這個項(xiàng)目定在2021年夏天，對嗎？”但當(dāng)他發(fā)現(xiàn)項(xiàng)目其實(shí)是定在2020年底時，他幾乎沖著安東尼大吼，“你們這些家伙完全瘋了！”
一步一步來
設(shè)計階段
本次音樂會的籌辦團(tuán)隊由虛擬現(xiàn)實(shí)體驗(yàn)公司VrOOm召集，由首席執(zhí)行官路易斯·卡丘托洛（Louis Cacciuttolo）領(lǐng)導(dǎo)，他們以前有在倉促制作中完成項(xiàng)目的經(jīng)驗(yàn)，并且擁有在設(shè)計階段構(gòu)建整體架構(gòu)的思路。在這一階段，本次音樂會的表演者讓·米歇爾·雅爾和各種體驗(yàn)藝術(shù)家決定了整場音樂會將主要注重于于整體外觀和感覺的視覺體驗(yàn)。
圖片展示了“歡迎來到另一世界”音樂會中圣母大教堂的內(nèi)部舞臺構(gòu)建
一旦確定了設(shè)計方向，團(tuán)隊就在選定的事件技術(shù)中進(jìn)行實(shí)驗(yàn)，以了解在現(xiàn)場體驗(yàn)中什么是可行的。
安東尼說：“我們選擇VRChat作為一個平臺，因?yàn)樗俏覀冏钍煜さ钠脚_，我們所有最大的項(xiàng)目都是用它完成的。它是最通用的社交VR技術(shù)之一，同時也讓我們使用了Unity，我們非常了解Unity的使用方法?！?/p>
圖中讓·米歇爾·雅爾彈著鍵盤站在圣母大教堂的虛擬舞臺中央，周圍被火焰效果所環(huán)繞
模擬場景
團(tuán)隊開始使用他們在網(wǎng)上找到的圣母大教堂模型在Unity中組裝場景。他們與意大利設(shè)計公司（MID）的Lapo Germasi和Victor Pukhov合作，對其進(jìn)行簡化和優(yōu)化，以便在VRChat中使用。
創(chuàng)建動畫
文森特·馬森（Vincent Masson）使用4D電影院制作的場景可以讓觀眾在他們周圍看到3D動畫，而約翰·莫蘭迪（Jvan Morandi）則致力于聚光燈動畫。兩人都參與了投射在大教堂墻上的2D視頻貼圖繪制。
圖中虛擬舞者在“歡迎來到另一個世界”音樂會中的圣母大教堂中翩翩起舞
虛擬替身設(shè)計
團(tuán)隊使用Maya創(chuàng)建了一個美輪美奐的讓·米歇爾·雅爾。安東尼的虛擬替身，這并不容易，因?yàn)樗囆g(shù)家的公眾形象非常重要，所以他們必須平衡創(chuàng)造一個既能吸引觀眾又能代表JMJ知名風(fēng)格的化身。
創(chuàng)建虛擬資產(chǎn)
“自從我們使用Unity以來，我們對Unity的所有功能都非常了解，如：3D動畫、虛擬化身、聚光燈、聚光燈下的對象、mp4視頻，以及用適當(dāng)?shù)腢V投射在大教堂的墻上等?！卑矕|尼說。
令人愉悅的藍(lán)色燈光打在圣母大教堂側(cè)面的墻上
動作跟蹤
虛擬替身是使用讓·米歇爾·雅爾身體的真實(shí)動作制作的實(shí)時動畫。與SteamVR兼容的mocap套裝以及跟蹤手套能夠確保其身體動作的準(zhǔn)確性，以再現(xiàn)他演奏電子樂器時復(fù)雜的手部動作。
圖片中讓·米歇爾·雅爾穿戴著與SteamVR兼容的動捕套裝來將自己的動作復(fù)制到虛擬世界中
場景組裝
當(dāng)所有的材料都準(zhǔn)備好了，團(tuán)隊就開始著手于在Unity中組裝它們了，他們開始打磨一切細(xì)節(jié)，并加以優(yōu)化，以在VRChat中擁有良好的表現(xiàn)。讓·米歇爾·雅爾在虛擬現(xiàn)實(shí)中進(jìn)入搭建好的場景，并開始精湛的表演。日耳曼西（Germasi）使用Unity的后期處理效果對場景進(jìn)行了最后的拋光，以平衡大教堂的逼真度和內(nèi)部的視覺效果。
動畫自動化
為了確保場景中的所有元素（視頻投影、彩色聚光燈、道具）都能與節(jié)目中每首歌的節(jié)拍同步，安東尼使用Unity來計時并觸發(fā)每一個動作?！皬?fù)制時間碼并對它們觸發(fā)的每個事件進(jìn)行編程是一項(xiàng)乏味的任務(wù)。但是在Unity中，我能夠創(chuàng)建腳本來處理它。有了編輯器腳本，我可以讀取動畫和燈光觸發(fā)器的所有時間碼的大量CSV，并通過選擇編輯器中的菜單，動態(tài)創(chuàng)建每首歌曲所需的行為。這使得我們的動畫更加容易控制。”安東尼說到。
在“歡迎來的另一個世界”音樂會中所有歌曲所需特效表現(xiàn)的Unity編輯器截圖
面向社交虛擬現(xiàn)實(shí)的優(yōu)化
根據(jù)安東尼的說法，VRChat不僅要求流暢的幀速率（“你一定不想讓人們以20 fps的速度觀看音樂會?！彼f），還要求對文件大小進(jìn)行優(yōu)化?！叭绻w場景重量超過300 Mb，你的用戶會花太多時間下載，有時候這會導(dǎo)致他們死機(jī)，這樣我們的觀眾就不會有良好的體驗(yàn)。”MID的團(tuán)隊專注于優(yōu)化大教堂的幾何形狀，并對貼圖紋理的大小進(jìn)行全面優(yōu)化。
添加交互功能
安東尼與來自MID的Lapo Germasi和Victor Pukhov密切合作，對整個過程進(jìn)行了優(yōu)化，并添加了虛擬系統(tǒng)和交互系統(tǒng)，以模擬現(xiàn)場的沉浸式活動。
所有的臨時化策略：聚光燈、視頻映射和所有的動作都應(yīng)在正確的時間點(diǎn)被觸發(fā)，并與歌曲同步，這需要在VRChat內(nèi)部加入一些具有創(chuàng)造性的解決方案。
互動：互動是用戶參與的必要條件，尤其是在社交平臺上。此外，為了增強(qiáng)虛擬現(xiàn)實(shí)中的存在感，團(tuán)隊添加了一些觀眾在觀看音樂會時可以激活的效果，例如為一些其他觀眾添加一些不一樣的色彩效果。
拍攝視頻所需的所有元素：因?yàn)檫@是一次360度的體驗(yàn)，所以團(tuán)隊不想從單一角度提供平面視頻。安東尼說:“我們實(shí)際上在VRChat內(nèi)部創(chuàng)建了一個復(fù)雜的攝像頭系統(tǒng)，這樣格奧爾基·莫洛托夫（Georgy Molodotsov）和莫德·克拉維爾（Maud Clavier）也可以切換到音樂會的“多攝像頭”版本進(jìn)行直播。他們使用了一個開源項(xiàng)目來初始化相機(jī)系統(tǒng)，VRCLens為手動拍攝的照片添加了景深效果，VoxelKei制作的360度錄像機(jī)頭像能夠用來拍攝全景視頻。
音樂會結(jié)束后的虛擬體驗(yàn)是由俄羅斯XR藝術(shù)家丹尼斯·塞米諾夫（Denis Semionov）設(shè)計的，他用Quill塑造了場景，并開發(fā)了一個簡化版本的圣母大教堂模型，以確保圣母大教堂在遠(yuǎn)景中的呈現(xiàn)。
音樂會后的視覺效果是由MID負(fù)責(zé)優(yōu)化的；安東尼和團(tuán)隊增加了音樂會后的互動（例如，登上齊柏林飛艇進(jìn)行飛行)。
屏幕截圖左邊是現(xiàn)場活動的圖片，右邊是Unity Editor視圖，顯示了聚光燈、視頻映射和所有動作是如何在Unity中觸發(fā)的
虛擬現(xiàn)實(shí)的重要性
曾經(jīng)有一段時間，在設(shè)計階段，有人質(zhì)疑他們是否真的應(yīng)該放棄VR體驗(yàn)，把整個節(jié)目做成一個線性的直播流視頻。但是讓·米歇爾和安東尼以及其他團(tuán)隊成員都認(rèn)為它應(yīng)該出現(xiàn)在虛擬現(xiàn)實(shí)中。這種互動體驗(yàn)，即使只是在電腦屏幕上觀看，也會讓人覺得自己真的在圣母大教堂里面，在除夕夜被其他人所包圍。
最終，該項(xiàng)目積累獲得了超過7500萬次的瀏覽量，在大型實(shí)時虛擬現(xiàn)實(shí)體驗(yàn)中以及許多其他流媒體視頻體驗(yàn)平臺上創(chuàng)造了新的記錄。安東尼說:“我們創(chuàng)造了歷史，完全在虛擬現(xiàn)實(shí)中舉辦了一場大型音樂會，事實(shí)證明，只要你愿意冒險去做，你就能做出不可思議的事情。”
想要了解更多關(guān)于Unity的全新消息與應(yīng)用案例，請繼續(xù)關(guān)注我們的賬號。我們會在第一時間快速整理有關(guān)Unity的全新動態(tài)。歡迎大家關(guān)注轉(zhuǎn)發(fā)~
打印本文
關(guān)閉窗口