欧美有码视频,一区二区三区四区蜜桃,成人网ww555视频免费看,制服丝袜激情欧洲亚洲

數(shù)字人如何賺取流量?動捕技術與虛幻引擎結合打造虛擬明星組合MAVE:

文章來源: 作者:frank 發(fā)布時間:2023年06月02日 點擊數(shù):

多媒體內(nèi)容制作公司Metaverse Entertainment承襲了Netmarble F&C的技術和Kakao Entertainment的敏銳,具備足夠的能力與基礎設施制作電影和電視劇,創(chuàng)造從視覺特效到虛擬人類的各種內(nèi)容,并將這些IP擴展成各種形式。

虛擬韓流樂隊MAVE:于2023年1月底推出了首部音樂視頻。視頻發(fā)布后,她們在韓國的熱門音樂節(jié)目《Show!音樂中心》中首次亮相,掀起了一陣韓流音樂的新熱潮。MAVE:的角色逼真,動畫惟妙惟肖,最關鍵的是音樂瑯瑯上口——這一切使她們贏得了廣泛的關注。截至撰寫這篇聚焦新聞時,MAVE:的音樂視頻播放量已突破2100萬次,而她們舞臺首秀視頻的觀看記錄也達到了300萬次。MAVE:正在通過電視節(jié)目和社交媒體等各種方式與歌迷交流。

在本文中Metaverse Entertainment的首席技術官兼理事Sungkoo Kang為我們介紹了Metaverse Entertainment如何利用虛幻引擎和MetaHuman創(chuàng)造真實的數(shù)字人類,以及如何在短時間內(nèi)為多個平臺創(chuàng)造內(nèi)容。

組建MAVE:的第一步應該是創(chuàng)造樂隊成員。在創(chuàng)造數(shù)字角色時,你們的目標是什么?

創(chuàng)建四人虛擬樂隊MAVE:時,我們的目標是創(chuàng)造有吸引力的角色,她們都具有嶄新的面孔,在世界上獨一無二。要創(chuàng)造有魅力的角色,僅關注外貌是不夠的,還必須考慮一系列面部表情,以應對不同的情境。因此,我們集中精力,構建并完善了一套管線和技術來實現(xiàn)這一目標。

你們的角色是使用MetaHuman創(chuàng)造的。能否說明一下為什么選擇這項技術?

正如我剛才提到的,除了迷人的外貌,要創(chuàng)造真實可信的角色,最重要的是針對不同的情境,準備一系列精致的面部表情。然而,創(chuàng)建和修改這類面部表情是一項耗時且昂貴的任務,因為它離不開綁定和建模,并且需要反復修正和驗證。因此,Epic基于幾十年數(shù)字人類創(chuàng)造經(jīng)驗開發(fā)出來的MetaHuman技術成了我們的完美選擇。在我們的角色構建管線中,它是至關重要的一環(huán)。

我們能夠通過MetaHuman面部綁定輕松創(chuàng)建我們想要的面部表情,并在角色之間共用動畫。此外,我們還能夠參考Epic Games發(fā)布的《Rig Logic:MetaHuman面部綁定的運行時評估》白皮書,集中精力展開研發(fā)工作(例如,改進控制綁定)。同時,這項技術高度兼容NVIDIA的Audio2Face、iPhone的Live Link Face應用、Faceware和FACEGOOD等外部工具,這使我們能夠共享底層的網(wǎng)格體拓撲結構、UV、關節(jié)結構和功能按鈕,從而應用MetaHuman的動畫,并大幅減少實際制作時間。

你們?yōu)槭裁催x擇將虛幻引擎與MetaHuman搭配在一起使用?

計劃MAVE:項目時,我們深入地思考了項目的定位以及我們希望該虛擬樂隊參加的活動類型。內(nèi)容的制作效率是我們要考慮的頭等大事。大量的活動意味著需要制作大量內(nèi)容,這對制作效率提出了要求。如果無法滿足這種效率,我們可能不得不在視覺質量上做出妥協(xié)。因此我們選擇了虛幻引擎,它不僅能夠提供效率,也帶來了優(yōu)秀的實時渲染質量。我們使用虛幻引擎擴展了MAVE:在各個領域的活動范圍,這包括在短時間內(nèi)制作一段跨媒體音樂視頻,讓她們參與社交媒體活動,并出演即將播出的電視節(jié)目和商業(yè)廣告。

社交媒體是進行交流和創(chuàng)造紐帶的重要渠道,為了利用它實現(xiàn)這些目標,我們需要大量各種形式的優(yōu)質內(nèi)容。因此我們選擇了虛幻引擎,而非其他工具。通過使用虛幻引擎,我們能夠創(chuàng)建各種形式的內(nèi)容,包括逼真的圖像和視頻,用來在多個社交平臺上與歌迷互動。

請介紹一下MAVE:各位角色的創(chuàng)造管線。

MAVE:創(chuàng)造團隊的專業(yè)人才具有各種不同的背景(例如,可能來自游戲和電影行業(yè)),因此團隊成員可以根據(jù)自己的專長,使用不同的DCC工具。舉例而言,具有游戲行業(yè)背景的團隊成員精通實時渲染,而來自媒體與娛樂行業(yè)的成員則擁有視頻媒體制作方面的專業(yè)知識,所以我們建立了特殊的管線,最大限度地發(fā)揮所有團隊成員之間的協(xié)作效果。

這套管線包含角色策劃和角色創(chuàng)建。角色創(chuàng)建可以細分為多個具體的步驟,如建模、創(chuàng)建和綁定面部表情、創(chuàng)造頭發(fā),以及校準身體。

我們會在角色策劃階段設計每位角色的外貌。這個過程離不開與Kakao Entertainment專家的密切合作,在策劃成功的韓流樂隊方面,他們有著豐富的經(jīng)驗。然而,傳統(tǒng)韓流樂隊的成員選拔自現(xiàn)成的練習生人才庫,其外貌由妝容和造型決定。但對于虛擬樂隊而言,我們必須將虛擬人類塑造成有魅力的嶄新人物,我們要關注的不僅僅是其外貌,還有細致的面部表情、動作和語言模式等。

為了彌補這種差別,并提供盡可能接近策劃團隊原來環(huán)境的工作環(huán)境,制作團隊構建了一套管線,允許他們使用GAN網(wǎng)絡自動生成目標圖片,并手動修改或組合特征向量。如此一來,策劃團隊無需從頭開始創(chuàng)造角色的外貌,他們能夠選擇現(xiàn)有的角色,并依據(jù)策劃修改其參數(shù)。在打造成功的韓流樂隊方面,策劃團隊多年來已經(jīng)建立起了成熟的方案,他們通過分享與此相關的深刻見解,為我們提供了幫助。

由于角色風格將直接影響面部模型,在展開面部定義步驟中的建模工作之前,我們與熟悉韓流樂隊服裝和發(fā)型的專業(yè)造型師進行合作,確定了成功的造型。如果我們掃描真正的人類,就能更快地創(chuàng)造出逼真的外貌,但這也會帶來一些問題,比如很難找到看起來完全符合我們心意的人,還會存在肖像權問題。所以我們使用建模工具創(chuàng)造了MAVE:的面孔。

在面部表情的創(chuàng)建和修改步驟中,我們采用自己的工具分析了模型,并利用每個面部區(qū)域的位置和大小信息以及肌肉運動信息自動生成了大約800種面部表情。整個過程差不多就是在輸入基本的網(wǎng)格體類型時自動生成面部表情,與網(wǎng)格體轉MetaHuman插件的功能類似。我們之所以開發(fā)了自己的工具,是因為網(wǎng)格體轉MetaHuman插件當時尚未發(fā)布,在根據(jù)需要修改算法和建立自動化管線方面,它對我們大有幫助。

另外,作為對標準面部表情的補充,我們還構建了一項定制獨特面部表情的功能,以反映角色的個性。添加這些新的面部表情需要合適的綁定,所以我們在虛幻引擎中自動生成了控制綁定,并為角色設置了它們。

頭發(fā)基底是使用Maya的XGen工具集創(chuàng)建的。虛幻引擎使用Groom渲染頭發(fā),這個過程是實時的,但質量非常高,還為我們節(jié)省了大量時間。然而,有時候,我們不能使用Groom,因為我們需要實現(xiàn)更高的性能。為了應對這種情況,我們創(chuàng)建了一款工具,將基于Groom的頭發(fā)轉變成發(fā)片。我們通過自動化方式優(yōu)化了工作流程,在修改和應用發(fā)型時,不再需要手動執(zhí)行任務(例如在轉變發(fā)型的過程中,如果綁定資產(chǎn)不存在,就創(chuàng)建它)。

在身體校準步驟中,我們也采用了自動化技術;我們還利用了幾十種校準形狀,根據(jù)姿勢修改身體形狀。我們開發(fā)了一種新的解算算法,以避免使用Maya徑向基函數(shù)解算器(RBF)時可能出現(xiàn)的問題(包括無法將層次結構應用于插值,以及應用精細設置時更有可能出現(xiàn)的非預期身體形狀)。

此外,通過使用虛幻引擎的物理系統(tǒng)、布料模擬、AnimDynamic節(jié)點以及其他各種解決方案,我們在服裝和配飾中創(chuàng)造出了自然的反應。團隊還利用虛幻引擎對DMX的支持,成功地創(chuàng)造了一座壯觀的舞臺。

(左)應用校準形狀為手部形狀計算插值之前;(右)應用校準形狀之后

籌劃并創(chuàng)造逼真的舞臺,將韓流音樂的激情與虛擬樂隊聯(lián)結在一起肯定充滿困難。這個過程是怎樣的?

為了創(chuàng)作能夠體現(xiàn)韓流情感的音樂視頻,我們與曾實際執(zhí)導過此類視頻的導演、攝影指導、設備操控團隊、搖臂操作員以及真人韓流舞蹈團隊展開了合作。我們還試著重現(xiàn)和提供了一個與傳統(tǒng)流程及條件完全相同的舞臺環(huán)境,讓這支韓流制作團隊能夠充分發(fā)揮其所長。作為這項工作的一部分,我們建造了一座大型(20米×20米×8米)視效中心,以便在像實際音樂視頻布景那樣寬敞的空間中捕捉動作,我們計劃捕捉的不僅僅是演員的表演,還有實際拍攝設備的運動軌跡,這樣一來,我們稍后就可以重現(xiàn)音樂視頻中眩目的運鏡效果。

演員們穿著動作捕捉套裝表演舞蹈,我們像拍攝真正的現(xiàn)場音樂表演那樣,將這一切記錄了下來。這些使用Mo-Sys StarTracker追蹤的攝像機數(shù)據(jù)將用于直接在虛幻引擎中創(chuàng)建最終虛擬表演,營造一種真實可信的感覺。我們在虛幻引擎中預覽了攝像機的角度和演員的動作,這讓我們可以即時在現(xiàn)場檢查結果,然后在Vicon Shogun和虛幻引擎中同布錄制。

錄制的方式也與真正的韓流音樂視頻一樣,同時捕捉了四名成員的表演。我們首先使用攝像機現(xiàn)場拍攝的動作捕捉數(shù)據(jù)編輯剪輯,然后根據(jù)剪輯過的鏡頭整理動作捕捉。這樣一來,我們就能夠重點關注將在最終版本中實際使用的部分。我們得到的動作源自真實的人類,因此它們看上去更自然。

請談談MAVE:即將推出的內(nèi)容,以及Metaverse Entertainment的未來計劃。

作為利用虛幻引擎的虛擬明星,MAVE:正在準備將讓她們在韓流組合中脫穎而出的全新內(nèi)容。

我們計劃通過在電影、電視劇和游戲中使用我們的IP,進一步擴大我們的業(yè)務領域,但與此同時,我們也將繼續(xù)擴展我們在虛擬人類和元宇宙等方面的專長。在這個過程中,我們需要使用虛幻引擎為實時粉絲內(nèi)容、互動內(nèi)容和新媒體等各種內(nèi)容創(chuàng)造堅實的基礎。

主站蜘蛛池模板: 玛纳斯县| 太仆寺旗| 克什克腾旗| 博乐市| 冷水江市| 永新县| 伊金霍洛旗| 新宾| 邳州市| 绵竹市| 体育| 胶州市| 宣汉县| 武清区| 布尔津县| 武威市| 山阴县| 白水县| 靖州| 陕西省| 老河口市| 孝昌县| 扎兰屯市| 连山| 北宁市| 石首市| 称多县| 芷江| 彝良县| 佛教| 时尚| 陆河县| 花莲市| 宜兰市| 丹东市| 临澧县| 宣武区| 定陶县| 文安县| 弥勒县| 峨山|