放眼未來的技術(shù)“盛宴”
2022年度虛幻引擎技術(shù)開放日(Unreal Open Day)于11月17日-18日首次以線上線下同步的形式舉行。游戲開發(fā)、影視制作的從業(yè)者對虛幻引擎(Unreal Engine)都不陌生,它是由知名游戲公司Epic Games打造的強大游戲開發(fā)平臺,并在今年上半年發(fā)布了UE5正式版。
隨著平臺完善和技術(shù)進步,虛幻引擎的應(yīng)用場景已經(jīng)不再局限于游戲制作,強大的Nanite與Lumen技術(shù),不但為傳統(tǒng)游戲制作中實時渲染和全局動態(tài)光照帶來便利,也讓虛幻引擎拓展應(yīng)用于更多領(lǐng)域。因此,兩天的開放日除了直播間主會場外,還帶來了媒體娛樂、汽車、建筑及仿真四個分會場。
虛幻引擎開放日也是行業(yè)難得的盛會,持續(xù)兩天的活動奉上了二十余場精彩技術(shù)演講,既有Epic Games官方的技術(shù)解讀,也有主流制作公司帶來的精彩案例分享,涵蓋了從UGC、元宇宙、電商購物,到汽車數(shù)字應(yīng)用及當(dāng)下熱門的虛擬影視制作,可謂是一場放眼未來、引領(lǐng)科技發(fā)展的技術(shù)“盛宴”。
揭開虛擬影棚神秘面紗
會上,索尼(中國)有限公司消費電子與專業(yè)系統(tǒng)本部市場總部總監(jiān)茂利憲一、創(chuàng)新解決方案市場部高級經(jīng)理尹旭暉,以及愚見觀池科技有限公司UE虛擬制片技術(shù)總監(jiān)韓冰在演講中分享了大量技術(shù)干貨,從設(shè)備選擇、影棚搭建、技術(shù)調(diào)試到實際拍攝案例分享,多維度解讀了黑彩晶虛擬制片影棚和UE5結(jié)合的相關(guān)經(jīng)驗,并揭開了索尼和觀池聯(lián)合打造的國內(nèi)首個黑彩晶虛擬制作影棚的神秘面紗。
虛幻引擎在游戲領(lǐng)域很早就得以廣泛應(yīng)用,因此二十余場演講中過半都著眼于游戲制作開發(fā),在這樣的情況下,索尼和觀池奉上的黑彩晶虛擬制片影棚和UE5結(jié)合的實戰(zhàn)案例,成為這屆開放日上唯一一個針對虛擬影視制作的分享,應(yīng)該也是虛幻引擎開放日舉辦以來,首次引入虛擬制作分享,有很重要的意義。
秉承“用創(chuàng)意和科技的力量感動世界”的企業(yè)宗旨,索尼多年來在視聽領(lǐng)域持續(xù)深耕,得益于深厚的技術(shù)積淀及產(chǎn)品研發(fā)經(jīng)驗,索尼成為虛擬影視制作的先行者,并積極在虛擬制作領(lǐng)域布局,聯(lián)合觀池一起打造了國內(nèi)首個黑彩晶虛擬制作影棚。
影棚位于上海城市中心愚園路靠近江蘇路,索尼提供了虛擬制作中三個核心產(chǎn)品,分別為拍攝端的索尼CineAltaV 2電影攝影機、監(jiān)看端的索尼HDR監(jiān)視器,以及顯示端索尼專門為虛擬拍攝開發(fā)的黑彩晶B系列LED屏。這三個核心產(chǎn)品從研發(fā)、生產(chǎn)到最終的質(zhì)量控制,都著力于不同設(shè)備間的色彩調(diào)校,應(yīng)用于虛擬制作系統(tǒng)中,在現(xiàn)場經(jīng)過簡單設(shè)置就能完成一整套設(shè)備間的色彩匹配。
LED屏高度5.5米,弧長15米,總面積達到83平米,弧度約在135度,水平分辨率達到9.6K,可以滿足多種拍攝需求,影棚除了搭載先進的UE5系統(tǒng)外,還選用了OptiTrack光學(xué)動作捕捉跟蹤系統(tǒng),通過24個高速攝像頭準確捕捉跟蹤攝影機運動,并同步給UE5,通過低延遲將渲染畫面實時顯示在LED屏上。
而且,索尼工程師全程參與影棚的設(shè)計,并提供了全流程服務(wù)。除了立屏和頂屏,這間影棚還精心設(shè)計了一塊移動LED屏幕,便于攝影師完成雙機拍攝,降低渲染壓力,補充不同機位的拍攝效果,而且還可以完成高質(zhì)量的色彩補光、實時定位等工作。
聯(lián)合Epic Games發(fā)布技術(shù)白皮書
成功不是一蹴而就。索尼進入虛擬制作領(lǐng)域得益于多年的技術(shù)積累和產(chǎn)品研發(fā)經(jīng)驗;虛幻引擎在這個領(lǐng)域的成功運用,同樣經(jīng)過了大量測試和實踐應(yīng)用,Epic Games的合作測試伙伴則首選了索尼。
演講中尹旭暉公開了這個重要信息,索尼和Epic Games針對虛擬應(yīng)用進行了聯(lián)合測試,并發(fā)布技術(shù)白皮書。測試中涵蓋了決定虛擬制作品質(zhì)的三個關(guān)鍵點,索尼設(shè)備都有很好表現(xiàn)。
首先是拍攝LED屏幕時,極易給攝影師帶來困擾的摩爾紋。摩爾紋是物理現(xiàn)象,理論上只能盡量減弱,無法完全消除,由于黑彩晶1.58mm小間距和Micro LED芯片的優(yōu)異表現(xiàn),在索尼CineAltaV電影攝影機的配合下,測試中在較窄范圍內(nèi)摩爾紋才會出現(xiàn),因此攝影師可以把焦點更加貼近LED屏幕拍攝,拓展了拍攝創(chuàng)作的空間。
其次是暗部畫面表現(xiàn)。暗部畫面非?简濴ED屏的實力水準,測試中對比來看,2.8mm LED的部分暗部細節(jié)會丟失,1.5mm LED光照很低的部分則會顏色失真,而黑彩晶LED屏在整個暗場畫面中都忠實表現(xiàn)出了原始素材的細節(jié)和質(zhì)感。
第三點是可視角度。拍攝過程中攝影機不可能一直正對著LED屏幕進行拍攝,會根據(jù)場景需要調(diào)整機位和攝影機與LED屏的角度。側(cè)拍時LED屏幕產(chǎn)生的偏色會對拍攝工作帶來影響,讓畫面失真,因此虛擬拍攝對LED屏幕的側(cè)視角性能有很高要求。
為了應(yīng)對這一點,索尼在研發(fā)上下了功夫,索尼開發(fā)了寬配光技術(shù),并使用自身研發(fā)的表面涂層技術(shù),使得LED在側(cè)視角時都有出色和一致的色彩表現(xiàn)。這項性能也體現(xiàn)在Epic Games的測試中,大角度拍攝時也不容易發(fā)生色彩偏移,可視角的水平垂直達到170度,為虛擬拍攝提供很大便利。
目前虛擬拍攝還處在起步階段,硬件良莠不齊、軟件亟待成熟,在這樣的現(xiàn)狀下,索尼和Epic Games完成這次測試,其意義已超越了測試本身,發(fā)布的技術(shù)白皮書有望成為行業(yè)標桿。
案例分享全是干貨
愚見觀池科技有限公司,是目前中國頭部的商業(yè)視頻制作公司之一,涵蓋了包括視頻內(nèi)容制作及數(shù)字體驗多個領(lǐng)域,服務(wù)過眾多國際品牌。黑彩晶虛擬制作影棚試運營階段,就在索尼和UE虛擬制片團隊的協(xié)助下,共同進行了虛擬場景搭建優(yōu)化以及測試,并隨之完成了TVC的正式拍攝。
觀池UE虛擬制片技術(shù)總監(jiān)韓冰介紹了項目背景,并分享了制作經(jīng)驗。演講過程中播放了某品牌礦泉水的廣告成片,畫面呈現(xiàn)出了不輸于電影級別的質(zhì)感,以及明媚日光、窗外就是沙灘的優(yōu)美風(fēng)景,得益于索尼黑彩晶LED屏的出色表現(xiàn),讓人感覺不到是在虛擬影棚中拍攝。
這個精彩案例有力證明了虛擬制作能為廣告拍攝賦能。韓冰介紹說,商業(yè)TVC往往時間緊迫,通常,導(dǎo)演團隊及美術(shù)部門完成風(fēng)格定調(diào)后,第一時間開始了預(yù)演的制作以及場景內(nèi)容制作,同時在相應(yīng)場景布局完成后確定了鏡頭以及場景道具的具體布置。
準備就緒后,2周后就可以試拍,得益于虛擬拍攝的高效和靈活性,拍攝團隊在次日僅用一天的時間,即可以完成約40個鏡頭的拍攝。由此可見,虛擬拍攝不但可以減輕外聯(lián)選景、道具部門置景的成本和壓力,同時將后期工作前置,有效縮短拍攝流程,未來在影視制作領(lǐng)域也大有作為。
同時韓冰也分享了兩點很有價值的制作經(jīng)驗。
首先是拍攝前要做好充足的準備和各部門的充分溝通,應(yīng)該讓制片團隊盡早了解導(dǎo)演的想法以及預(yù)期,甚至參與部分創(chuàng)意內(nèi)容。盡早完成預(yù)演及技術(shù)驗證,將內(nèi)容和技術(shù)風(fēng)險解決在預(yù)打燈前,而充分溝通和交流則可以讓任何調(diào)整及問題,在第一時間得到相應(yīng)解決。
其次是拍攝過程中的色彩一致性。虛擬拍攝的色彩一致性往往會給拍攝團隊帶來困擾,從拍攝端到顯示端,往往制作過程中的每一個環(huán)節(jié)色彩顯示都不相同,甚至?xí)笙鄰酵。這個問題不僅來自于不同顯示設(shè)備廠商色彩空間的一致性上的差異,還包括無法解決的物理燈珠或液晶發(fā)色的問題。
觀池在拍攝部分沒有采用BT.2020色域,而是使用了索尼CineAltaV 2電影攝影機支持的更寬的色彩空間S.Gamut3,亮度曲線使用了索尼常用的slog3。監(jiān)視器部分則與攝影機的輸出保持一致,得益于索尼CineAltaV2電影攝影機、HDR監(jiān)視器和索尼黑彩晶LED屏具備統(tǒng)一的色彩科學(xué),這次拍攝色彩表現(xiàn)實現(xiàn)了一致性。
韓冰還介紹,業(yè)界也有可以解決色彩一致性的方案,但使用該方案要支付高達百萬美金的費用,以及差不多2個月的校色時間,且僅能對應(yīng)一系列設(shè)備,目前很難投入到實際應(yīng)用。由此可見,搭載索尼核心設(shè)備的虛擬影棚,不但讓虛擬拍攝更高效,還能有效節(jié)約制作和調(diào)試費用。
除了聯(lián)合觀池在國內(nèi)打造了首個黑彩晶虛擬制作影棚外,索尼秉承“讓科技賦能創(chuàng)作者”的使命和愿景,已經(jīng)在全球范圍內(nèi)開啟了虛擬制作影棚布局。目前日本東京的PCL清澄白河BASE黑彩晶虛擬制作影棚和美國SIS索尼創(chuàng)新工作室的虛擬制作影棚都已投入使用,并為廣告、舞臺表演、現(xiàn)場音樂等內(nèi)容提供服務(wù),還完成拍攝了電影短片《凱利安的游戲》。
而在此次開放日的分享中,茂利憲一也表示索尼會將創(chuàng)作者的需求不斷反饋到產(chǎn)品開發(fā)設(shè)計部門,力求打造出更出色、能夠滿足創(chuàng)作者需求的黑彩晶虛擬制作系統(tǒng),并希望索尼和觀池打造的黑彩晶虛擬制作影棚,能作為新時代攝影棚的標桿,助力創(chuàng)作者,為國內(nèi)虛擬制作領(lǐng)域賦能、為行業(yè)做出更大貢獻。