[Unreal] 언리얼 버추얼 프로덕션 virtual-production

 

기존 프로덕션 과정 전반에 리얼타임 게임 엔진을 활용한 것을 버추얼 프로덕션이라고 부른다.

이번 포스팅은 언리얼 가이드에서 제공하는 문서를 요약하면서, 버추얼 프로덕션의 세계에서 언리얼 엔진의 역할을 알아보고자 한다.

 

Virtual Production Hub - Unreal Engine

버추얼 프로덕션

버추얼 프로덕션은 기술을 사용하여 디지털 세계와 현실 세계를 실시간으로 연결한다.

 

방송 업계에서는 오랫동안 버추얼 프로덕션을 사용하여 라이브 방송 및 이벤트를 위한  리얼타임 그래픽을 제작했다. 

현재는 리얼타임 게임 엔진 기술이 발전한 덕분에, 애니메이션 콘텐츠 제작, 세트 상의 주요 촬영 전후와 촬영 중에 이루어지는 라이브 액션 영화 제작 프로세스의 모든 부문에서 고퀄리티 포토리얼리스틱 또는 스타일라이즈드 리얼타임 그래픽이 핵심 기술로 활용되고 있다.

 

버추얼 프로덕션의 여러 유형

프리비즈, 피치비즈, 테크비즈, 스턴트비즈(액션 디자인), 포스트비즈, 라이브 컴포지팅(시뮬캠), 버추얼 스카우팅, VR 로케이션 스카우팅, 인카메라 VFX(온세트 버추얼 프로덕션)가 포함되어 있다.

 

버추얼 프로덕션 vs 기존의 영화 제작 방식

기존 영화 프로덕션 : 프리 프로덕션(콘셉트 개발과 계획) -> 프로덕션(촬영) -> 마지막 포스트 프로덕션(편집, 컬러 그레이딩, 비주얼 이펙트)으로 이어지는 단방향 프로세스

프로세스가 막바지에 이르기 전에는 통합된 결과물을 알 수 없기 때문에, 수정이 이루어질 경우 시간과 비용이 아주 많이 소요되고 때로는 처음부터 다시 시작해야 하기도 한다. 따라서 영화 제작자가 즉석에서 창의적인 의사결정을 내리는 데 큰 제한이 있다. 

버추얼 프로덕션 : 프리 프로덕션과 최종 결과물 사이의 경계를 허물고 감독, 촬영감독, 프로듀서가 프로덕션 프로세스 초기부터 최종 작품이 완성된 모습을 미리 확인할 수 있어, 신속하고 경제적으로 반복작업할 수 있다. 따라서 창작 의도를 잘 반영하도록 내러티브를 다듬을 수 있어, 시간과 비용을 동시에 절약하면서 향상된 스토리텔링을 전달할 수 있다.

시각화를 위한 버추얼 프로덕션 사용

버추얼 프로덕션에서는 영화 제작자가 라이브 액션 요소와 비주얼 이펙트 또는 애니메이션 콘텐츠 등에 대해 프로덕션 이전, 중간, 이후에 영화의 여러 측면을 시각화할 수 있다. 시각화 프로세스는 다음과 같다.

• 프리비즈
• 피치비즈
• 테크비즈
• 스턴트비즈(액션 디자인)
• 포스트비즈
• 라이브 컴포지팅(시뮬캠

프리비즈 : 프리비주얼라이제이션

3D 프리비주얼라이제이션은 손으로 직접 그린 스토리보드가 발전된 형태이다.

스크립트를 시각적으로 표현하고 다양한 시나리오를 시험하기 위해 촬영이 시작되기 전 컴퓨터로 생성된 이미지(CGI)를 이용하여 주요 비주얼 요소와 액션을 간략하게 그려보는 과정이다. 

 

최소한의 액션 씬에서도 프리비즈는 내러티브를 진전시키는 자세한 스토리 요소를 포함한다.

프리비즈는 라이브 촬영이 필요한 대상에 대한 레퍼런스를 제공한다.

ex) 일부 또는 전체 샷 제작의 계약을 얻기 위해 스튜디오끼리 경쟁하는 VFX 입찰 견본으로 활용

 

기존에 저해상도 캐릭터와 에셋은 편집을 진행하기 전에 오프라인 소프트웨어 패키지에서 렌더링되었다. 오늘날 언리얼 엔진과 같은 게임 엔진을 사용하여 포토리얼한 전체 해상도 에셋을 실시간으로 렌더링할 수 있으므로 영화 제작자는 상상했던 장면을 보다 생생하게 표현하고, 즉석에서 반복작업하고, 결과적으로 더 나은 결정을 내릴 수 있다.

ex) 조익 스튜디오(Zoic Studios)는 언리얼 엔진에서 프리비즈를 진행, 워너 브라더스(Warner Bros)의 TV 시리즈 슈퍼맨과 로이스(Superman & Lois)에서 TV 에피소드의 일정에 맞춰 영화 퀄리티의 액션이 펼쳐지는 비주얼 이펙트 시퀀스를 제작하였다.

https://youtu.be/ECZmV5-3oOc

시각화에서 버추얼 카메라의 역할

프리비즈에서는 버추얼 프로덕션의 다른 여러 단계와 마찬가지로 버추얼 카메라(VCam)를 사용할 수 있다.

이를 통해 영화 제작자는 iPad와 같은 외부 디바이스(실제로 만질 수 있는 물리적 디바이스)에서 언리얼 엔진 속 카메라를 조작하고 그 움직임을 녹화할 수 있다. 이렇게 얻은 카메라 이동은 블로킹에서의 수동 조정을 위한 시작점이나 라이브 액션용 카메라 세팅을 결정하기 위해 뎁스 오브 필드 프리뷰를 제공하는 용도는 물론, 포스트 프로덕션까지 최종 카메라로 사용할 수 있다.

피치비즈

일반적으로 프로젝트가 승인되기 전에 수행되는 프리비즈의 형식이다. 피치비즈는 주요 투자를 유치하기 전에 프로젝트의 의도와 느낌을 이해 관계자에게 선보여서 승인을 받아 내기 위한 목적으로 디자인된다.

ex) 인디 영화 제작자 하즈 둘룰(HaZ Dulull)의 애니메이션 시리즈 배틀수트(Battlesuit) 등에서 사용되었다. 

https://youtu.be/YYRmO0cqebg

테크비즈

테크비즈는 프로덕션 당일에 제작진과 카메라, 크레인, 모션 컨트롤 릭 등 장비를 동원하기 전, 실제 및 디지털 샷에 요구되는 정확한 기술적 조건을 파악하는 데 쓰인다. 테크비즈는 가상 요소를 다룰 때뿐 아니라 크레인 이동 위치 또는 세트에 적합한지 여부까지 특정 로케이션에서 샷 디자인의 구현 가능 여부를 파악하는 데 사용되며, 또한 디지털 현장 세트 대비 실제 세트가 얼마나 필요할지 결정하는 데도 사용된다. 

테크비즈는 창의적인 의사 결정에 사용되지 않으므로, 테크비즈에서는 프리비즈에서보다 훨씬 더 기본적인 에셋이 많이 사용되곤 한다. 이상적으로, 이 시점에는 이미 의사 결정이 내려진 상태여야 한다. 테크비즈의 실질적 가치는 보다 효과적인 촬영을 위해 제작진이 의존할 수 있는 실제 정보를 제공하는 데 있다.

스턴트비즈/액션 디자인

액션 디자인으로도 알려진 스턴트비즈는 실제 스턴트 작업 및 액션 시퀀스를 위해 프리비즈와 테크비즈가 결합된 형태입니다. 이 과정에서는 액션 디자이너가 합을 맞춘 샷을 정밀하게 구성하고, 스턴트 배우와 연기자의 안전을 보장할 수 있도록 높은 수준의 정확성을 갖춰야 한다.

현실 세계의 물리 시뮬레이션을 통합하는 언리얼 엔진을 사용하면 스턴트 제작진이 현실을 최대한 반영하여 시뮬레이션된 샷을 리허설하고 실행할 수 있다. 이에 따라 프로덕션의 효율성이 높아지며 촬영 기간도 감소하는 효과를 기대할 수 있다.

ex) PROXi 버추얼 프로덕션(PROXi Virtual Production)의 설립자 가이 노리스(Guy Norris)와 해리슨 노리스(Harrison Norris)가 수어사이드 스쿼드(The Suicide Squad)에서 언리얼 엔진을 활용하여 액션 디자인과 테크비즈를 수행

https://youtu.be/xjHhWtXBOGM

포스트비즈

포스트비즈는 아직 완성되지 않은, 또는 아직 촬영되지도 않은 라이브 액션 영상의 샷에 비추얼 이펙트를 추가할 때 사용한다. 이러한 샷에는 일반적으로 최종 결과물에서 CGI로 대체되는 그린 스크린 요소가 포함된다. 포스트비즈에서는 VFX 요소의 기존 프리비즈를 재사용하여 실제 영상과 결합하는 경우가 많다. 

포스트비즈를 통해 비주얼 이펙트 팀에게 영화 제작자의 비전을 전달할 수 있다.

 

VFX의 비중이 큰 미완성된 샷이 있다면 편집자가 편집 사항을 취합할 때 더욱 정확한 버전을 제공할 수 있다. 이를 통해 영화 제작자는 아직 최종 VFX가 완성되지 않은 시점에도 비주얼 레퍼런스를 통해 컷을 평가할 수 있고 모든 관계자들의 승인을 얻을 수 있다. 

라이브 컴포지팅/시뮬캠

기본적으로 라이브 액션 영상에 CGI 표현을 결합하여 레퍼런스로 삼는다는 측면에서 포스트비즈와 비슷하지만, 라이브 컴포지팅은 촬영 중에 진행된다.

영화 세트에서 라이브 컴포지팅을 사용한 초창기 예시로는 '시뮬캠'이라는 용어를 만들어낸 제임스 카메론(James Cameron)의 아바타(Avatar) 제작 과정이 있다. 영화 제작자는 이 기법을 이용하여 촬영 중 라이브 액션에 컴포지팅된 CG 요소가 어떻게 표현되는지 확인하고 무엇이 캡처되는지 더 효과적으로 파악할 수 있다. 

일반적으로 라이브 컴포지팅은 퍼포먼스 캡처 데이터로 구동되는 CG 캐릭터를 시각화하는 데 사용된다. 퍼포먼스 캡처 데이터는 라이브로 생성되거나 사전에 녹화되었을 수 있으며, 두 방법을 동시에 활용할 수도 있다.

모션 캡처의 한 가지 형태인 퍼포먼스 캡처는 미세한 얼굴 표정과 손가락 움직임을 비롯한 배우의 연기를 특수 시스템으로 캡처하고 CG 캐릭터에게 전달할 수 있다. 많은 버추얼 프로덕션 프로세스에 퍼포먼스 캡처가 사용되지만, 라이브 컴포지팅을 사용한 예시 중 한 가지로는 Netflix 프로그램 댄스 몬스터스(Dance Monsters)가 있다. 

퍼포먼스 캡처 예시 : 로버트 저메키스(Robert Zemeckis)의  웰컴 투 마웬(Welcome to Marwen)

퍼포먼스 캡처 예시 : 로버트 저메키스(Robert Zemeckis)의  웰컴 투 마웬(Welcome to Marwen)

버추얼 스카우팅

버추얼 프로덕션의 또 다른 측면은 버추얼 스카우팅이다. 감독, 촬영감독, 프로덕션 디자이너 등의 핵심 제작자들은 이 강력한 툴을 활용하여 가상현실(VR) 속의 버추얼 로케이션을 검토할 수 있으며, 이를 통해 세트에 몰입하고 실제와 같은 느낌을 받을 수 있다. 

버추얼 스카우팅을 활용하면 팀이 존 윅 3: 파라벨룸(John Wick: Chapter 3 - Parabellum)에서 작업한 것처럼 세트 디자인과 복잡한 씬을 연출할 수 있다. 버추얼 스카우팅은 일반적으로 세트 드레싱에도 사용된다. 실제 크기의 환경에서 디지털 에셋 위치를 조정할 수 있다.

 

https://youtu.be/fhMXes1Utec

 

VR 로케이션 스카우팅

버추얼 스카우팅을 확장한 것이 VR 로케이션 스카우팅이다. 이 경우, 세트는 실제 공간이다. 팀원 한 명이 실제 장소에 가서 리얼리티캡처 같은 사진측량 툴을 사용하여 씬을 캡처하면 다른 팀원들은 언리얼 엔진에서 버추얼 스카우팅을 진행하며 이를 원격으로 검토할 수 있다. 여러 장소 중에 선택해야 하는 경우, 이런 방식으로 이동에 따른 시간과 비용을 크게 절약할 수 있다.

 

인카메라 VFX(ICVFX)

온세트 버추얼 프로덕션, OSVP라고도 부르는 인카메라 VFX는 최근 많은 언론의 주목을 받고 있는 버추얼 프로덕션의 한 가지 형태이다. 이를 활용한 유명 프로그램으로는 만달로리안(The Mandalorian) 등이 있습니다. 이 기법을 이용하면 리얼타임 엔진으로 생성된 환경이 벽면과 천장에 디스플레이되는 대형 LED 스테이지 또는 볼륨에서 라이브 액션 촬영이 이루어진다. 가장 정교한 LED 볼륨은 스테이지를 완전히 둘러싸는 반구형 돔 형태이며, 하프 큐브 형태이거나 단일 벽면만 존재하는 간단한 스테이지도 있다. 

인카메라 VFX는 배경만 대체하는 것이 아니다. 이 기술은 라이브 및 인터랙티브 방식의 리얼타임 씬을 구현하고, 카메라를 기준으로 이동하여 모든 것이 정확한 시점으로 표시되도록 실제와 같은 시차 이펙트를 만들어 낸다. 또한 LED 디스플레이는 사실적인 라이팅과 리플렉션을 투사하기 때문에 배우들이 씬에 완전히 몰입할 수 있다.

https://www.youtube.com/watch?v=gUnxzVOs3rk

Desert