안녕하세요 광고홍보학 전공 20145061 박형민입니다.
지난 9월 애플은 새로운 아이폰 15 시리즈를 발표하면서 콘솔용 고사양 게임인 [바이오하자드],[어새신크리드]와 같은 게임을 스마트폰에서 구동이 가능해졌다고 말했습니다. 이제 아이폰이 전세대 게이밍 콘솔과 비슷한 퍼포먼스를 보여줄 수 있다는 뜻입니다. 이 놀라운 성과의 바탕에는 애플의 놀라운 칩셋 설계능력이 있기도 하지만, 그 저변에 깔린 Metal3와 MetalFx의 힘이 대부분을 차지하고 있습니다.
MetalFx는 엔비디아의 DLSS, 마이크로소프트의 DirectML와 유사한 '답러닝을 이용한 업스케일링' 기술입니다. 쉽게 말해 FHD화질의 유튜브 영상을 틀면 뉴럴엔진을 활용해 4K영상으로 업스케일링 해 보여줄 수 있는 것입니다. 이러한 업스케일링 기술은 기기의 전력소모량을 감소시켜 발열을 줄이고 플레이타임을 늘려주며, 동일한 조건에서 더 쾌적하거나 더 선명한 화면을 제공해줄 수 있습니다.
스마트폰의 성능은 매년 발전하고 아이폰 프로 시리즈는 이미 맥북 에어의 싱글코어 성능을 뛰어넘었습니다. 하지만 이 성능을 온전히 다 쓸 수 있는 기회는 많지 않았습니다. 그런데 이제 MetalFX를 활용해 애플 실리콘이 탑재된 맥북부터 아이폰까지 그 성능의 한계를 시험해볼 수 있게 된 것입니다.
그런데 사실 저는 게임을 하지 않습니다. 그래서 이 혁신적인 내용을 듣고도 사실 별 감흥이 없었습니다. 그러다 문득 언리얼엔진5가 떠올랐습니다. 언리얼엔진5는 미국의 에픽게임즈에서 2020년에 발표한 리얼타임 3D 제작 툴입니다. 본래 언리얼엔진은 PC, 콘솔용 게임 개발에 많이 사용되어 왔습니다. 그러나 오픈소스로의 전환, 성능의 비약적인 상승으로 현재는 영화, 애니메이션 제작, 실내외 디자인, 건축 프로젝트, 군사 훈련용 프로젝트 등 다양한 시뮬레이션 분야에서 활용되고 있습니다. 이미 우리가 즐기는 수많은 컨텐츠 내에 이 언리얼 엔진이 숨어 있는 것입니다. 언리얼 엔진으로 만들어진 컨텐츠 중 우리에게 가장 친숙한 것은 '유미의 세포들' 일 것 같습니다. 티빙 오리지널 시리즈로 제작된 유미의 세포들 안의 귀여운 캐릭터와 애니메이션은 모두 언리얼엔진을 통해 탄생하였습니다.
언리얼엔진5가 놀라운 툴임에도 불구하고 미디어나 광고 전공의 학생들에게 큰 의미가 없어보일 수 있습니다. 마치 MetalFX 관련 소식을 듣고도 게임을 하지 않아 시큰둥했던 저 처럼 말입니다. 그래서 언리얼엔진5가 가진 나나이트, 루멘, 메타 사운드, 퀵셀의 메가 스캔 등 다양한 장점을 설명드리기 보다는 이 툴을 활용해 어떤 컨텐츠를 만들어낼 수 있는지를 살펴보는것이 이 툴이 가진 잠재력을 좀 더 쉽게 알아볼 수 있을 것 같습니다. 아래 영상을 통해 언리얼엔진 5.2를 활용해서 만들 수 있는 세상을 한번 살펴보겠습니다.
이 영상은 호주의 3D 아티스트 Leo Torres의 작품입니다. 처음 이 영상을 봤을땐 실사영상인 줄 알았습니다. 과연 이런 영상을 만들기 위해선 얼마나 많은 비용이 필요할까요?
놀랍게도 이 영상은 무료로 만들 수 있습니다. 영상 제작자는 몇가지 써드파티 에셋을 사용했지만, 필요하다면 에픽게임즈에서 무료로 제공하는 퀵셀의 메가스캔 에셋만으로도 제작이 가능합니다. 퀵셀은 실제 오브젝트를 스캔한 3D 에셋을 제공하는 업체인데 에픽게임즈에 인수되어 언리얼엔진에 한해 무료로 제공되고 있습니다. 실제 오브젝트를 스캔했다는 특성상 아주 높은 퀄리티의 3D 에셋을 제공하는데, 그 덕분에 영화 라이언킹, 블랙 팬서 등에도 사용되었습니다.
또한 언리얼엔진5는 사실상 개인은 물론 소규모 상업적 프로젝트까지 무료로 사용이 가능합니다. 에픽게임즈는 언리얼엔진 사용에 대해 프로젝트 당 1백만 달러(한화 약 14억원)의 총 매출이 발생한 이후 분기마다 1만 달러(한화 약 1400만원) 이상 발생시 로열티 5% 지불을 정책으로 삼고 있습니다. 이는 기업 단위가 아닌 프로젝트 단위이기 때문에 개인부터 소규모 사업장까지 무료로 사용이 가능한 것입니다.
싸고 좋은 건 알겠는데 그래도 우리가 이걸 알아야 할 필요가 있을까요?
일단은 이 언리얼 엔진을 활용해 만들어진 컨텐츠들을 살펴볼 필요가 있을 것 같습니다. 먼저 GOT7 잭슨 왕의 뮤직비디오 'Cruel'을 살펴보겠습니다. 보시면서 배경화면을 자세히 살펴보시기 바랍니다.
이 뮤직비디오의 배경은 모두 언리얼엔진5로 만들어진 배경입니다. 이 말을 듣고 나면 많은 분들이 그린스크린이 깔린 뮤직비디오 배경화면을 떠올리실 겁니다. 하지만 이 뮤직비디오는 그린스크린이 전혀 사용되지 않았습니다. 그럼 대체 어떻게 촬영했을까요? 답은 간단합니다. 그냥 뒤에 영상을 틀어놓은 것입니다.
이렇게 배경에 3D환경을 구축한 상태로 촬영을 하는 것이 버추얼 프로덕션(Virtual Production)의 한 종류인 OSVP(On-Set Virtual Production)입니다. 이 기법을 인카메라 VFX라고도 부르는데, 기존에 그린스크린 배경 촬영보다 많은 이점이 있습니다. 정말 다양한 이점이 있지만 그 중에서도 대표적인 몇가지를 살펴보겠습니다.
첫 째로 제작자들이 상상에 의존할 필요가 없습니다. 최종 결과물에 추가될 요소들을 상상할 필요 없이 실시간으로 최종 환경의 대략적인 결과를 확인하며 촬영이 가능하기 때문입니다. 최종결과물에 가까운 촬영을 통해 배경에 필요한 부분을 채우고, 불필요한 부분을 지워내는 것 또한 언리얼엔진 내의 환경을 조정하는 것 만으로도 쉽게 가능합니다. 과거에는 배경에 테이블과 소품을 더 두기 위해서 실제로 구해와야 했지만, 인카메라 VFX를 활용하는 지금은 그냥 에셋을 불러와 그대로 적용하면 되는 간단한 일이 된 것입니다.
두 번째로는 배우의 몰입감을 높인다는 것입니다. 그린스크린 앞에서 감정연기를 펼치는 것 보다 실제 환경 앞에서 연기를 펼치는 것이 더 몰입에 도움이 된다는 것은 쉽게 납득이 가능합니다. 게다가 LED스크린이 만들어내는 배경과 배우간의 자연스러운 일체감은 결과물의 퀄리티를 높이는데 큰 도움을 줍니다. 이 두 가지 장점은 하나로 결합되어 배우와 제작진이 실시간으로 작업 결과물을 확인하고 더 좋은 작품을 만들어내는데 도움을 줄 수 있습니다.
세 번째로는 환경을 완벽하게 통제할 수 있다는 것입니다. 제작에 필요한 환경을 찾고, 세트를 조성하고, 적절한 시간을 기다려 촬영을 하던 과거에서 벗어나 언제든지 낮밤을 바꿔가며 원하는 배경에서 촬영이 가능해진 것입니다.
마지막으로 카메라 및 실제 오브젝트가 배경과 상호작용 할 수 있다는 점입니다. 어두운 동굴을 배경으로 하고, 실제 배우가 손전등을 비추면 배경에 그대로 적용된다거나, 카메라 앵글을 돌림에 따라 배경의 구도 또한 실시간으로 변화하는게 가능합니다. 이러한 이점을 통해 간단한 인카메라 VFX 촬영의 경우 후보정이 전혀 필요 없어집니다.
이 외에도 과거에는 한 번 만든 세트를 재사용 하기 위해서는 그대로 보존하거나 해체 후 재조립해야 했지만, 이제는 한 번 만든 배경을 그대로 저장해둘 수 있다거나, 후반 CGI 작업을 통해 여러 요소가 추가되더라도 배우에게 비치는 자연스러운 반사광이 더욱 일체감을 높여준다거나, 로케이션을 시간 변화에 상관없이 원하는 상태 그대로 저장해둘 수 있다거나 하는 등 장점들이 굉장히 많습니다.
이러한 이유로 인카메라 VFX는 현재 많은 영화, 시리즈 제작은 물론 광고 촬영에도 많이 사용되고 있습니다. 디즈니 플러스의 '만달로리안', '오비완 케노비', 내가 그를 만났을 때' 등이 인카메라 VFX로 촬영된 대표적인 사례입니다. 이미 수많은 사례들이 증명하듯 인카메라 VFX는 우리에게 시간과 비용적인 이점과 함께 더욱 높은 퀄리티의 결과물을 보장해주고 있습니다. 그리고 이 기술은 더이상 우리가 광고를 제작할 때 시간, 공간적인 제약이 우리의 상상력을 제한하는 일이 없도록 도와줄 것입니다.
인카메라 VFX와 언리얼 엔진의 결합은 뮤직비디오, 광고, 영화나 시리즈 촬영에 혁신을 가져왔습니다. 그렇다면 라이브 방송은 어떨까요? 미국 최대 방송사 중 하나인 FOX는 4대의 카메라를 위한 16개의 언리얼엔진, AR을 위한 7개의 언리얼엔진, 모니터를 위한 2개의 언리얼엔진을 도입해 방송계에 혁신적인 시도를 했습니다.
지금까지 라이브 방송에서 사용되던 Virtual Set는 그린스크린을 배경으로, 카메라 앵글에 따라 화면 크기만큼 실시간으로 이미지를 합성하는 형태로 사용되었습니다. 때문에 한 카메라 당 한 명 씩 화면을 담당해야하고, 실제 인물과 합성된 배경간의 위화감을 지울 수 없었기 때문에 한계가 있었습니다.
그러던 도중 FOX Sports는 인카메라 VFX의 가능성을 보았고, 간판 프로그램인 FOX NFL Sunday에 이 기술을 도입했습니다. 바닥과 3면의 벽을 모두 LED스크린으로 채우고, 거기에 AR 기술까지 도입하여 소비자들의 시청경험을 완전히 바꾸어 버린 것입니다.
이러한 사례를 통해 우리는 상호작용이 가능한 라이브 방송 환경 또한 빠르게 변화할 것을 예상할 수 있습니다. 그리고 이 변화는 소비자들에게 완전히 새로운 경험을 제공할 수 있습니다. 최근 라스베가스의 새로운 랜드마크가 된 Sphere에서 공연한 U2가 관객들에게 이전에 없는 공연을 선보였던 것 처럼 말입니다. 인카메라 VFX가 적용된 Virtual Set에서 이루어지는 라이브 커머스, 방송, 예능이나 콘서트에서 우리가 무엇을 할 수 있을지 상상해보면 재밌을 것 같습니다.
마지막으로 언리얼엔진과 인공지능의 결합을 살펴보겠습니다. 아래 영상은 언리얼엔진 위에 구글이 가진 3D맵 데이터를 적용하고, 챗GPT를 결합한 사례입니다.
위 영상은 작업물의 컨셉 때문에 도시 하늘을 날아다니지만, 실제로는 1인칭 시점 혹은 3인칭 캐릭터를 생성해 도시를 돌아다닐 수도 있습니다. 비록 구글이 제공하는 3D 타일 자체의 퀄리티는 낮지만 실제 데이터를 언리얼엔진에서 어떻게 활용할 수 있을지에 대해 엿볼 수 있습니다. 단순히 Cesium으로 불러온 구글의 3D맵 타일을 언리얼엔진에 구현하는 방식으로 전세계 어디든지 갈 수 있게 된 것입니다. 이는 단순히 하나의 사례일 뿐, 전세계의 수많은 데이터를 언리얼 엔진에서 활용할 수 있는 방법은 무궁무진합니다.
또한 여기에 ChatGPT를 결합하여 자신의 질문에 대한 대답을 단순히 텍스트가 아닌 3D 환경으로 체험할 수 있도록 제작되었습니다. 이 또한 단순히 하나의 사례일 뿐, AI기업이 제공하는 수많은 API를 활용하면 이전까지 느껴보지 못한 새로운 경험을 소비자들에게 제공할 수 있습니다.
위 여러가지 사례들을 살펴보고 자신의 관심사나 특기에 접목시켜 본다면 정말 수많은 가능성을 찾아 볼 수 있을 것입니다. 특히 환경을 만들어낸다는 점에서 MR(VR+AR)과 결합한다면 온오프라인이 완전히 결합되는 일이 가능할 수 있습니다. 이런 상상이 현실이 된다면 우리는 이전과 전혀 다른 마케팅이 가능해집니다. 예를 들어 완벽히 새로운 경험을 제공하는 패션쇼가 진행된다거나, 새롭게 출시된 차량을 가상현실에서 경험해본다거나, 브랜드의 플래그쉽 스토어가 완전히 변화한다거나, 영화나 시리즈의 팝업스토어에서 맞춤형 환경을 제공한다거나 하는 일이 가능해지는 것입니다.
그리고 이런 변화들은 그리 멀지 않을 것으로 보입니다. OpenAI가 올해 발표한 GPT4는 이미 실제 여러 분야에서 유의미한 활용이 가능한 수준이며 앞으로 더욱 발전할 여지가 있습니다. 언리얼엔진 또한 현재 5.3버전을 통해 많은 부분 개선이 이루어지고 있습니다. 게다가 이미 많은 업체에서 VR기기를 개발하거나 판매하고 있고 메타는 올해 6월 첫 보급형 MR기기를 발표했고 애플 또한 비전프로를 발표했습니다.
한 가지 발목을 잡는게 있다면 바로 모바일 칩셋의 발전속도입니다. 스마트폰은 물론 VR/MR기기 또한 칩셋의 성능에 큰 영향을 받습니다. 좋은 컨텐츠가 있다 하더라도 높은 퀄리티로 실시간 렌더링이 이루어지기 위해서는 칩셋의 영향이 매우 크기 때문입니다. 현재 애플이 이 분야의 절대강자이지만 TSMC의 3나노 공정에 차질이 생기며 향후 2~3년간 정체가 예상됩니다. 퀄컴 역시 스마트폰용 스냅드래곤, MR기기용 XR을 설계하고 있지만 현재 PC환경에서 제작되는 컨텐츠를 모두 즐기기엔 한계가 있습니다.
그러나 이러한 물리적 한계는 딥러닝을 통해 극복될 수 있습니다. 제가 이 포스팅에서 맨 처음 소개해드린 기술이 바로 그것입니다. 높은 퀄리티로 제작된 컨텐츠를 낮은 해상도로 실시간 렌더링하고, 딥러닝을 통해 4K 해상도로 업스케일링할 수 있다면 아주 큰 변화가 일어날 수 있는 것입니다. 물론 모든 컨텐츠가 이러한 업스케일링 기술을 염두해 둔 상태로 개발되어야 큰 효과를 얻을 수 있다는 단점이 있습니다. 그러나 업스케일링 기술의 발전속도와 AI의 발전속도를 고려한다면 이 단점은 큰 장애물이 되지 않을 것 같습니다.
이런 이야기가 조금 먼 미래의 이야기처럼 들릴 수 있습니다. 하지만 우리는 이미 기술의 발전이 우리의 삶을 바꿔놓는 경험을 스마트폰과 ChatGPT를 통해 체감한 경험이 있습니다. 만약 여러분이 5~10년 뒤에 현업에 투입된다면 그 시점에서는 이미 환경이 180도 달라졌을 수도 있습니다. 그렇다면 지금부터 변화할 세상에서 무엇을 기획하고 제작하고 활용해 볼 수 있을지 고민해보는건 어떨까요?
긴 글 읽어주셔서 감사합니다!
https://www.unrealengine.com/ko/explainers/virtual-production/what-is-virtual-production
버추얼 프로덕션이 무엇인가요?
이 리얼타임 알아보기에서 프리비즈, 피치비즈, 테크비즈, 스턴트비즈, ICVFX, 포스트비즈, 버추얼 스카우팅 등 다양한 버추얼 프로덕션 기술에 대해 알아보세요.
www.unrealengine.com
Ratings Roundup: NFL on Fox Averages 19,422,000 Viewers During Regular Season; Largest Viewership Increase on Any Network This S
Ratings Roundup is a rundown of recent rating news and is derived from press releases and reports around the industry. In this week’s edition, FOX ...
www.sportsvideo.org
