2020.11.26 현실과 가상, 그 경계면의 스토리텔링

현실과가상,그경계면의스토리텔링
크리에이티브테크놀로지스트신기헌
2020년11월26일패키징버전

지금의변화가운데...
무대와관객,그리고예술은무엇으로정의되는가
https://youtu.be/lJkzGRmdZB8

현실에서의가상에 대한인식

JR au Louver & Le Secret de la Grande Pyramide

현실에서의가상에대한인식인식
별도의카메라나스크린을거치지않고경험되는가상적스토리
https://www.jr-art.net/projects/jr-au-louvre--le-secret-de-la-grande-pyramide
JR au Louver & Le Secret de la Grande Pyramide

현실의조형물과
여러각도에서만나는지점
조형물의내부에서밖으로
나오면서바라보는시점
가상의이미지가
벗겨져현실의표면이
드러난지점
시작되는지점
심하게왜곡되어
보이는지점
투명한가상의
경계면에서있는
사람들의감정

현실에서의가상에대한인식
• 가상공간속의행동이현실공간에서의물리적반응으로연결
http://goo.gl/6Cw1E
Hermes × Tokujin Yoshioka

http://goo.gl/4C7s
• 현실공간에서의사물의움직임이가상공간의이미지와분리
Horizont Kinetic Sculpture

https://youtu.be/EAax4BSKNQU
• 실제시간을알려주는시계로서기능하는가상의시계이미지와캐릭터
Schiphol Airport Clock

현실과가상의구분은우리의불명확한인식으로부터시작
우리가현실이라고믿었던것이가상일수도있고
당연히가상이라고믿었던것이현실일수도있음

가상에서의가상에 대한인식

가상에서의가상에대한인식
카메라,스크린,세트,편집등의과정을거쳐완성되는가상적스토리
최종영상 https://youtu.be/k70OczvX45k
제작영상 https://youtu.be/Ba0u0HgJ6jQ
1단계.넓고 깊게 바라 보기
Apple Homepod TVCF - Welcome Home by Spike Jonze (2018)

2단계.보이지않는 것 보기

• 4차원입체공간(테서랙트,Tesseract)을표현하고자제작된현실속3차원공간
• 4차원의가상적속성을물리적인세트를통해표현하여직접촬영
http://goo.gl/wl0w59
영화인터스텔라(2014)

• 미국화가에드워드호퍼가남긴13개의그림속스토리를모티브로한영화
• 카메라에담긴영상이그림처럼보이게하기위해왜곡된형태의세트를제작
http://goo.gl/EUCdQs
영화셜리에관한모든것(2013)

• 연극을위해자신이살아온공간과사람들을그대로재현하는세트를제작
• 리허설이현실이되고,세트장안에또다른세트장이,배우를연기하는배우가생겨나는순환적구조
영화시네도키,뉴욕(2007)

“오늘하루다시못만날지모르니하루치인사를미리해두죠
GoodMorning,GoodAfternoon,GoodEvening”
• 모든삶이24시간생중계된다는사실을자신만모르고있었던주인공
• 만들어지고조작된가상의사회로서의세트
영화트루먼쇼(1998)

현실과가상경계면의 인식

현실과가상경계면의인식
짧은순간의가상경험 짧은순간의현실인식
Q.명백한가상일지라도만약삶의대부분을
그속에서살아간다면그것은가상일까현실일까

인지되는상태,느껴지는상태(이성,감각)
믿어지는상태,부정되는상태(인식,신념)
혼동되는상태,무시되는상태(몰입,포기)
.
.
.
우리가‘가상’을인식하는상대적대상은‘현실’

가상과현실의경계를구분할수있다고믿지만
그인식이복잡하게뒤섞이는순간
더이상무엇이현실이고가상인지중요치않은...
‘낯선무경계의단계’에들어서게됨

낯선무경계의단계
https://www.thorpepark.com/rides/derren-browns-ghost-train
Thorpe Park - Ghost Train

https://www.thorpepark.com/rides/derren-browns-ghost-train
Thorpe Park - Ghost Train

Derren Brown's Ghost Train - Meet the Demon

https://youtu.be/x25A9KQL730Derren Brown's Ghost Train - Meet the Demon

낯선무경계의단계의구성요소
기술적요소
헤드셋,디스플레이,프로젝션,
홀로그램,사운드,다양한특수효과등
비기술적요소
컨셉,스토리,컨텍스트,관계,신뢰,
관성,몰입,제한된감각,제한된정보등

그러나...반대면과의경계가사라지는상황에서
충분한몰입을위한가상성을제공하기위해서
막대한공간과시간,기술,비용이필요하게됨
경계너머의보이지않는면에서의조작을통해
보여지는면에서의연출의가상성을극대화가능
낯선무경계의단계의구성요소

낯선 무경계단계로서의메타버스

낯선무경계단계로서의메타버스
확장현실기술의발전으로과거가상으로의몰입을전달하기위해필요했던
공간,시간,연결,분리,자극등의경험요소를극단적으로압축하여제공할수있게됨
VR(가상현실)+AR(증강현실)+MR(혼합현실) XR(확장현실)

http://bit.ly/2rh2Ace
다양한형태의메타버스-가상현실
Blake Hudelson - Designing for VR / A Beginners Guide

• 360Tracking-DeskScale-RoomScale-WorldScale으로의체험공간확대
• 클라우드기반의다수사용자의공간데이터연동
• 인공지능기반의공간데이터고도화
Experience Mixed Reality at World Scale

헤드셋
현실세계의시야를차단하고
가상세계에서의시선방향을결정
랜즈
가상세계로의
시야각과공간감을확보
디스플레이
가상세계의
인터페이스와콘텐츠를표시
스피커
현실세계의사운드를차단,
가상세계의사운드를전달
콘트롤러
가상세계의인터페이스나
콘텐츠와상호작용
물리적공간
혼합현실및그전후
경험을위한구동환경
VR경험을위한기본구성요소

다양한형태의메타버스–가상현실
• 실제아티스트의퍼포먼스가가상의아바타를통해환상적인연출의가상세계속에펼쳐짐
• 관객들은VR 헤드셋이나라이브스트리밍을통해가상세계속공연을감상하며 다양한방식으로상호작용
https://wavexr.com
Wave Virtual Concert Live

• 가상공간안에서구현된크로스오버바이올리니스트,린지스털링의퍼포먼스
• 버츄얼콘서트플랫폼Wave에서의실시간공연을통해관람객들로부터$55,000가량을모금
Wave - Lindsey Stirling
https://wavexr.com

• 가상공간안에서구현된크로스오버바이올리니스트,린지스털링의퍼포먼스
https://go.wave.watch/lswave
Wave - Lindsey Stirling

• 가상공간안에서구현된크로스오버 존레전드의퍼포먼스
https://go.wave.watch/johnlegend
Wave - John Legend

• 현실세계의무대와증강현실효과로더해진가상세계의콘텐츠가이음매없이연결된무대연출
• 벽과바닥의디스플레이영상,조명,카메라가 무대위공연자와현실세계에서물리적으로상호작용
Virtual Stage
https://www.disguise.one
다양한형태의메타버스-증강현실

XR Stage

Billie Eilish XR Concert
시각과,청각을넘어서우리의모든감각과인지의증강을통해구현되는압도적현존감

시각과,청각을넘어서우리의모든감각과인지의증강을통해구현되는압도적현존감
Billie Eilish XR Concert

Katy Perry - Daisies Music Video
https://www.disguise.one

• 360Tracking-DeskScale-RoomScale-WorldScale으로의체험공간확대
• 클라우드기반의다수사용자의공간데이터연동
Experience Mixed Reality at World Scale
https://youtu.be/67yLuiSfMWM
다양한형태의메타버스-혼합현실

https://youtu.be/2W4l_kFSX_g
센서와카메라,스크린을통해 구현되는가상적창작환경
Disney's New Lion King Is the VR-Fueled Future of Cinema

'이것은일종의가상프로덕션이라고볼수있는데이를통해감독,연출,배우,조명감독,카메라감독,미술감독,음악
감독등의구성원들이사전에구현되어있는환경의일부가됨으로써,현실에서와가까운감각을통해직접확인하며
소통할수있게된다.배우나사물,배경등의위치,크기,움직임,표정등을프레임에담아낼때는가상의카메라를통해
무한대의테스트가가능하고,환경울구성하는조명이나효과,재질,질감등에대해서는가상의인터페이스상의
파라매터컨트롤을통해실시간으로그결과를확인할수있다.여기에나아가서는최종적인랜더링이미지에대한
포스트프로덕션의결과까지도적용가능하다.가상프로덕션의등장으로이제VR은그자체로결과물인동시에
그것을제작하기위한제작환경이며그것을만들어가는구성원들간의협업과소통의도구로서의의미를가진다.'
판매되고체험될수있는완성된결과물로서의MR
더나은결과물을만들기위한제작의도구로서의MR
제작과정에서의협업과소통을위한도구로서의MR

• 'Immersive'대신'Creative'를강조
• 새로운예술장르로의가능성
The Future of Art is Here
웹사이트 https://www.vive.com/eu/product/cosmos
소개영상 https://youtu.be/5vkqM1hhs3A
메타버스를통한현실의환경과정체성변화

Minecraft Earth
• 현실세계위에증강현실기술을기반으로구현된마인크래프트
• 자신의일상공간을기반으로다른플레이어와협력하고경쟁
• 기존다수플랫폼상의마인크래프트유저에게빠른확산이가능
https://www.minecraft.net/earth
메타버스를통한현실의환경과관계성변화

Dragon Quest Walk
• 포켓몬고와유사한장르의장소특정적RPG게임
• 현실세계의다양한장소및맥락과연계되는퀘스트
• 드래곤퀘스트라는인기시리즈의세계관을활용한높은몰입감
https://www.dragonquest.jp/walk

Catan World Explorers
• 현실공간위에증강현실기술을기반으로구현된인기보드게임카탄
https://www.catanworldexplorers.com

단절을통한몰입
현실의대체
감각적자극중심
가상위치기반
제한된영역기반의배정
연결을통한몰입
현실과의중첩
상황적몰입중심
실제현실위치기반
전체영역기반의생성
.
.
.
.
.
.
메타버스를통한현실의환경과정체성변화

메타버스라는이름의 또 하나의 현실

• 우승팀약190억원,선수1인당 37억의상금규모를기록한초대형E-Sports챔피언십
• 생중계되는방송영상에AR기술을활용함으로써선수들의영웅선택과정에재미를더함
Dota2 The International
http://www.dota2.com/international
새로운산업으로서의메타버스

• 가상공간내에서함께E-Sports경기를즐길수있는관전모드
• 관전하는유저들간에손인사나대화와같은다양한인터랙션이가능
Dota2 VR Hub
https://youtu.be/xzHj1Xx16GA

• 가상의아바타와패션아이템을통해자신을표현하고타유저와소통
• 다수의명품브랜드및샐럽들과의협업을통해메타버스내수익의기회를제공
Genies
https://genies.com

소비주체로서의참여 창작주체로서의참여
콘텐츠로서의혼합현실 서비스로서의혼합현실
일상과 일탈,현실과 가상, VR/AR/MR의
구분이 사라진 낯선무경계 단계로서의 메타버스

https://youtu.be/2MqGrF6JaOM
메타버스로의몰입감강화
VR–AR–MR간의이음매없는연결과소통
Envisioning the Future with Windows Mixed Reality

기술적요소의강화-메타버스를위한공간컴퓨팅(Spacial Computing)
• 거실과같은일상공간위에생성되어덧입혀지는제너레이티브콘텐츠
• 맥락(Context)을기반으로실시간적으로인터랙션요소가변화
Magic Leap World - Undersea
https://youtu.be/NEhz54UNQq0

Magic Leap World - Undersea

기술적요소의강화-혼합현실을위한공간컴퓨팅(Spacial Computing)
• 거실과같은일상공간위에생성되어덧입혀지는제너레이티브콘텐츠
• 맥락(Context)을기반으로실시간적으로인터랙션요소가변화
Dr. Grordbort's Invaders
웹사이트 https://www.magicleap.com/experiences/invaders
소개영상 https://youtu.be/hOASaXLkxug

웹사이트 http://bit.ly/2OOlIqn
소개영상 https://youtu.be/j34lqBh6tuc
Microsoft Azure Spatial Anchors
• 공간적맥락을기반으로다수의디바이스와플랫폼을연결
• 다수의유저가동일한공간에서동일한대상과시선을공유
• 클라우드컴퓨팅기반으로디바이스성능과관계없이동일한퍼포먼스를구현

• iOS의ARKit,Android의ARCore,MagicLeaf,HoloLens등다수디바이스의콘텐츠개발환경지원
• 유니티게임엔진기반의한번의콘텐츠개발로다수의AR플랫폼에동시배포가능
Unity AR Foundation Framework
https://unity.com/unity/features/arfoundation

기술적요소의강화-공간컴퓨팅기반의가상의사운드환경
• 혼합현실기술을기반으로자신이좋아하는음악의인터페이스를원하는위치에자유롭게배치
• 단일채널이아닌사운드의공간감이나위치,방향을가지는다수채널의사운드서비스를구현가능
Spotify on Magic Leap
https://youtu.be/Q89wSw-JUyM

기술적요소의강화-공간컴퓨팅기반의가상의사운드환경
• 헤드폰의모션센서와스마트폰기반의위치데이터를통해모션기반의오디오감상경험을전달
• 선글라스형태의BossFrame등의다수자사제품에스타워즈나라이온킹등의콘텐츠를제공
• 추후AI기반의어시스턴트와의연동을통해사운드기반수집,탐험등의새로운경험으로확장가능
Boss AR / Boss Radar
https://www.bose.com/better_with_bose/augmented_reality.html

공룡,우주등모두,혹은대다수가직접
경험하지못한사실과상상의경계영역
'1969년,인류는정말로달에착륙했을까?'
비기술적요소의강화-혼합현실과현실세계의세계관
컨셉,스토리,컨텍스트,관계,신뢰,관성,제한된감각,
제한된정보등의‘비기술적요소’를통한몰입의극대화

https://youtu.be/C7kbVvpOGdQ
비기술적요소의강화-혼합현실과현실세계의세계관
Jurassic World - Battle at Big Rock

• 리그오브레전드유니버스의세계관속가상의캐릭터를설정으로데뷔
• 유튜브M/V는수십억뷰를기록,전세계다수의음원차트를석권
• 월드챔피언십에서는AR기반의카메라연출과라이브퍼포먼스를선보임
League of Legends Universe - K/DA / True Damage
https://universe.leagueoflegends.com/en_US/kda
비기술적요소의강화–현실을넘어스펙트럼을넓혀가는세계관적발상

• 리그오브레전드유니버스의세계관속가상의캐릭터를설정으로데뷔
• 유튜브M/V는수십억뷰를기록,전세계다수의음원차트를석권
• 월드챔피언십에서는AR기반의카메라연출과라이브퍼포먼스를선보임
League of Legends Universe - K/DA
https://universe.leagueoflegends.com/en_US/kda
비기술적요소의강화–현실을넘어스펙트럼을넓혀가는세계관적발상

• 리그오브레전드캐릭터를모티브로한루이비통의신규시즌라인업
• 현실세계에서판매되는제품을가상세계에서아이템형태로판매
LVXLOL
현실세계에서가상세계로의 가치이동
다양한브랜드,셀럽,서비스,프로덕트와의협업

https://youtu.be/_EPZHi38rZE
• 리그오브레전드캐릭터를모티브로한루이비통의신규시즌라인업
• 현실세계에서판매되는제품을가상세계에서아이템형태로판매
LVXLOL

• 인기FPS게임포트나이트안에서펼쳐지는유명DJ의콘서트
• 유저들은미션을수행하거나비용을지불함으로써아이템과티켓을획득
https://youtu.be/9s83_VxMC6I / https://youtu.be/N9dx4QUigNI
DJ Marshmello Fortnite Concert

Fortnite - Star Wars Live Event

Fortnite - Party Royal Mode

메타버스에서의존재적확장

https://youtu.be/anBRroZWfzI
가상에서현실로,현실에서가상으로의순환
Google Volumetric Performance Capture

Google Volumetric Performance Capture https://youtu.be/anBRroZWfzI

https://tech.fb.com/codec-avatars-facebook-reality-labs
• 현실의나(RealMe)를반영한가상세계의나(VirtualMe)를생성
Facebook Codec Avatars

Residnt Evil Reboot

• 인스타그램팔로워160만을보유한가상의패션인플루언서
• 현실세계의존재와같이다양한채널을통해일상을공유하고팬들과소통
• LA기반의테크스타트업인브러드(Brud)의버츄얼빙기술을통해구현
Lil Miquela (릴미켈라)
https://youtu.be/zE1J9JxqhFo
버츄얼빙(Virtual Being)

• 삼성갤럭시브랜드의신제품홍보를위해 Lil Miquela가팀갤럭시의구성원으로활동
• 가상인물인릴미켈라이외의팀구성원들은모두현실세계의실존인물
• 기묘한이야기의밀리바비브라운,세계적DJ스티브아오키,게임스트리머닌자등
Samsung #TeamGalaxy
웹사이트 http://bit.ly/2pHun5b
소개영상 https://youtu.be/DnNGefHPVy0

• 게임엔진기반의사실적3D그래픽과AI를기반으로현실에가까운사람처럼인지됨
• 상대방에맞춰행동하고창의성을요구하는다양한문제를협력을통해해결가능
AI Agents Mica (마이카)
https://www.magicleap.com/news/op-ed/i-am-mica

Artificial Human Solution - NEON

https://sparkar.facebook.com/ar-studio
디지털스킨,디지털패션
• 직접자신만의AR필터를제작하고사용할수있도록돕는저작도구제공
• Information / Digital Objects / Enhancements 으로서의현실의증강
Facebook Spark AR

Facebook Spark AR
https://youtu.be/yVs76GRI-Fc
https://youtu.be/d789vqCo_-A
Felipe Pantone의 사례
Johanna Jaskowska의 사례

Facebook Spark AR
https://sparkar.facebook.com/ar-studio

텔레프레즌스(Telepresence),소셜프레젠스(Social Presence)
멀리떨어진곳의사람들을
가까이에존재하는것처럼느끼도록연결

Facebook Horizon
• 오큘러스를통해연결되는페이스북의소셜VR월드
• 경험과창작,수익의기회가하나의가상세계안에구현
https://www.oculus.com/facebookhorizon / https://youtu.be/Is8eXZco46Q

'VR은이미친구들과어울리고,게임을하고,영화를볼수있는좋은장소입니다.새로운기술을배우고세상을
탐험할수있는환상적인방법이기도합니다.인간의호기심과연결은이러한각경험의중심이며,Horizon의
핵심이기도합니다.사람들이만나고어울리는번화한마을광장에서시작하여Horizon경험은사람들이새로운
장소를탐험하고,게임을하고,커뮤니티를구축하고,자신의새로운경험을만들수있는상호연결된세상으로
확장됩니다.Horizon에처음들어오기전에사람들은다양한스타일과신체설정으로자신의아바타를
디자인하여모든사람이자신의개성을완전히표현할수있도록합니다.거기에Telepods라는이름의마법같은
포털은사람들을공동의장소로부터모험과탐험으로가득찬새로운세계로데려갈것입니다.'
2019년09월,오큘러스커넥트,마크주커버그키노트

• 현실세계에서는커뮤니티리더로,가상세계에서는큐레이터로활동중
• 하나의주제나관심,변화를위한활동을통해점진적으로영향력을확보
Facebook Horizon - Better World Museum

https://youtu.be/auJJrHgG9Mc
• 가상세계의나(VirtualMe)를원하는곳어느곳에나무한대로전송
• AI기반의TTS(Text-to-Speech)기술을통해언어의제약없이다수의언어로소통가능
The Magic of AI Neural TTS and Holograms

https://tech.fb.com/the-story-behind-oculus-insight-technology
• 공간맵핑을인식을위한SLAM(SimultaneousLocalizationAndMapping)을AI를기반으로인식
• 혼합현실속가상적존재와현실세계의상호작용을위한신체와동작을AI를기반으로인식
Oculus Insight - Powered By AI

https://group.volvocars.com/news/future-mobility/2019/varjo-collaboration
• 높은사야율과선명도를가진바르요의XR-1헤드셋기반의기술
• 운전자의안전을높이기위한혼합현실기반의인터페이스개발중
• 신체의물리적이동시간을체감적으로상쇄하는인포테인먼트의발전방향
Volvo x Varjo

지금의변화가운데...
무대와관객,그리고예술은무엇으로정의되는가

현실과가상,그경계면에서
새로운예술창작의중심으로

Website
Email
https://sites.google.com/site/heavenlydesigner
heavenlydesigner@gmail.com
감사합니다

2020.11.26 현실과 가상, 그 경계면의 스토리텔링

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

2020.11.26 현실과 가상, 그 경계면의 스토리텔링