VR is potentially the biggest transformation of our relationship with technology at least since a personal computer. Different and more powerful mode of interaction Proper superset of all existing means of communication VR will finally allow us to interact with information in a way we are built in to interact with reality! Drives the perceptual system as its built to be driven In the limit, its as big as reality ... or bigger VR is inevitable. But the path it will take depends on a several thousand key people in the computer industry. VR is how we're increasingly going to interact eventually will drive the full capability of our perceptual system the last platform possibly the best opportunity for R&D in our lifetime will likely greatly change the relationship between human and technology

1. Стек%технологий%и%
проблем%в%AR/VR %%
Рыжонков%Василий%
Директор%Центра%мобильных%технологий%
фонда%Сколково%
Основатель%Ассоциации%AR/VR%
Евангелист%технологий%AR/VR%в%России%
Москва,%АСИ,%2016%

2. • VR/AR%%технологии%
разрабатываются%с%60%гг%20%
века%
• AR/VR%–%это%the%next%big%thing%
• AR/VR%наконецYто%позволят%
нам%взаимодействовать%с%
информацией%естественным%
способом%
• AR/VR%неизбежны%%

4. Реальность*=*восприятие*

6. What%is%«real»?%How%do%you%define%«real»?%
If%you%are%talking%about%what%you%can%feel,%what%
you%can%smell,%what%you%can%taste%and%see,%
then%«real»%is%simply%electrical*signals%
interpreted%by%your%brain.%

10. • #blueandblack%
• #goldandwhite%
«It's%fair%to%say%that%our%experience%%
of%the%world%is%illusion.»%

12. Движение*
головы*
Изменение*
восприятия*
Апдейт*
модели*
реальности*

17. Синтез%
Распространение%
Ориентация%в%
пространстве%

20. • Широкий%угол%зрения%
• Отменное%качество%
• Переменная%глубина%фокуса%
• Высокий%динамический%диапазон%
• Эргономика%

21. Параметр* Текущее*состояние* Желаемое*состояние*
Угол%зрения% 110% 220%
Качество%изображения%
%%%Пикселей%на%градус% 10Y15% >120%
%%%%Контрастность% Низкая% Высокая%
%%%%Четкость% Относительно%размыто% Четко%
Переменная%глубина%
фокуса%
Фиксированная% Не%фиксированная%
Высокий%динамический%
диапазон%
2%порядка% 10%порядков%
Эргономика%

23. • RealY~me%трекинг%
• Hap~cs%

25. • Op~cs%%
• Displays%
• Computa~onal%op~cs%
• Control%systems%
• Audio%spa~aliza~on%&%
propaga~on%
• Sensing%&%reconstruc~ng%
• Sensor%technology%
• Sensor%fusion%
• Rendering%
• Anima~on%
• Hap~cs%
• Input,%interac~on%&%
interfaces%
• Material%science%
• Perceptual%psychology%
• User%study%
• Presence%(self,%tele,%
social)%
• Mechanical%
engineering%
• Electrical%engineering%
• Optomechanical%
engineering%
• Machining%
• Programming%
Самое%главное%–%мультидисциплинарные%
исследования%и%разработки%

26. Сферы*улучшений*в*сфере*VR*для*
полного*погружения%
• wide%field%of%view%(immersion,%peripheral%cues,%100Y110%degrees)%
• adequate%resolu~on%(problema~c%for%VR%due%to%wide%FOV,%oneYseventh%the%pixel%density%per%degree%of%a%
wideYscreen%TV%Y%26p,%1080p%works,%more%is%beêer)%
• low%pixel%persistence%(necessary%to%avoid%blurring%with%eye%mo~on,%no%more%than%3%ms)%
• a%high%enough%refresh%rate%(to%avoid%flicker%with%low%persistance,%95%Hz%seems%to%be%sufficient)%
• global%display%(illuminates%all%pixels%simultaneously,%avoid%mo~onYinduced%compression,%stretching,%and%
skewing)%
• op~cs%(only%one%or%at%most%two%lenses%per%eye,%not%enough%to%allow%simultaneous%control%of%focal%
length,%viewing%distance,%size,%distor~on,%various%forms%of%aberra~on)%
• op~cal%callibra~on%(%the%human%visual%system%is%amazingly%sensi~ve%to%devia~ons,%many%problems%are%
impossible%to%iden~fy%un~l%calibra~on%is%done%)%%
• rockYsolid%tracking%(must%support%transla~on%(posi~on%in%x,%y,%z)%and%orienta~on,%posi~on%with%at%least%
mm%accuracy,%orienta~on%with%at%least%quarterYdegree%accuracy,%volume%at%least%1,5%meters%on%a%side)%
• low%latency%(20%ms%mo~onYtoYlastYphoton%works,%25%ms%may%be%good%enough)%

30. • Ведущие%компании%и%корпорации%мира%потратили%
суммарно%с%2012%года%от*5*до*10*миллиардов*
долларов%на%технологии%AR/VR.%
• В%первом%квартале%2016%года%объем%инвестиций%
составил%1.1%миллиарда%долларов%
• 8%из%10%крупнейших%ИТ%корпораций%мира%создали%
лаборатории%по%AR/VR%

31. Центр%виртуальной%реальности%
• Исследовательский%и%прикладной%центр%
технологий%и%применений%AR/VR/MR%
технологий%
• WorldYclass%центр%компетенций%%
• Мультидисциплинарные%исследования%
• Сферы%включают%virtual,%augmented%and%
mixed%reality%(VR/AR/MR),%мобильные%
вычисления,%робототехника,%hap~cs,%
human%centered%design%и%user%experience%
(UX)%

32. Центр%виртуальной%реальности%
Темы*проектов*(технологические*и*в*сферах*применения):*
• Коллаборативные%виртуальные%среды%и%миры%
• 3D%%зрение,%графика,%игры%
• 3D%data%management%
• 3D%user%interfaces%и%взаимодействие%
• Технологии%для%шлемов%
• Симуляторы%для%промышленности,%Научная%визуализация%и%
симуляция%рабочих%процессов,%прототипирование%(6D%
проектирование)%
• Mixed%Reality%симуляции%
• Виртуальные%среды%для%тренировок%и%лаборатории%
• «Серьезные»%игры%
• Новые%формы%взаимодействия%человекYмашина%

33. Центр%виртуальной%реальности%
Cферы%применения:%
• Промышленные%применения%
• Par~cipa~ve%and%userYcentred%design%
• Outage%and%decommissioning%planning%
• Opera~ons%and%maintenance%training%

34. Центр%виртуальной%реальности%
• Ролевая%модель:%
– VRAC%(USA)%hêp://www.vrac.iastate.edu/%
– CERV%(France)%
hêp://www.cerv.fr/?lang=en%
– Halden%VRC%(Denmark)%
hêps://www.ife.no/no/ife/laboratorier/
hvrc1/haldenYvirtualYrealityYcentre%

35. Source: Greenlight VR, UploadVR
Number of VR companies Investments in VR
Top 10 companies in VR based on Total Funding Raised

42. Технические требования:
• Face tracking
• Eye tracking
• Head tracking
• Hands tracking
• Body tracking
• Position tracking
Примените это к
виртуальному аватару:
• Input
• Audio
• Interaction
• Haptics
• Perceptual research :
psychology and other
human factors
Мультимодальные взаимодействия – ключ к VR:
• Цикл обратной связи (видишь объект, трогаешь его, чувствуешь его)
• Соответствие стимулов между разными группами сенсоров