UI, UX, 동작인식, Gesture

1. 차별적 UI/UX
(동작인식중심…)
2015.09
Convergence기획팀, SKT
김유신

2. About UI/UX
UI vs. UX
UI ≠ UX ?
UI ≦ UX ?
UI ⇨ UX !
2 / 23
참고: http://story.pxd.co.kr/562

3. About UI/UX
History of HW Interface
Keyboard, Mouse
⇩
Touch screen, Pen
⇩
Natural UI ???
3 / 23

4. Gesture UI/UX
동작인식 이라는 형태도 각기 다른 기술이 다양한 방식으로 활용되어 독특한 UI/UX를 제공하고 있음
• 카메라 이용 – MS Kinect, Leap Motion, Google Project Tango, etc.
• 9축센서 이용 – Ring, Fin, Nod, etc.
• RF / 초음파 등 이용 – Google Project Soli, etc.
• 전기신호(EMG 등) 이용 – Myo, etc.

5. Gesture UI/UX
MS Kinect
Camera
(Structured Light
⇨ Time-of-Flight)
5 / 23
• 이미지 센서를 사용해서 사람의 동작을 인식하고, 마이크를 사용해서 음성을 인식,
Xbox 게임기와 연동하여 동작과 음성으로 게임 진행
• 적외선 레이저빔 프로젝터와 단색 CMOS 센서로 3차원의 Depth 정보 추출
• SDK가 공개됨에 따라서 게임기 컨트롤러를 벗어나 다양한 분야에 활용되고 있음
• MIT Media Lab, Kinect를 이용한 3차원 UI 시연
(http://www.fastcodesign.com/3021522/innovation-by-design/mit-invents-a-
shapeshifting-display-you-can-reach-through-and-touch)
• https://vimeo.com/79179138 (3:41)
참고: https://en.wikipedia.org/wiki/Kinect

6. Gesture UI/UX
Leap Motion
Camera
(Stereo Vision)
6 / 23
• PC와 연결하여 근거리의 손/손가락의 동작을 인식하여 3D 컨트롤
(2개의 IR 카메라와 3개의 IR LED의 조합으로 구동)
• 저렴한 가격($79.99)으로도 초정밀 고해상도(1/100mm)와 빠른 인식 성능 제공
• SDK 제공으로 다양한 응용분야에 활용할 수 있도록 지원 (최근 VR과 연동도 진행 중)
• https://www.youtube.com/watch?v=gby6hGZb3ww (1:11)
참고: https://www.leap-motion.kr/index.php/our-device

7. Gesture UI/UX
Ring
9-axies Sensor
7 / 23
• 검지손가락에 끼우고 움직이면 그것을 감지하여, 동작 명령으로 인식하거나 글자로 인식하게 함
• API와 SDK를 공개하여 다양한 분야에 활용할 수 있도록 할 계획임
• https://www.youtube.com/watch?v=BMIHexUsGL8 (2:41)
• 이와 유사한 제품들이 다수 나오고 있음
- Fin: 엄지손가락에 끼우고, 마치 손가락으로 수학연산을 하듯 동작하면 해당 명령이 수행됨
(https://www.youtube.com/watch?v=iZ6PVBvQf-g (2:36))
- Nod: 검지손가락에 끼우고 터치버튼과 조합하여 다양한 명령을 수행함
(https://www.youtube.com/watch?v=eInQtUCGat4 (1:52))
참고: http://techcrunch.com/2014/02/28/the-ring-input-device-puts-gesture-control-and-home-automation-on-your-finger/

8. Gesture UI/UX
Google Project Soli
Radar (RF)
8 / 23
• RF Radar를 사용해서 손동작에 따라 반사되는 신호의 변화를 측정하여 입력 명령 수행
• 화면의 터치가 아닌, 무형의 공간에서 손가락(엄지와 검지)의 움직임으로 수행하며,
센서의 초소형화를 통하여 Mobile 또는 Wearable 기기에서 널리 활용될 수 있을 것으로 전망
• https://www.youtube.com/watch?v=0QNiZfSsPc0 (3:56)
참고: http://www.engadget.com/2015/05/29/atap-project-soli/

9. Gesture UI/UX
Myo
EMG (전기신호)
9 / 23
• 팔에 착용하는 암밴드 형태로, 근육의 움직임에 따른 전기적 신호를 인식하여 손가락/손/팔의 동작
을 인식함
• SDK를 공개하여 다양한 기기와 앱에 연동하는 사례들을 확장하고 있음
• https://www.youtube.com/watch?v=UL_pDatlLOg (0:50)
• https://www.youtube.com/watch?v=te1RBQQlHz4 (1:13)
참고: https://www.myo.com/

10. Fusion of Multi-modal
동작인식 등은 다른 ‘인식 방법’이나 다른 ‘인식 환경’ 등과 융합되어 활용도와 사용자 경험의 가치 제고
• AR과의 융합 – MIT Smarter Object, etc.
• VR과의 융합 – Oculus Rift & Leap Motion, Oculus Rift & Myo, etc.

11. Fusion of Multi-modal
AR + Gesture
- MIT Smarter Object
- MS Hololens
- OmiTouch
- Cicret Bracelet
- IKEA Concept Kitchen
11 / 23
• MIT Smarter Object: 특정 형태의 object에 대한 control/control label을 AR 방식으로 접목
(https://www.youtube.com/watch?v=UA_HZVmmY84 (3:11))
• MS Hololens: AR Glass와 동작인식 센서를 Head-mount Display 형태로 구현
(https://www.youtube.com/watch?v=aThCr0PsyuA (2:12))
• OmiTouch: 모션 Camera와 Pico Projector를 통해, 신체 부착형 AR 방식 Input 방법 제안
(https://www.youtube.com/watch?v=qawhLXnnlQY (5:46))
• Cicret Bracelet: 손목의 밴드에 Beam Projector와 동작감지 Camera 를 통해 새로운 컨셉 제안
(https://www.youtube.com/watch?v=9J7GpVQCfms (2:44))
• IKEA Concept Kitchen 2025: Projector와 Image Sensor를 통한 Smart Kitchen Table 제안
(https://www.youtube.com/watch?v=qD60cBQOABY (2:36))

12. Fusion of Multi-modal
VR + Gesture
- Oculus Rift
& Leap Motion
- Oculus Rift
& Myo
12 / 23
• Rift & Leap Motion: 3차원 가상공간에 Leap Motion을 통해 현실공간의 손 움직임을
입력 방법으로 구현
(https://www.youtube.com/watch?v=KQ6lTeW-_Ws (0:38))
(https://www.youtube.com/watch?v=bJn5LhoxIdU (0:59))
• Rift & Myo: 3차원 가상공간에 Myo를 통해 현실공간의 손 움직임을 입력 방법으로 구현
(https://www.youtube.com/watch?v=1f_bAXHckUY (1:23))

13. Discussion
So, What…?
Discussion
13 / 23
• 남들은 뭐하나?
• UI 에서 UX 로 고민의 범위를 확장해야…
• 기술보다는 사용성… (그 UI/UX를 왜 적용해야 하는데?)
• 우리가 가져갈 수 있는 차별화 포인트는? (User Context를 이해해야만…)
• 결국은 철학이 있어야…

14. 감사합니다