Presentation at Samsung DMC forum. 2016.10

1. Data Experience
서울대학교 | 융합대학원 | 이중식교수
데이터가 만드는 새로운 사용자경험

2. Data가 Computer다!
어떻게 인터액션 할 것인가?
핵심은
포워드 모델
사용자 경험은
‘행동 담기’와 ‘선제’

3. Data가 Computer다!

4. 이제, Data가 Computer다!
컴퓨팅의 패러다임이 변하고 있다.
메인프레임으로 시작된 컴퓨팅은, PC와 스마트폰을 거쳐 공간에 퍼져있는 IoT를 향하고
있다. 하지만 IoT변화의 핵심은 작은 디바이스가 아니라
끊임 없이 생산되는 엄청나게 많은 데이터(스트림)에 있다.
Mainframe
Computer
Personal
Computer
Smart
Phone
Internet
of Things
Data

5. 1. Data에 이미 답이 있다.
데이터는 인공지능의 필수적인 재료가 된다.
하지만 사물이 데이터화(data-fy)되고, 연결되는 것 자체로도 대부분의 답을 찾을 수 있다.
데이터 속에는 문제(problem)도 답(solution)도 있기 때문이다.
Deep Learning Google Translate

6. 2. Data가 소프트웨어를 만든다
데이터 컴퓨팅이 가져오는 더 중요한 변화는,
데이터가 소프트웨어를 만든(재조정)한다는 점이다.
딥러닝이 OS차원에 탑재되면, 처음에는 어리숙하지만
쓰다보면 사용자를 닮아가는 아주 새로운 기계 경험을 할 수 있게 된다.
Machine Learning 영화 ‘채피’

7. 3. 재목적화 가능해진 Data
지금의 데이터는 규격이 달라 재목적화(repurpose)와 연산이 어렵다.
이를 해결하기 위해 도메인별 데이터 표준과 데이터 플랫폼 경쟁이 치열하다.
우리가 핸들링 할 수 있는 객체의 수준이 데이터(스트림) 수준으로 낮아지고,
처리기술이 고도화되면, 컨수머 컴퓨팅도 새로운 전환을 맞이하게 된다.
Various Wearable Devices
Data
Platform Data remix Usage

8. 핵심은 ‘포워드 모델’

9. 1 세대: 피드포워드 머신
초기의 기계들은 피드포워드 머신이었다.
스위치를 누르면 지정된 룰대로 움직이는 기계들.
시계, 세탁기…
Process Output
pre-defined way
60bpm
딸깍, 딸깍
Input
시작
Feedforward

10. 2세대: 피드백 머신
피드백 머신은 자동제어를 통해 인간의 시간을 확보해 주었다.
냉장고, 밥솥…
프로그래밍의 if then 구문을 생각해 보면 컴퓨터도 피드백 머신의 확장이다.
지금의 ‘사용자 경험’의 대부분은 피드백 머신 조작 경험이다.
Input Output
Feedback
지정
온도
변화
온도
냉각기 제어
Process
Feedback Model

11. 데이터 컴퓨팅에선, 포워드 모델
데이터와 결합된 인공지능 경험의 핵심은 ‘포워드 모델’이다.
쌓여진 데이터는 결과를 미리 예측하고, 나의 행동을 유도한다.
즉, 사용자가 한발짝만 떼면 기계는 움직임을 알아차리고, 미니모델을 돌려 행동을
‘선제(pre-emption)’한다. 사용자는 제안을 수용하거나 무시하며 시스템은 새로운 제안을 한다.
네비게이션의 ‘경로이탈 재탐색’이 가까운 사례이다.
Input Process Output
forward
model
걷자 몸 기울기
몸 기울기 예상
근육 조절
+-
경로 재탐색 중입
니다
Forward Model

12. 선제 pre-emption
데이터를 기반으로 미래를 예측하고 이벤트를 통제하는 사전 억제를
선제라고 한다. 선제는 영화 마이너리티 리포트의 테마이며, 구글무인차는 선제적 방어 운전,
아마존은 데이터를 기반한 ‘사전 배송 anticipatory shipping 특허가 있다.
Google 무인차 데이터스케이프 아마존 사전예측 배송 특허

13. 행동담기
극강의 개인화
선제

14. 행동 담기
포워드 모델이 잘 돌아가기 위해선, 행동을 잘 담아내는게 중요하다.
암묵적인 의도나 모호한 취향을 드러나게 하는 장치도 중요하다.
‘답set’을 얻게 되면, ‘행동set’의 해석이 쉬워지고, 다른 행동set를 분석할 수 있게 된다.
구매 Data
취미 Data
소셜 Data
구매의 답
취미의 답
소셜의 답
행동 set 답 set
애플뮤직 음악추천

15. PIMS 기반 선제 서비스
포워드모델은 의미 있는 ‘선제’를 가능하게 한다.
구글, 애플은 포워드 모델 서비스를 실험 중이다.
사람들은 ‘선제’와 스팸, 알림의 미묘한 차이를 알아챈다. 이는 PIMs(personal
information management)데이터의 고도화된 분석을 근거로 하기 때문이다.
PIMS기반 출발 제안 PIMS기반 사진 태깅 Galaxy S7 PIMS

16. 선제 Pre-emptive 서비스
선제란, 내가 예약하지 않았는데도 알림이 오는 경험이다.
데이터에 의해 예측된 행동과 내 실제 행동이 일치하지 않을때
나로 하여금 ‘조정’을 요청하는 인터액션이다.
코인 파킹 종료 선제

17. 행동 담기 taming
사용자는 행동과 선호를 기계에 담아내야 한다. 그리고 선제에 대한 평가를 해야
한다. 이를 통해 비지도학습(unsupervised learning)을 지도학습(supervised
learning)으로 바뀌어 머신러닝 효율을 높일 수 있다.
빈번한 ‘답주기’를 위해 별도의 하드웨어 키가 필요할 수도 있다.
하드웨어 ‘Like’ 버튼

18. 포워드 모델에 개입
포워드모델이 학습됨에 따라 선제의 효율은 높아진다.
하지만 포워드모델의 내부적 매커니즘은 넌즈시 노출되어야 하며,
사용자는 잘못되어 간다고 생각될때 쉽게 개입(user control)할 수 있어야 한다.
사용 3달
취향 분석율 70%
Initial
20 대 여성 Top 10 브
랜드입니다.
칼하트와 수프림을
추천합니다.
Trained
사용 1일
취향 분석율 20%
Abort
사용 1달로
돌아감

19. 극강의 개인화
포워드 모델은 ‘개인만을’ 위한 것이다.
모든 사람이 다르기 때문에, 포워드 모델은 다른 사람이 쓸 수 없다.
이 메커니즘의 핵심에 ‘디바이스’가 위치한다.
행동셋, 답셋을 담아내는 ‘데이터 엔진’이 필요하며, API를 통해 사업자에게 제공
될때 디바이스 제조사가 데이터의 주도권을 갖게 된다.
행동 담기
선제
평가하기
지시 하기
결과 얻기
누구나를
위한 답
개인을
위한 답
스마트폰 사용경험 데이터컴퓨팅 사용경험

20. Thank you