기계 번역기 개발에서 사용되는 기술의 흐름을 살펴보고, 현재 가장 이슈가 되는 Deep Learning의 시대는 어떻게 오게 되었을까를 고민해 보았습니다. 과연 SF 영화에서 보던 인공지능 시대가 올 수 있을런지 자문해 보았습니다.

1. 이상호
AI사업단, SK텔레콤

2. 이런 물건이 나올 것이라고는 생각하지 못했다.
도대체 무엇이 가능하게 만든걸까?
기술적 관점에서 Deep Learning의 의미?
Deep Learning으로 잘 안 풀리는 문제?
현 시대의 사용자 관점에서 인공지능이란?
SF 영화 속의 인공지능 시대는 정말 올까?
1
I.
II.
III.
IV.
V.
VI.

3. 이런 물건이 나올 것이라고는
생각하지 못했다.

4. The World's First Wearable Translator
for Travelers
(From https://iamili.com)
- No Wi-Fi needed
- Multi-language support
- Instant translation

5. 1965 <서기 2000년대 생활의 이모저모> (이정문)
(From 네이버 블로그 한국만화의 역사(4))

6. Machine Translation: Past, Present, Future (1986)
W. J. Hutchins
(From http://www.amazon.com)

7. Computational Linguistics 1993
𝑒 = arg max
𝑒
𝑃(𝑒|𝑓)

8. Cambridge University Press (2010)
(From http://www.statmt.org/book/)
(From http://www.statmt.org/book/slides/05-
phrase-based-models.pdf)

9. 계속 통계적 방법이 연구되는가 싶었는데,
Deep Learning이 등장하더니
기계번역 영역에서도 Deep Learning을 이용하기 시작했다.

10. (From https://arxiv.org/abs/1609.08144 2016)

11. 나는 5,000원을 받고 당신에게 책을 주었다.
=
=
=?
당신은 5,000원을 나에게 주고 나는 책을 주었다.
당신은 5,000원을 나에게 주고 나로부터 책을 받았다.
책은 나로부터 당신에게 갔고 5,000원이 당신으로부터 나에게 왔다.
심벌로 표현되는 것 그 밑의 의미표현은 무엇일까?

12. (From https://arxiv.org/pdf/1406.1078.pdf 2014)
동일한 의미의 다른 표현을
정규화할 수 있다.

13. 이런 시대를 가능케 한
근원적 요인들은 뭘까?

14. Data
Model
Hardware

15. Data
Model
Hardware
Internet
GPU
Deep Learning

16. Data
Model
Hardware
Internet
GPU
AI의 겨울을 참아낸 연구자들의 믿음
공유, 개방을 통해 발전된다는 믿음/문화
게임 산업의 발전
Deep Learning

17. 기술적 관점에서
Deep Learning의 의미?

18. Hidden Layer를 많이 두면
성능이 올라가지 않을까?
(From http://deeplearning.net/tutorial/deeplearning.pdf)
이상하게 안 올라간다.
Pre-training 단계를 두자
성능 향상을 이룸
(G. Hinton 2006)
Layer를 많이 둔 Neural Network = Deep Learning

21. ?

23. 1억 4천만 모델 변수 이용
(ICLR 2015)

24. 초당 20 와트 소비
1920 CPU
280 GPU
1백만 와트 소비
http://www.asiae.co.kr/news/view.htm?idxno=2016031013333171281
https://jacquesmattheij.com/another-way-of-looking-at-lee-sedol-vs-alphago

25. Deep Learning으로 잘 안 풀리는 문제?

26. (From Computational Linguistics, January 7, 2016)
Deep Learning이 유행하면서 모두들 경쟁하듯이
Deep Learning으로 자연어처리 문제를 해결하려고 하는데,
자연어처리는 “언어 기술의 도메인 과학”이다.
인간의 언어 구조를 고민해야지
숫자 경쟁에 뛰어들지 마라.

27. Deep Learning
Conventional
Method
Object Recognition
Dialogue Management
Acoustic Modeling
Machine Translation
Recommendation
Text-To-Speech
Natural Language
Understanding
거대한 양의 순수 대화자료 수집은 불가능하다.
진정한 대화를 위해서는 “행복”과 같은 단어의 의미를 알아야 한다.
“행복”이란 단어는 우리의 뇌에 어떻게 표현되고 있을까?

28. 현 시대의 사용자 관점에서
인공지능이란?

30. (From http://blog.naver.com/bluewater_33/140177974111)

32. Text
음성인식/합성
Semantic Form
자연어 이해/
자연어 합성
검색
사용자 행동
추천
크롤
“내일 날씨 어때?”
“내일은 비가 오겠습니다”
AskWeather(Day=tomorrow)
사용자 상태
InformWeather(Day=tomorrow, weather=rainy)
“내일 날씨 어때?”
“내일은 비가 오겠습니다”

33. 정말 SF 영화 속 인공지능 시대는 올까?

34. Yehoshua Bar-Hillel, MIT에서 1951년에 최초로 기계번역 연구 (From Wikipedia)
IBM Shoebox, 1962년 세계박람회에서 시연 (From https://www-03.ibm.com)

35. (From Wikipedia) (From http://scicurious.scientopia.org)
모델변수 1.4억개 << 뉴론 수 1천억개

36. 결국은 규모의 문제일 뿐
규모의 문제가 해결될 때 진정한 인공지능을 할 수 있는
기계가 등장할 것
그리고 지구가 둥글다는 것을 알게 되는 것처럼 인간 ‘지능’이라는 것에 대한
신비감도 사라질 것

37. 감사합니다.