Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Upcoming SlideShare
인공지능을 위한 뇌과학
Next
Download to read offline and view in fullscreen.

32

Share

Download to read offline

기계 학습의 현재와 미래

Download to read offline

딥러닝을 중심으로 기계 학습의 현재 위치와 미래의 방향에 대해서 살펴보았습니다.

Related Books

Free with a 30 day trial from Scribd

See all

Related Audiobooks

Free with a 30 day trial from Scribd

See all

기계 학습의 현재와 미래

  1. 1. 기계 학습의 현재와 미래 Joon Hee Kim
 KAIST
 Users and Information Lab 1
  2. 2. 소개 • 김준희
 = 카이스트 전산학과 박사 과정 (uilab.kaist.ac.kr, 마지막 학기!!)
 + 코노랩스 (kono.ai, 인공지능 스케쥴링 비서) 리서치 엔지니어 • 연구분야
 베이지안 통계 모델, 텍스트 중심 빅 데이터, 유저 프로파일링 • 가장 최근 연구
 클릭율이 높아지도록 자동으로 헤드라인 단어를 생성하는 기계 학습 모델
 (headline.joonhee.kim, Yahoo! Research, KDD 2016)
  3. 3. 목차 1.딥 러닝 해부학 2.딥 러닝의 최근 동향 3.기계 학습의 도전 과제 4.현재와 미래의 어플리케이션
  4. 4. 1. 딥 러닝 해부학
  5. 5. 딥 러닝 해부학 http://www.asimovinstitute.org/neural-network-zoo/
  6. 6. 딥 러닝 해부학 http://www.asimovinstitute.org/neural-network-zoo/ input cell hidden cell output cell
  7. 7. 딥 러닝 해부학 http://www.asimovinstitute.org/neural-network-zoo/ connection
  8. 8. 딥 러닝 해부학 http://www.asimovinstitute.org/neural-network-zoo/ x1 x2 x3 1 2 3 y y = 1 1 + e x activation function
  9. 9. 딥 러닝 해부학 http://www.asimovinstitute.org/neural-network-zoo/ layer
  10. 10. 딥 러닝 해부학 FFNN feed forward neural network - input, hidden, output layer - 가장 기본적인 네트워크 형태 - 답이 정해져 있는 지도 학습에서 사용 - 다른 네트워크와 결합하여 많이 사용
  11. 11. 딥 러닝 해부학 auto-encoder - input, hidden, output layer - input = output - automatically encode information - 데이터를 적은 차원으로 압축 - 정해진 답이 없는, 비지도 학습에서 사용 - 앞: 인코딩 // 뒤: 디코딩
  12. 12. 잠깐 진짜 해부학! 시각 정보 망막 절세포 - 방향 - 색 - 밝기 외측 슬상핵 - 운동, 깊이 - 색, 형태 V1 - 모서리 - 일반적, 대략적 형태 V2 - 형태 구분 - 형태 기억
  13. 13. 딥 러닝 해부학 CNN convolutional neural network convolution layer - 필터를 사용하여 지역성 학습
 rectifier layer - 신호 처리
 pooling layer - 다운샘플링 (pooling)
 fully-connected layer - 학습
  14. 14. CNN 의 필터
  15. 15. 알파고 학습 순서
 1) 인간 전문가의 데이터
 - 지엽적 요령 파악
 - 지도 학습 정책 2) 스스로와의 싸움
 - 강화 학습 정책
 - 가치 네트워크
 
 학습 도구 a) Monte Carlo Tree Search b) CNN
  16. 16. 딥 러닝 해부학 deconvolutional network - input: 고양이 단어 - output: 고양이 사진
  17. 17. 딥 러닝 해부학 deep convolutional
 inverse graphics networks - auto-encoder + CNN - input: 고양이 사진 - output: 고양이 사진
  18. 18. 자동 색칠
  19. 19. 인풋 정답아웃풋 인풋 정답아웃풋
  20. 20. 화풍 익히기
  21. 21. 딥 러닝 해부학 GAN generative adversarial network - 2개의 네트워크의 경쟁 - 1) 속인다: 그럴싸한 데이터를 만든다 - 2) 맞춘다: 진짜 vs. 가짜
  22. 22. 딥 러닝 해부학 RNN recurrent neural network - 단기 기억
  23. 23. 딥 러닝 해부학 LSTM long/short-term memory - 장기 기억 - 중요한 것을 선택적으로 기억한다 - 필요하지 않은 정보를 잊는다 - 언어 학습, 번역 - 작곡
  24. 24. 자동 번역 CNN (시각) + LSTM (언어)
  25. 25. 챗봇 / 인공지능 비서 LSTM
  26. 26. 2. 딥 러닝의 최근 동향
  27. 27. 현재 딥 러닝의 쟁점 • 딥러닝 + 강화학습의 초강세
 (위) NIPS 학회 참여
 (아래) nvidia 주식
  28. 28. 현재 딥 러닝의 쟁점 (생물학적 직관에 의한) 새로운 레이어 개발 시도
  29. 29. 현재 딥 러닝의 쟁점 다 잘 되네. 그럼 이제 어디에 적용할까? 1. 기존에 있는 걸 더 잘하자: ex. 영상 의학 (시각), 챗봇 (텍스트) 2. 컨벌전스 (여러 도메인 합치기): ex. 적응형 VR (시각 + 텍스트) 3. 완전히 새로운 무언가 = ?
  30. 30. 현재 딥 러닝의 문제점 • 여전히 만연하는 연구의 쏠림 현상
 (or 부익부 빈익빈 or 유행) • 설명되지 않는 잔상 • 더 크게 더 많이가 아닌, 명확한 이론과 방향성이 필요
  31. 31. 2016 학회 동향 • NIPS: 기계 학습, 계산 신경학
 115 / 569 (딥러닝 관련 / 전체 논문) • ICML: 기계 학습
 58 / 322 • KDD: 데이터 마이닝
 10 / 208
  32. 32. 현재 딥 러닝의 도전 과제 • 구조
 새로운 레이어, activation function • 도메인
 새로운 문제, 도메인, 학습법 • 베이지안
 베이지안과 장단점 합치기 • 응용
 강화학습, non-convex optimization, 비전, 텍스트, 시계열 데이터 • 해석
 이게 왜 되지?
  33. 33. NIPS 0 10 20 30 40 구조 도메인 베이지안 응용 설명 • 키워드
 GAN, attention, LSTM,
 생물학적 모델 • Learning what and where to draw
  34. 34. Learning What and Where to Draw GAN 두개의 네트워크가 서로 경쟁 g-net: 최대한 비슷한 이미지 생성 d-net: 진짜와 가짜를 구분
  35. 35. ICML • 키워드
 새로운 레이어, 강화 학습
 Why does X work? • Pixel Recurrent Neural Networks • Dueling Network Architectures
 for Deep Reinforcement Learning 0 6 12 18 24 구조 도메인 베이지안 응용 설명
  36. 36. Pixel Recurrent Neural Networks 목표: 가려진 이미지 재구성 모델: Bi-directional LSTM • 2차원 LSTM 을 구성 • CNN 이 아닌 RNN (LSTM) 을 맥락이라는 의미로 이미지에 적용 • 이미지의 다양한 재구성, 블러 없애기, 화질 증가 등에 사용
  37. 37. Dueling Network Architectures for
 Deep Reinforcement Learning 이때 이렇게 행동해야지 강화학습 = 지금 이런 상황이야 이때 이렇게 행동해야지 - 상황과 행동 따로 학습 - 더 빠른 학습 - 더 효율적인 일반화
  38. 38. KDD • 키워드: 어디에 사용할까? • Transferring Deep Visual Semantic Features
 to Large-Scale Multimodal Learning to Rank 0 2 4 6 8 구조 도메인 베이지안 응용 설명
  39. 39. Transferring Deep Visual Semantic Features to Large-Scale Multimodal Learning to Rank 1. CNN 을 통하여 각 상품의 이미지+텍스트 생성
  40. 40. 2. 유저의 클릭 정보를 통하여 유저의 이미지-텍스트 취향 파악
  41. 41. 3. 기계 학습의 도전 과제
  42. 42. 딥 러닝 • 구조
 새로운 레이어, activation function • 도메인
 새로운 문제, 도메인, 학습법 • 베이지안
 베이지안과 장단점 합치기 • 응용
 강화학습, non-convex optimization, 비전, 텍스트, 시계열 데이터 • 해석
 이게 왜 되지?
  43. 43. 강화 학습 • 이론
 - 현재 알고리즘은 (Q-Learning, Policy Gradients)
 기존의 방법에 딥 러닝에 접목 시킨 정도 • 환경
 - 적은 데이터와 적은 변수로 학습
 - 다자간 학습 • 응용
 - 온라인: 게임 외에 어떻게 사용 할 것인가?
 - 오프라인: 무인 자동차, 드론, 로보틱스 (무한한 실험이 힘 들다)
 - 새로운 적용 분야는?
  44. 44. 자연어 처리 1. 기계적 NLP (현재 위치)
 - 문장 이해, 문장 생성
 - 문맥 파악
 - 기계 번역 2. 인간적 NLP
 - 감정, 뉘앙스, 분위기 분석
 - 사회적 대화 3. 새로운 생각 발생
 - 연구 주제 생성
 - 전략적 생각
 - 시/소설 작성, 몽상
  45. 45. 비젼/음성 • 딥 러닝
 새로운 레이어 구조, 생물학적 힌트 • one shot learning • 비디오 • 언어와 연결 • 멀티미디어 생성 • 아름다움, 유행
  46. 46. 4. 현재와 미래의 어플리케이션
  47. 47. 챗봇 • 개인 AI 비서
 - 모바일, 모바일, 모바일
 - iOS vs. Android 와 동일한 플랫폼의 문제 • 실제 사람의 AI 페르소나
 - 살아 있을때 및 사후에도, 혹은 예전의 위인들도
  48. 48. 의학 • 약학, 유전학 • 영상의학과
 - 암, 뇌, 눈, 폐 진단에서 인간과 비슷 혹은 그 이상
 - 제 3세계 • 정신과
 - 우울증 진단 및 치료 • 진단의학과
 - Watson
 - 치료를 넘어서, 발병 전 예측 및 향후 건강 예측
  49. 49. 엔터테인먼트 • 적응형 VR
 - 생각하는 대로 실시간 시각 정보 생성 • 멀티미디어 추천 / 합성
 - 현재 감정에 맞는 영화, 음악 추천
 - 현재 보고 있는 스포츠 상황에 맞는 배경 음악 합성
 - 자동 요약 및 리플레이 • 여행/관광
 - VR/AR
 - 컨텍스트에 맞는 나레이션 (detour)
  50. 50. 그외 • 금융
 - 개인/회사 리스크 분석 • 교육
 - 학생을 정확히 이해 • 유통, 소상공인
 - 정확한 수요 예측, 컨설팅
  51. 51. Reference • 딥 러닝 구조화 / 시각화
 http://www.asimovinstitute.org/neural-network-zoo/ • 학회
 https://nips.cc/
 http://icml.cc/2016/
 http://www.kdd.org/kdd2016/ • 좋은 딥 러닝 강의들
 - Geoffrey Hinton @ Toronto
 https://www.coursera.org/learn/neural-networks
 - Nando de Freitas @ Oxford
 https://www.cs.ox.ac.uk/people/nando.defreitas/ machinelearning/
 - Deep Learning Summer School
 http://videolectures.net/deeplearning2016_montreal/
  52. 52. Reference • Silver, David, et al. "Mastering the game of Go with deep neural networks and tree search." Nature 529.7587 (2016): 484-489. • Zhang, Richard, Phillip Isola, and Alexei A. Efros. "Colorful Image Colorization." arXiv preprint arXiv:1603.08511 (2016). • Gatys, Leon A., Alexander S. Ecker, and Matthias Bethge. "A neural algorithm of artistic style." arXiv preprint arXiv:1508.06576 (2015). • Reed, Scott E., et al. "Learning what and where to draw." Advances In Neural Information Processing Systems. 2016. • van den Oord, Aaron, Nal Kalchbrenner, and Koray Kavukcuoglu. "Pixel Recurrent Neural Networks." arXiv preprint arXiv:1601.06759 (2016). • Wang, Ziyu, Nando de Freitas, and Marc Lanctot. "Dueling network architectures for deep reinforcement learning." arXiv preprint arXiv:1511.06581 (2015). • Lynch, Corey, Kamelia Aryafar, and Josh Attenberg. "Images Don't Lie: Transferring Deep Visual Semantic Features to Large-Scale Multimodal Learning to Rank." arXiv preprint arXiv:1511.06746 (2015).

  • ssuser97fd50

    Oct. 24, 2018
  • SeonghoPark25

    Oct. 23, 2018
  • GangHeokKim

    Jan. 29, 2018
  • julingks

    Nov. 30, 2017
  • ssuser215764

    Sep. 29, 2017
  • SungHoBryanYoo

    Sep. 7, 2017
  • seung9kang

    Aug. 29, 2017
  • zenithon

    Jul. 3, 2017
  • ssuser6f28c8

    May. 13, 2017
  • baradates

    Feb. 1, 2017
  • ssuser3f16e11

    Jan. 27, 2017
  • JeoungPyoHong

    Jan. 27, 2017
  • ssuser2f1c24

    Jan. 27, 2017
  • DongHyunKim47

    Jan. 27, 2017
  • yich

    Jan. 27, 2017
  • GihoJeong

    Jan. 27, 2017
  • dongholee735

    Jan. 27, 2017
  • hursm

    Jan. 26, 2017
  • ManhuiLee

    Jan. 26, 2017
  • min-hyung-kim-md

    Jan. 26, 2017

딥러닝을 중심으로 기계 학습의 현재 위치와 미래의 방향에 대해서 살펴보았습니다.

Views

Total views

4,682

On Slideshare

0

From embeds

0

Number of embeds

5

Actions

Downloads

200

Shares

0

Comments

0

Likes

32

×