Recommandé
Recommandé
Contenu connexe
En vedette
En vedette (20)
Deep learning: technology overview and trends
- 1. Deep Learning Обзор технологии и трендов Дмитрий Коробченко
- 2. 2
- 5. 5 Машинное обучение Данные Обучение без учителя unsupervised Обучение с подкреплением reinforcement Обучение с учителем supervised Неразмеченные данные Данные о вознаграждении Данные с метками
- 11. 11 Нейронные сети Нейрон ∑ 𝒙 𝟏 𝒙 𝒏 𝒘 𝟏 𝑦 𝒘 𝒏 𝑦 = 𝑓 𝑖 𝑤𝑖 𝑥𝑖
- 12. 12 Нейронные сети ПерсептронНейрон ∑ 𝒙 𝟏 𝒙 𝒏 𝒘 𝟏 𝑦 𝒘 𝒏 𝑦 = 𝑓 𝑖 𝑤𝑖 𝑥𝑖
- 13. 13 Нейронные сети ПерсептронНейрон ∑ 𝑦 = 𝑓 𝑖 𝑤𝑖 𝑥𝑖 𝒙 𝟏 𝒙 𝒏 𝒘 𝟏 𝑦 𝒘 𝒏 𝐻 = 𝑓 𝑊1 𝑋 𝑾 𝟏 𝑾 𝟐 𝑋 𝐻 𝑌 𝑌 = 𝑓 𝑊2 𝐻
- 14. 14 Нейронные сети 𝑋 𝑘 = 𝑓 𝑊𝑘 𝑋 𝑘−1 𝑾 𝟏 𝑿 𝟎 𝑿 𝟏 𝑾 𝟐 𝑿 𝟐 𝑾 𝟑 𝑿 𝟑 𝑾 𝟒 𝑿 𝟒 Прямое распространение Слой 0 Слой 1 Слой 2 Слой 3 Слой 4
- 15. 15 Нейронные сети 𝑋 𝑘 = 𝑓 𝑊𝑘 𝑋 𝑘−1 𝑾 𝟏 𝑿 𝟎 𝑿 𝟏 𝑾 𝟐 𝑿 𝟐 𝑾 𝟑 𝑿 𝟑 𝑾 𝟒 𝑿 𝟒 Прямое распространение 𝑋 𝑁 = 𝐺 𝑊 𝑋0 Слой 0 Слой 1 Слой 2 Слой 3 Слой 4
- 16. 16 Нейронные сети: обучение • Обучение с учителем (на примерах) 𝒁 𝟏 , 𝑫 𝟏 … Обучающая выборка 𝒁 𝟐 , 𝑫 𝟐 𝒁 𝑷 , 𝑫 𝑷
- 17. 17 Нейронные сети: обучение • Обучение с учителем (на примерах) 𝒁 𝟏 , 𝑫 𝟏 … Обучающая выборка 𝒁 𝟐 , 𝑫 𝟐 𝒁 𝑷 , 𝑫 𝑷 Обучение
- 18. 18 Нейронные сети: обучение • Обучение с учителем (на примерах) 𝒁 𝟏 , 𝑫 𝟏 … Обучающая выборка 𝒁 𝟐 , 𝑫 𝟐 𝒁 𝑷 , 𝑫 𝑷 Обучение Найти 𝑊: 𝒁𝒊 𝑫𝒊 𝐺 𝑊
- 19. 19 Нейронные сети: обучение • Обучение с учителем (на примерах) 𝒁 𝟏 , 𝑫 𝟏 … Обучающая выборка 𝒁 𝟐 , 𝑫 𝟐 𝒁 𝑷 , 𝑫 𝑷 Обучение Найти 𝑊: 𝒁𝒊 𝑫𝒊 𝐺 𝑊 𝑊∗ = argmin 𝑊 𝐸(𝑊) 𝐸 = 𝐷 − 𝐺 𝑊(𝑍) 2
- 20. 20 Нейронные сети: обучение • Градиентный спуск • Итерационный процесс 𝑊∗ 𝐸 𝑊 − 𝜕𝐸 𝜕𝑊 𝑊 𝑡+1 = 𝑊 𝑡 − 𝛼 𝜕𝐸 𝜕𝑊 𝑊 𝑡 𝑊 𝑡
- 21. 21 Нейронные сети: обучение • Стохастический градиентный спуск На итерации t: 𝒁 𝒕 𝑫 𝒕 Образец
- 22. 22 Нейронные сети: обучение • Стохастический градиентный спуск На итерации t: 𝒁 𝒕 𝑫 𝒕 Образец 𝑊 𝑡
- 23. 23 Нейронные сети: обучение • Стохастический градиентный спуск На итерации t: 𝒁 𝒕 𝑫 𝒕 Образец 𝐺 𝑊(𝑍𝑡) 𝑊 𝑡 Предсказание
- 24. 24 Нейронные сети: обучение • Стохастический градиентный спуск На итерации t: 𝒁 𝒕 𝑫 𝒕 Образец 𝐸 𝑡 = 𝐷𝑡 − 𝐺 𝑊 𝑍𝑡 2Как сильно мы ошиблись? 𝐺 𝑊(𝑍𝑡) 𝑊 𝑡 Предсказание
- 25. 25 Нейронные сети: обучение • Стохастический градиентный спуск На итерации t: 𝒁 𝒕 𝑫 𝒕 Образец 𝑊 𝑡+1 = 𝑊 𝑡 − 𝛼 𝜕𝐸 𝑡 𝜕𝑊 𝑊 𝑡 𝐸 𝑡 = 𝐷𝑡 − 𝐺 𝑊 𝑍𝑡 2Как сильно мы ошиблись? 𝐺 𝑊(𝑍𝑡) 𝑊 𝑡 Предсказание Поправить веса!
- 26. 26 Нейронные сети: обучение • Обратное распространение ошибки 𝑬 𝜕𝐸 𝜕𝑋4 𝜕𝐸 𝜕𝑊4 𝜕𝐸 𝜕𝑋3 𝜕𝐸 𝜕𝑊3 𝜕𝐸 𝜕𝑋2 𝜕𝐸 𝜕𝑊2 𝜕𝐸 𝜕𝑋1 𝜕𝐸 𝜕𝑊1 Слой 1 Слой 2 Слой 3 Слой 4
- 27. 27 Нейронные сети: пример ? ? ? ? Данные легко разделимы
- 30. 30 Компьютерное зрение: Задачи • Человек • Собака • Стул “Котик” Классификация Детектирование объектов
- 31. 31 Компьютерное зрение: Задачи Семантическая сегментация
- 34. 34 Трудности R G B = • Много неструктурированной информации
- 35. 35 Признаки
- 36. 36 Признаки
- 39. 39 Признаки + нейронные сети Признаки “Lenna”
- 40. 40 Свёртка
- 41. 41 Свёртка 𝑿
- 42. 42 Свёртка * 𝑾 𝑿
- 43. 43 Свёртка * 𝑾 𝑿 𝑦 = 𝑖 𝑤𝑖 𝑥𝑖
- 44. 44 Свёртка *
- 48. 48
- 49. 49 Иерархия признаков Пиксели Границы Фрагменты Объекты
- 50. 50 Иерархия признаков Пиксели Границы Фрагменты Объекты Выделение признаков + Классификация “Котик” Глубокие нейронные сети
- 51. 51 Deep Learning Обучение иерархии признаковых представлений
- 52. 52 Типы слоёв • Свёрточный слой *
- 53. 53 Типы слоёв • Pooling (понижение размерности) • Локальное усреднение • Локальный максимум
- 54. 54 Типы слоёв • Полносвязный слой
- 55. 55 Архитектура сети: пример Свертка СверткаPooling Pooling Полно- связный Вход Выход
- 57. 57 Deep Learning хорош для Картинки Видео Звук Текст
- 58. 58 Сверхчеловеческий уровень Человек распознаёт 98.81% Глубокая нейронная сеть 99.17% Дорожные знаки
- 59. 59 Лица Brad Pitt Идентификация Пол, возраст
- 60. 60 Умные приборы
- 65. 65 Умные роботы и дроны
- 66. 66 Естественный язык Рекуррентные нейронные сети Перевод Чат ботыУмная клавиатура П… …Р И В Е Т
- 67. 67 Siri Ok, Google Распознавание речи Рекуррентные нейронные сети П… …Р И В Е Т
- 68. 68 Текстовое описание “A woman drinking something near a TV”
- 69. 69 Обучение без учителя Данные без меток Сеть ? ? ? ? ? ? ?? ?
- 70. 70 Обучение без учителя Данные без меток Сеть
- 71. 71 Обучение без учителя И снова котики…
- 73. 73 Ускорение
- 75. 75 Распределённое обучение … Данные Данные Данные Данные Модель
- 76. 76 Распределённое обучение … Данные Данные Данные Данные Модель
- 77. 77 Распределённое обучение … Данные Данные Данные Данные Модель
- 79. 79 Нейропроцессоры Интернет вещей (IoT) Оптимальная архитектура процессора Меньше тепла Меньше энергии
- 81. 81 Синтез речи WaveNet “Сегодня отличная погода, на правда ли?”
- 83. 83 Расцвечивание Вход Deep Learning Оригинал
- 84. 84 Перенос стиля