SlideShare une entreprise Scribd logo
1  sur  15
Télécharger pour lire hors ligne
Интеллект-стек 2016
ICBDA’16
16 сентября 2016г.
Всё будет быстро
http://blogs.nvidia.com/blog/2016/01/12/accelerating-ai-artificial-intelligence-gpus/
Интеллект-стек, 26 сентября 2015
http://ailev.livejournal.com/1217557.html
Новости сентября 2015 vs. сентября 2016
• Глубокая попса 16 сентября 2015:
драм-треки --
http://www.inquisitivists.com/2015/0
9/16/using-autoharp-and-a-character-
based-rnn-to-create-midi-drum-loops
• Fujitsu 17 сентября 2015 достигла
сверхчеловеческой точности в
распознавании китайских
иероглифов (96.7% по сравнению с
человеческими 96.1%)
http://en.acnnewswire.com/press-release/english/25211/fujitsu-achieves-
96.7-recognition-rate-for-handwritten-chinese-characters-using-ai-that-
mimics-the-human-brain
• Google 24 сентября 2015 года
перешёл к «промышленной
эксплуатации» распознавания
голоса на новой архитектуре
нейронной сети – ещё точнее, ещё
меньше вычислительных ресурсов.
Распознавание идёт прямо на
телефоне, достижение тут –
достигнута скорость real time (0.3
секунды рассматривалось как
серьёзная задержка!) --
(http://googleresearch.blogspot.ru/20
15/09/google-voice-search-faster-and-
more.html). 3
• «Музыкальное ухо»: оркестровка для симфонического оркестра –
http://ailev.livejournal.com/1293469.html
• Оценка трудоёмкости разработки в functional points –
http://arxiv.org/abs/1609.00489
• Такси без водителя тестируется в Сингапуре –
http://www.theverge.com/2016/8/25/12637822/self-driving-taxi-first-
public-trial-singapore-nutonomy
• Комьюнити https://vk.com/deeplearning – уже более 7тыс.человек
• … – всего происходит много!!!
DeepMind 9 сентября 2016 поставил рекорд качества
воспроизведения голоса (и музыки той же сеткой!):
WaveNet – сравнимо с людьми!
https://deepmind.com/blog/wavenet-generative-model-raw-audio/
МЕЖДИСЦИПЛИНАРНОСТЬ
Интеллект-стек – это только одна ипостась интеллект-системы
4
На основе
рис.3
в ISO 81346-1
-Модули
=Компоненты
+Места
Платформы,
интерфейсы и
их видимость –
слои
Стек
Ителлект-стек: инженерный взгляд
• «Как сделать» (инженерный взгляд), но не «как работает» и не «где
расположено»
• Интерфейсы и протоколы: стандарты (де-юре и де-факто)
• Модули и их платформы взаимозаменяемы:
• На одном интерфейсе-стандарте (API)
• Переходники интерфейсов (wrappers, например Julia wrapper for TensorFlow –
https://github.com/malmaud/TensorFlow.jl)
• Модули взаимоувязаны: платформы, стеки платформ
• «Видимость» интерфейсов нижних уровней стека обсуждается, она не
безусловна
• Хорошая модульность – проблема, её решают. В интеллект-стеке это плохо
решаемая проблема! http://ailev.livejournal.com/1294242.html 5
Intelligence Platform Stack
6
Application (domain) Platform
Cognitive Architecture Platform
Learning Algorithm Platform
Computational library
General Computer Language
CPU
GPU/TPU/DPU/FPGA/Physical
computation Drivers
GPU/TPU/DPU/FPGA/Physical
computation Accelerator
Neurocompiler
Neuromorphic driver
Neuromorphic chip
Disruptionenablers
Disruptiondemand
Thanks for computer gamers for their disruption demand
to give us disruption enabler such as GPU!
Аппаратура интеллекта
http://ailev.livejournal.com/1293810.html
1. Обычные СPU – Xeon Phi Knights Mill (в планах)
2. Традиционные GPU с F16 – Pascal Tesla P100 With Over 20 TFLOPS Of FP16
Performance (15млд.транзисторов)
3. TPU – Tensor Processing Unit (Google, Nervana Engine, Movidius).
Wave DPU – Data Processing Unit.
4. Эксперименты с очень низкой разрядностью (тернарные архитектуры), FPGA.
5. Спайковые процессоры: TrueNorth (ASIC), NeuroFlow (на FPGA)
6. Вычислительная физика: квантовые эффекты, мемристоры. Пока эмуляции и
эксперименты. Новинка: photon intelligence и нанооптика –
http://arxiv.org/abs/1609.00686
Разделение на «для обучения» и «для вывода». 7
Пример: Wave DPU (Dataflow processing unit)
8http://www.nextplatform.com/2016/09/07/next-wave-deep-learning-architectures/
12 минут
обучение AlexNet
Фиксированная точка
со стохастическим
округлением
эквивалентна по
точности плавающим!
Драйверы, вычислительные языки,
вычислительные библиотеки
• Эти платформы почти не видны (только для тех, кто
разрабатывает алгоритмы – а таких людей мало)
• Проблема двух языков (пишут на Python, переписывают на
C++): решение видят в
• Тут только «затраты», а не «результаты» -- поэтому людей мало.
• Прогресса почти нет
9
Платформы машинного обучения
• Одной платформы не хватит
никогда!
• Master algorithm: тренд на
гибридизацию разных
подходов
• Когнитивная архитектура:
тренд на комбинирование
разных подходов
• Reinforcement learning
• Adversarial architectures
10
Shallow
Learning
Big Data
Deep
Learning
Neuro
evolution
Bayes
Army
Symbolic
Теорема бесплатного завтрака
Платформы глубокого обучения
(коннективистские)
• Определился безусловный лидер (в deep learning) – это
TensorFlow, хочется этого или нет.
• Коммодитизация: «обучение на развес», все на одно лицо.
• Dataflow DSL – уже общее место (но есть и попытки
вырваться за его пределы – MXNnet, динамическое
построение сети в Chainer и т.д.).
• Сложные полностью дифференцируемые архитектуры с
памятями и вниманием.
• Наборы данных и мониторинг state-of-the-art.
• Главный сюжет – борьба за модульность и transfer
learning (http://ailev.livejournal.com/1294242.html):
• Компонуемость (composability) – «как конструктор»
• Композициональность (compositionality) – «таблетка знаний»
• На уровне архитектуры сети
• На уровне архитектуры выученной модели
11
Когнитивные архитектуры
[пока не платформы, увы]
Продвижений за год почти нет. Продолжается обсуждение проблем:
• Проблема: дурные дискуссии про «настоящее творчество» –
http://ailev.livejournal.com/1293469.html
• Проблема: требование «объяснений» и «детерминистичности» (сертификация)
• Проблема: строгость рассуждений (логика) и связь с символистами –
http://ailev.livejournal.com/1284038.html, http://ailev.livejournal.com/1266905.html
• Проблема: AutoML – http://automl.chalearn.org/
• Проблема: архитектуры с памятями и вниманием, несколькими сетками
(adversarial, student-teacher при аппроксимациях)
• Проблема: переползание от семантики к онтологии – http://ailev.livejournal.com/1289718.html
• Проблема: … все классические проблемы зимы искусственного интеллекта
12
Приложения: сила есть, ума не надо
13
CB Insights
https://twitter.com/CBinsights/status/705403757916528640
Проблема:
сертификация
обучаемых систем
Где деньги в интеллект-стеке?
• Весь стек пока держат только Google и IBM, у остальных не хватает сил: дорого и
рисково.
• Инновации обеспечиваются (enable) с разных уровней стека – необязательно целевого.
Это предпринимательский выбор, сколько вкладывать в нижележащие уровни!
• Деньги будут вверху (прикладной уровень) и внизу (аппаратура), но не в середине.
• На середину (языки, библиотеки, фреймворки обучения) время и деньги только тратим,
заработать не удастся. Можно заработать славу и привлечь кадры, или выиграть месяц-
два в экспериментах на прикладном уровне, потом это как-то монетизировать.
• На уровне когнитивной архитектуры шансы заработать есть: ибо никто в этом пока не
понимает. Всего-то нужно показать преодоление state-of-the-art! Но это искусственный
интеллект, со всеми его трудностями, так что успехов!
Прогнозы:
• Интерфейсы уровней стека продолжат стабилизироваться, ходить «мимо платформ»
будет всё дороже и дороже (как сегодня изобретать свои языки программирования и
писать к ним компиляторы).
• Явного победителя в каждом уровне стека пока не будет, будет конкуренция. Но лидеры
будут очевидны (пример TensorFlow и CUDNN), как и с языками программирования.14
Спасибо за внимание!
Анатолий Левенчук,
http://ailev.ru
ailev@asmp.msk.su
TechInvestLab
15

Contenu connexe

Tendances

Открытая лекция А. Левенчука
Открытая лекция А. ЛевенчукаОткрытая лекция А. Левенчука
Открытая лекция А. ЛевенчукаASIMP
 
А.Левенчук -- Будущее проектирования
А.Левенчук -- Будущее проектированияА.Левенчук -- Будущее проектирования
А.Левенчук -- Будущее проектированияAnatoly Levenchuk
 
Мастер-класс: Системное мышление
Мастер-класс: Системное мышлениеМастер-класс: Системное мышление
Мастер-класс: Системное мышлениеCEE-SEC(R)
 
А.Левенчук -- как выжить в эпоху перемен перемен
А.Левенчук -- как выжить в эпоху перемен переменА.Левенчук -- как выжить в эпоху перемен перемен
А.Левенчук -- как выжить в эпоху перемен переменAnatoly Levenchuk
 
А.Левенчук -- плохая модульность
А.Левенчук -- плохая модульностьА.Левенчук -- плохая модульность
А.Левенчук -- плохая модульностьAnatoly Levenchuk
 
А.Левенчук -- тренажёр клуба одиноких мозгов
А.Левенчук -- тренажёр клуба одиноких мозговА.Левенчук -- тренажёр клуба одиноких мозгов
А.Левенчук -- тренажёр клуба одиноких мозговAnatoly Levenchuk
 
А.Левенчук -- киберэкспертиза: мифы и реальность
А.Левенчук -- киберэкспертиза: мифы и реальностьА.Левенчук -- киберэкспертиза: мифы и реальность
А.Левенчук -- киберэкспертиза: мифы и реальностьAnatoly Levenchuk
 
А.Левенчук -- Essence для управления технологиями
А.Левенчук -- Essence для управления технологиямиА.Левенчук -- Essence для управления технологиями
А.Левенчук -- Essence для управления технологиямиAnatoly Levenchuk
 
Практики жизненного цикла систем машинного обучения
Практики жизненного цикла систем машинного обученияПрактики жизненного цикла систем машинного обучения
Практики жизненного цикла систем машинного обученияCEE-SEC(R)
 
А.Левенчук -- предпринимательство: кейс NVIDIA
А.Левенчук -- предпринимательство: кейс NVIDIAА.Левенчук -- предпринимательство: кейс NVIDIA
А.Левенчук -- предпринимательство: кейс NVIDIAAnatoly Levenchuk
 
А.Левенчук -- развитие личности
А.Левенчук -- развитие личностиА.Левенчук -- развитие личности
А.Левенчук -- развитие личностиAnatoly Levenchuk
 
А.Левенчук -- корпоративный искусственный интеллект
А.Левенчук -- корпоративный искусственный интеллектА.Левенчук -- корпоративный искусственный интеллект
А.Левенчук -- корпоративный искусственный интеллектAnatoly Levenchuk
 
А.Левенчук -- аппаратное ускорение аналитики в BigData
А.Левенчук -- аппаратное ускорение аналитики в BigDataА.Левенчук -- аппаратное ускорение аналитики в BigData
А.Левенчук -- аппаратное ускорение аналитики в BigDataAnatoly Levenchuk
 
Системная инженерия как технология мышления
Системная инженерия как технология мышленияСистемная инженерия как технология мышления
Системная инженерия как технология мышленияAnatoly Levenchuk
 
Системноинженерное мышление в непрерывном образовании
Системноинженерное мышление в непрерывном образованииСистемноинженерное мышление в непрерывном образовании
Системноинженерное мышление в непрерывном образованииAnatoly Levenchuk
 
А.Левенчук -- безлюдные (дез)организации
А.Левенчук -- безлюдные (дез)организацииА.Левенчук -- безлюдные (дез)организации
А.Левенчук -- безлюдные (дез)организацииAnatoly Levenchuk
 
А.Левенчук -- Будущее девелопмента
А.Левенчук -- Будущее девелопментаА.Левенчук -- Будущее девелопмента
А.Левенчук -- Будущее девелопментаAnatoly Levenchuk
 
Безлюдные организации и их проблемы
Безлюдные организации и их проблемыБезлюдные организации и их проблемы
Безлюдные организации и их проблемыAnatoly Levenchuk
 
А.Левенчук -- Будущее проектирования
А.Левенчук -- Будущее проектированияА.Левенчук -- Будущее проектирования
А.Левенчук -- Будущее проектированияAnatoly Levenchuk
 
К стратегической сессии по будущему интернета
К стратегической сессии по будущему интернетаК стратегической сессии по будущему интернета
К стратегической сессии по будущему интернетаAnatoly Levenchuk
 

Tendances (20)

Открытая лекция А. Левенчука
Открытая лекция А. ЛевенчукаОткрытая лекция А. Левенчука
Открытая лекция А. Левенчука
 
А.Левенчук -- Будущее проектирования
А.Левенчук -- Будущее проектированияА.Левенчук -- Будущее проектирования
А.Левенчук -- Будущее проектирования
 
Мастер-класс: Системное мышление
Мастер-класс: Системное мышлениеМастер-класс: Системное мышление
Мастер-класс: Системное мышление
 
А.Левенчук -- как выжить в эпоху перемен перемен
А.Левенчук -- как выжить в эпоху перемен переменА.Левенчук -- как выжить в эпоху перемен перемен
А.Левенчук -- как выжить в эпоху перемен перемен
 
А.Левенчук -- плохая модульность
А.Левенчук -- плохая модульностьА.Левенчук -- плохая модульность
А.Левенчук -- плохая модульность
 
А.Левенчук -- тренажёр клуба одиноких мозгов
А.Левенчук -- тренажёр клуба одиноких мозговА.Левенчук -- тренажёр клуба одиноких мозгов
А.Левенчук -- тренажёр клуба одиноких мозгов
 
А.Левенчук -- киберэкспертиза: мифы и реальность
А.Левенчук -- киберэкспертиза: мифы и реальностьА.Левенчук -- киберэкспертиза: мифы и реальность
А.Левенчук -- киберэкспертиза: мифы и реальность
 
А.Левенчук -- Essence для управления технологиями
А.Левенчук -- Essence для управления технологиямиА.Левенчук -- Essence для управления технологиями
А.Левенчук -- Essence для управления технологиями
 
Практики жизненного цикла систем машинного обучения
Практики жизненного цикла систем машинного обученияПрактики жизненного цикла систем машинного обучения
Практики жизненного цикла систем машинного обучения
 
А.Левенчук -- предпринимательство: кейс NVIDIA
А.Левенчук -- предпринимательство: кейс NVIDIAА.Левенчук -- предпринимательство: кейс NVIDIA
А.Левенчук -- предпринимательство: кейс NVIDIA
 
А.Левенчук -- развитие личности
А.Левенчук -- развитие личностиА.Левенчук -- развитие личности
А.Левенчук -- развитие личности
 
А.Левенчук -- корпоративный искусственный интеллект
А.Левенчук -- корпоративный искусственный интеллектА.Левенчук -- корпоративный искусственный интеллект
А.Левенчук -- корпоративный искусственный интеллект
 
А.Левенчук -- аппаратное ускорение аналитики в BigData
А.Левенчук -- аппаратное ускорение аналитики в BigDataА.Левенчук -- аппаратное ускорение аналитики в BigData
А.Левенчук -- аппаратное ускорение аналитики в BigData
 
Системная инженерия как технология мышления
Системная инженерия как технология мышленияСистемная инженерия как технология мышления
Системная инженерия как технология мышления
 
Системноинженерное мышление в непрерывном образовании
Системноинженерное мышление в непрерывном образованииСистемноинженерное мышление в непрерывном образовании
Системноинженерное мышление в непрерывном образовании
 
А.Левенчук -- безлюдные (дез)организации
А.Левенчук -- безлюдные (дез)организацииА.Левенчук -- безлюдные (дез)организации
А.Левенчук -- безлюдные (дез)организации
 
А.Левенчук -- Будущее девелопмента
А.Левенчук -- Будущее девелопментаА.Левенчук -- Будущее девелопмента
А.Левенчук -- Будущее девелопмента
 
Безлюдные организации и их проблемы
Безлюдные организации и их проблемыБезлюдные организации и их проблемы
Безлюдные организации и их проблемы
 
А.Левенчук -- Будущее проектирования
А.Левенчук -- Будущее проектированияА.Левенчук -- Будущее проектирования
А.Левенчук -- Будущее проектирования
 
К стратегической сессии по будущему интернета
К стратегической сессии по будущему интернетаК стратегической сессии по будущему интернета
К стратегической сессии по будущему интернета
 

En vedette

А.Левенчук -- privacy и нейронет
А.Левенчук -- privacy и нейронетА.Левенчук -- privacy и нейронет
А.Левенчук -- privacy и нейронетAnatoly Levenchuk
 
А.Левенчук -- автоматизация образования
А.Левенчук -- автоматизация образованияА.Левенчук -- автоматизация образования
А.Левенчук -- автоматизация образованияAnatoly Levenchuk
 
A.Levenchuk -- Complexity in Engineering
A.Levenchuk -- Complexity in EngineeringA.Levenchuk -- Complexity in Engineering
A.Levenchuk -- Complexity in EngineeringAnatoly Levenchuk
 
A.Levenchuk -- Systems Engineering Thinking
A.Levenchuk -- Systems Engineering ThinkingA.Levenchuk -- Systems Engineering Thinking
A.Levenchuk -- Systems Engineering ThinkingAnatoly Levenchuk
 
Ali Mousavi -- Event modeling
Ali Mousavi -- Event modeling Ali Mousavi -- Event modeling
Ali Mousavi -- Event modeling Anatoly Levenchuk
 
A.Levenchuk -- Machine learning engineering
A.Levenchuk -- Machine learning engineeringA.Levenchuk -- Machine learning engineering
A.Levenchuk -- Machine learning engineeringAnatoly Levenchuk
 
М.Акоев -- системная динамика и мышление
М.Акоев -- системная динамика и мышлениеМ.Акоев -- системная динамика и мышление
М.Акоев -- системная динамика и мышлениеAnatoly Levenchuk
 
И.Беспальчук -- оценка архитектуры по ATAM
И.Беспальчук -- оценка архитектуры по ATAMИ.Беспальчук -- оценка архитектуры по ATAM
И.Беспальчук -- оценка архитектуры по ATAMAnatoly Levenchuk
 

En vedette (8)

А.Левенчук -- privacy и нейронет
А.Левенчук -- privacy и нейронетА.Левенчук -- privacy и нейронет
А.Левенчук -- privacy и нейронет
 
А.Левенчук -- автоматизация образования
А.Левенчук -- автоматизация образованияА.Левенчук -- автоматизация образования
А.Левенчук -- автоматизация образования
 
A.Levenchuk -- Complexity in Engineering
A.Levenchuk -- Complexity in EngineeringA.Levenchuk -- Complexity in Engineering
A.Levenchuk -- Complexity in Engineering
 
A.Levenchuk -- Systems Engineering Thinking
A.Levenchuk -- Systems Engineering ThinkingA.Levenchuk -- Systems Engineering Thinking
A.Levenchuk -- Systems Engineering Thinking
 
Ali Mousavi -- Event modeling
Ali Mousavi -- Event modeling Ali Mousavi -- Event modeling
Ali Mousavi -- Event modeling
 
A.Levenchuk -- Machine learning engineering
A.Levenchuk -- Machine learning engineeringA.Levenchuk -- Machine learning engineering
A.Levenchuk -- Machine learning engineering
 
М.Акоев -- системная динамика и мышление
М.Акоев -- системная динамика и мышлениеМ.Акоев -- системная динамика и мышление
М.Акоев -- системная динамика и мышление
 
И.Беспальчук -- оценка архитектуры по ATAM
И.Беспальчук -- оценка архитектуры по ATAMИ.Беспальчук -- оценка архитектуры по ATAM
И.Беспальчук -- оценка архитектуры по ATAM
 

Similaire à А.Левенчук -- интеллект-стек 2016

низкоуровневое программирование сегодня новые стандарты с++, программирован...
низкоуровневое программирование сегодня   новые стандарты с++, программирован...низкоуровневое программирование сегодня   новые стандарты с++, программирован...
низкоуровневое программирование сегодня новые стандарты с++, программирован...COMAQA.BY
 
Mihail Zachepilo - WebAssembly powered Machine Learning
Mihail Zachepilo - WebAssembly powered Machine LearningMihail Zachepilo - WebAssembly powered Machine Learning
Mihail Zachepilo - WebAssembly powered Machine LearningMaria Kuneva
 
Mihail Zachepilo - WebAssembly powered Machine Learning
Mihail Zachepilo - WebAssembly powered Machine LearningMihail Zachepilo - WebAssembly powered Machine Learning
Mihail Zachepilo - WebAssembly powered Machine LearningOdessaJS Conf
 
Мониторинг веб-проектов: штаб оперативного реагирования и аналитический центр
Мониторинг веб-проектов: штаб оперативного реагирования и аналитический центрМониторинг веб-проектов: штаб оперативного реагирования и аналитический центр
Мониторинг веб-проектов: штаб оперативного реагирования и аналитический центрsportgid
 
Евгений Жарков "Как быть хорошим фронтенд-разработчиком"
Евгений Жарков "Как быть хорошим фронтенд-разработчиком"Евгений Жарков "Как быть хорошим фронтенд-разработчиком"
Евгений Жарков "Как быть хорошим фронтенд-разработчиком"Fwdays
 
Блеск и нищета современного ИИ, из истории кибернетики в СССР, философия ИИ -...
Блеск и нищета современного ИИ, из истории кибернетики в СССР, философия ИИ -...Блеск и нищета современного ИИ, из истории кибернетики в СССР, философия ИИ -...
Блеск и нищета современного ИИ, из истории кибернетики в СССР, философия ИИ -...Anton Moiseev
 
Technopolis.NoSQL 03 Cassandra
Technopolis.NoSQL 03 CassandraTechnopolis.NoSQL 03 Cassandra
Technopolis.NoSQL 03 CassandraVadim Tsesko
 
Цифровая микроэлектроника для математиков и программистов 2017
Цифровая микроэлектроника для математиков и программистов 2017Цифровая микроэлектроника для математиков и программистов 2017
Цифровая микроэлектроника для математиков и программистов 2017Anton Moiseev
 
Сервисы Azure для научных исследований
Сервисы Azure для научных исследованийСервисы Azure для научных исследований
Сервисы Azure для научных исследованийMicrosoft
 
Вебинар по Frontend: Профессия Frontend разработчика
Вебинар по Frontend: Профессия Frontend  разработчикаВебинар по Frontend: Профессия Frontend  разработчика
Вебинар по Frontend: Профессия Frontend разработчикаGoIT
 
Семантическое ядро рунета - высоконагруженная сontent-based рекомендательная ...
Семантическое ядро рунета - высоконагруженная сontent-based рекомендательная ...Семантическое ядро рунета - высоконагруженная сontent-based рекомендательная ...
Семантическое ядро рунета - высоконагруженная сontent-based рекомендательная ...Ontico
 
Введение в Deep Learning
Введение в Deep LearningВведение в Deep Learning
Введение в Deep LearningGrigory Sapunov
 
Владимир Назаров, HPE: Зачем нужна миграция с UNIX на Linux? Выводы на основ...
Владимир Назаров, HPE:  Зачем нужна миграция с UNIX на Linux? Выводы на основ...Владимир Назаров, HPE:  Зачем нужна миграция с UNIX на Linux? Выводы на основ...
Владимир Назаров, HPE: Зачем нужна миграция с UNIX на Linux? Выводы на основ...Банковское обозрение
 
5 нспк banki.ru v3
5 нспк   banki.ru v35 нспк   banki.ru v3
5 нспк banki.ru v3Bankir_Ru
 
Мощнее или умнее? Возможности оптимизации ИТ-инфраструктуры для сейсмики
Мощнее или умнее? Возможности оптимизации ИТ-инфраструктуры для сейсмикиМощнее или умнее? Возможности оптимизации ИТ-инфраструктуры для сейсмики
Мощнее или умнее? Возможности оптимизации ИТ-инфраструктуры для сейсмикиVsevolod Shabad
 
Лекция 10. Apache Mahout
Лекция 10. Apache MahoutЛекция 10. Apache Mahout
Лекция 10. Apache MahoutTechnopark
 
Андрей Николаенко, IBS. NVMf: 5 млн IOPS по сети своими руками
Андрей Николаенко, IBS. NVMf: 5 млн IOPS по сети своими рукамиАндрей Николаенко, IBS. NVMf: 5 млн IOPS по сети своими руками
Андрей Николаенко, IBS. NVMf: 5 млн IOPS по сети своими рукамиIBS
 
NVMf: 5 млн IOPS по сети своими руками / Андрей Николаенко (IBS)
NVMf: 5 млн IOPS по сети своими руками / Андрей Николаенко (IBS)NVMf: 5 млн IOPS по сети своими руками / Андрей Николаенко (IBS)
NVMf: 5 млн IOPS по сети своими руками / Андрей Николаенко (IBS)Ontico
 
Язык Ада в современной программной индустрии.
Язык Ада в современной программной индустрии.Язык Ада в современной программной индустрии.
Язык Ада в современной программной индустрии.Maxim Reznik
 

Similaire à А.Левенчук -- интеллект-стек 2016 (20)

низкоуровневое программирование сегодня новые стандарты с++, программирован...
низкоуровневое программирование сегодня   новые стандарты с++, программирован...низкоуровневое программирование сегодня   новые стандарты с++, программирован...
низкоуровневое программирование сегодня новые стандарты с++, программирован...
 
Mihail Zachepilo - WebAssembly powered Machine Learning
Mihail Zachepilo - WebAssembly powered Machine LearningMihail Zachepilo - WebAssembly powered Machine Learning
Mihail Zachepilo - WebAssembly powered Machine Learning
 
Mihail Zachepilo - WebAssembly powered Machine Learning
Mihail Zachepilo - WebAssembly powered Machine LearningMihail Zachepilo - WebAssembly powered Machine Learning
Mihail Zachepilo - WebAssembly powered Machine Learning
 
Мониторинг веб-проектов: штаб оперативного реагирования и аналитический центр
Мониторинг веб-проектов: штаб оперативного реагирования и аналитический центрМониторинг веб-проектов: штаб оперативного реагирования и аналитический центр
Мониторинг веб-проектов: штаб оперативного реагирования и аналитический центр
 
Евгений Жарков "Как быть хорошим фронтенд-разработчиком"
Евгений Жарков "Как быть хорошим фронтенд-разработчиком"Евгений Жарков "Как быть хорошим фронтенд-разработчиком"
Евгений Жарков "Как быть хорошим фронтенд-разработчиком"
 
Блеск и нищета современного ИИ, из истории кибернетики в СССР, философия ИИ -...
Блеск и нищета современного ИИ, из истории кибернетики в СССР, философия ИИ -...Блеск и нищета современного ИИ, из истории кибернетики в СССР, философия ИИ -...
Блеск и нищета современного ИИ, из истории кибернетики в СССР, философия ИИ -...
 
Technopolis.NoSQL 03 Cassandra
Technopolis.NoSQL 03 CassandraTechnopolis.NoSQL 03 Cassandra
Technopolis.NoSQL 03 Cassandra
 
Цифровая микроэлектроника для математиков и программистов 2017
Цифровая микроэлектроника для математиков и программистов 2017Цифровая микроэлектроника для математиков и программистов 2017
Цифровая микроэлектроника для математиков и программистов 2017
 
A.g.demenev(perm su) 2014
A.g.demenev(perm su) 2014A.g.demenev(perm su) 2014
A.g.demenev(perm su) 2014
 
Сервисы Azure для научных исследований
Сервисы Azure для научных исследованийСервисы Azure для научных исследований
Сервисы Azure для научных исследований
 
Вебинар по Frontend: Профессия Frontend разработчика
Вебинар по Frontend: Профессия Frontend  разработчикаВебинар по Frontend: Профессия Frontend  разработчика
Вебинар по Frontend: Профессия Frontend разработчика
 
Семантическое ядро рунета - высоконагруженная сontent-based рекомендательная ...
Семантическое ядро рунета - высоконагруженная сontent-based рекомендательная ...Семантическое ядро рунета - высоконагруженная сontent-based рекомендательная ...
Семантическое ядро рунета - высоконагруженная сontent-based рекомендательная ...
 
Введение в Deep Learning
Введение в Deep LearningВведение в Deep Learning
Введение в Deep Learning
 
Владимир Назаров, HPE: Зачем нужна миграция с UNIX на Linux? Выводы на основ...
Владимир Назаров, HPE:  Зачем нужна миграция с UNIX на Linux? Выводы на основ...Владимир Назаров, HPE:  Зачем нужна миграция с UNIX на Linux? Выводы на основ...
Владимир Назаров, HPE: Зачем нужна миграция с UNIX на Linux? Выводы на основ...
 
5 нспк banki.ru v3
5 нспк   banki.ru v35 нспк   banki.ru v3
5 нспк banki.ru v3
 
Мощнее или умнее? Возможности оптимизации ИТ-инфраструктуры для сейсмики
Мощнее или умнее? Возможности оптимизации ИТ-инфраструктуры для сейсмикиМощнее или умнее? Возможности оптимизации ИТ-инфраструктуры для сейсмики
Мощнее или умнее? Возможности оптимизации ИТ-инфраструктуры для сейсмики
 
Лекция 10. Apache Mahout
Лекция 10. Apache MahoutЛекция 10. Apache Mahout
Лекция 10. Apache Mahout
 
Андрей Николаенко, IBS. NVMf: 5 млн IOPS по сети своими руками
Андрей Николаенко, IBS. NVMf: 5 млн IOPS по сети своими рукамиАндрей Николаенко, IBS. NVMf: 5 млн IOPS по сети своими руками
Андрей Николаенко, IBS. NVMf: 5 млн IOPS по сети своими руками
 
NVMf: 5 млн IOPS по сети своими руками / Андрей Николаенко (IBS)
NVMf: 5 млн IOPS по сети своими руками / Андрей Николаенко (IBS)NVMf: 5 млн IOPS по сети своими руками / Андрей Николаенко (IBS)
NVMf: 5 млн IOPS по сети своими руками / Андрей Николаенко (IBS)
 
Язык Ада в современной программной индустрии.
Язык Ада в современной программной индустрии.Язык Ада в современной программной индустрии.
Язык Ада в современной программной индустрии.
 

Plus de Anatoly Levenchuk

Contemporary Systems Engineering (oct 2022)
Contemporary Systems Engineering (oct 2022)Contemporary Systems Engineering (oct 2022)
Contemporary Systems Engineering (oct 2022)Anatoly Levenchuk
 
Open-endedness curriculum at EEM Institute
Open-endedness curriculum at EEM InstituteOpen-endedness curriculum at EEM Institute
Open-endedness curriculum at EEM InstituteAnatoly Levenchuk
 
Праксиология и системное мышление
Праксиология и системное мышлениеПраксиология и системное мышление
Праксиология и системное мышлениеAnatoly Levenchuk
 
А.Левенчук -- стейкхолдерское мастерство
А.Левенчук -- стейкхолдерское мастерствоА.Левенчук -- стейкхолдерское мастерство
А.Левенчук -- стейкхолдерское мастерствоAnatoly Levenchuk
 
А.Левенчук -- SysArchi
А.Левенчук -- SysArchiА.Левенчук -- SysArchi
А.Левенчук -- SysArchiAnatoly Levenchuk
 
А.Левенчук -- Практики системной инженерии
А.Левенчук -- Практики системной инженерииА.Левенчук -- Практики системной инженерии
А.Левенчук -- Практики системной инженерииAnatoly Levenchuk
 
А.Левенчук -- визуальное мышление
А.Левенчук -- визуальное мышлениеА.Левенчук -- визуальное мышление
А.Левенчук -- визуальное мышлениеAnatoly Levenchuk
 
А.Левенчук -- системное развитие личности
А.Левенчук -- системное развитие личностиА.Левенчук -- системное развитие личности
А.Левенчук -- системное развитие личностиAnatoly Levenchuk
 
А.Левенчук -- Системное мышление в инженерии предприятий
А.Левенчук -- Системное мышление в инженерии предприятийА.Левенчук -- Системное мышление в инженерии предприятий
А.Левенчук -- Системное мышление в инженерии предприятийAnatoly Levenchuk
 
А.Левенчук -- Системное мышление и управление конфигурацией
А.Левенчук -- Системное мышление и управление конфигурациейА.Левенчук -- Системное мышление и управление конфигурацией
А.Левенчук -- Системное мышление и управление конфигурациейAnatoly Levenchuk
 
Системное мышление -- непопсовый обзор курса
Системное мышление -- непопсовый обзор курсаСистемное мышление -- непопсовый обзор курса
Системное мышление -- непопсовый обзор курсаAnatoly Levenchuk
 
А.Левенчук -- системный фитнес
А.Левенчук -- системный фитнесА.Левенчук -- системный фитнес
А.Левенчук -- системный фитнесAnatoly Levenchuk
 

Plus de Anatoly Levenchuk (13)

Contemporary Systems Engineering (oct 2022)
Contemporary Systems Engineering (oct 2022)Contemporary Systems Engineering (oct 2022)
Contemporary Systems Engineering (oct 2022)
 
Open-endedness curriculum at EEM Institute
Open-endedness curriculum at EEM InstituteOpen-endedness curriculum at EEM Institute
Open-endedness curriculum at EEM Institute
 
Праксиология и системное мышление
Праксиология и системное мышлениеПраксиология и системное мышление
Праксиология и системное мышление
 
А.Левенчук -- стейкхолдерское мастерство
А.Левенчук -- стейкхолдерское мастерствоА.Левенчук -- стейкхолдерское мастерство
А.Левенчук -- стейкхолдерское мастерство
 
А.Левенчук -- SysArchi
А.Левенчук -- SysArchiА.Левенчук -- SysArchi
А.Левенчук -- SysArchi
 
А.Левенчук -- Практики системной инженерии
А.Левенчук -- Практики системной инженерииА.Левенчук -- Практики системной инженерии
А.Левенчук -- Практики системной инженерии
 
А.Левенчук -- визуальное мышление
А.Левенчук -- визуальное мышлениеА.Левенчук -- визуальное мышление
А.Левенчук -- визуальное мышление
 
А.Левенчук -- системное развитие личности
А.Левенчук -- системное развитие личностиА.Левенчук -- системное развитие личности
А.Левенчук -- системное развитие личности
 
А.Левенчук -- Системное мышление в инженерии предприятий
А.Левенчук -- Системное мышление в инженерии предприятийА.Левенчук -- Системное мышление в инженерии предприятий
А.Левенчук -- Системное мышление в инженерии предприятий
 
А.Левенчук -- Системное мышление и управление конфигурацией
А.Левенчук -- Системное мышление и управление конфигурациейА.Левенчук -- Системное мышление и управление конфигурацией
А.Левенчук -- Системное мышление и управление конфигурацией
 
Future of Engineering
Future of EngineeringFuture of Engineering
Future of Engineering
 
Системное мышление -- непопсовый обзор курса
Системное мышление -- непопсовый обзор курсаСистемное мышление -- непопсовый обзор курса
Системное мышление -- непопсовый обзор курса
 
А.Левенчук -- системный фитнес
А.Левенчук -- системный фитнесА.Левенчук -- системный фитнес
А.Левенчук -- системный фитнес
 

А.Левенчук -- интеллект-стек 2016

  • 3. Новости сентября 2015 vs. сентября 2016 • Глубокая попса 16 сентября 2015: драм-треки -- http://www.inquisitivists.com/2015/0 9/16/using-autoharp-and-a-character- based-rnn-to-create-midi-drum-loops • Fujitsu 17 сентября 2015 достигла сверхчеловеческой точности в распознавании китайских иероглифов (96.7% по сравнению с человеческими 96.1%) http://en.acnnewswire.com/press-release/english/25211/fujitsu-achieves- 96.7-recognition-rate-for-handwritten-chinese-characters-using-ai-that- mimics-the-human-brain • Google 24 сентября 2015 года перешёл к «промышленной эксплуатации» распознавания голоса на новой архитектуре нейронной сети – ещё точнее, ещё меньше вычислительных ресурсов. Распознавание идёт прямо на телефоне, достижение тут – достигнута скорость real time (0.3 секунды рассматривалось как серьёзная задержка!) -- (http://googleresearch.blogspot.ru/20 15/09/google-voice-search-faster-and- more.html). 3 • «Музыкальное ухо»: оркестровка для симфонического оркестра – http://ailev.livejournal.com/1293469.html • Оценка трудоёмкости разработки в functional points – http://arxiv.org/abs/1609.00489 • Такси без водителя тестируется в Сингапуре – http://www.theverge.com/2016/8/25/12637822/self-driving-taxi-first- public-trial-singapore-nutonomy • Комьюнити https://vk.com/deeplearning – уже более 7тыс.человек • … – всего происходит много!!! DeepMind 9 сентября 2016 поставил рекорд качества воспроизведения голоса (и музыки той же сеткой!): WaveNet – сравнимо с людьми! https://deepmind.com/blog/wavenet-generative-model-raw-audio/
  • 4. МЕЖДИСЦИПЛИНАРНОСТЬ Интеллект-стек – это только одна ипостась интеллект-системы 4 На основе рис.3 в ISO 81346-1 -Модули =Компоненты +Места Платформы, интерфейсы и их видимость – слои Стек
  • 5. Ителлект-стек: инженерный взгляд • «Как сделать» (инженерный взгляд), но не «как работает» и не «где расположено» • Интерфейсы и протоколы: стандарты (де-юре и де-факто) • Модули и их платформы взаимозаменяемы: • На одном интерфейсе-стандарте (API) • Переходники интерфейсов (wrappers, например Julia wrapper for TensorFlow – https://github.com/malmaud/TensorFlow.jl) • Модули взаимоувязаны: платформы, стеки платформ • «Видимость» интерфейсов нижних уровней стека обсуждается, она не безусловна • Хорошая модульность – проблема, её решают. В интеллект-стеке это плохо решаемая проблема! http://ailev.livejournal.com/1294242.html 5
  • 6. Intelligence Platform Stack 6 Application (domain) Platform Cognitive Architecture Platform Learning Algorithm Platform Computational library General Computer Language CPU GPU/TPU/DPU/FPGA/Physical computation Drivers GPU/TPU/DPU/FPGA/Physical computation Accelerator Neurocompiler Neuromorphic driver Neuromorphic chip Disruptionenablers Disruptiondemand Thanks for computer gamers for their disruption demand to give us disruption enabler such as GPU!
  • 7. Аппаратура интеллекта http://ailev.livejournal.com/1293810.html 1. Обычные СPU – Xeon Phi Knights Mill (в планах) 2. Традиционные GPU с F16 – Pascal Tesla P100 With Over 20 TFLOPS Of FP16 Performance (15млд.транзисторов) 3. TPU – Tensor Processing Unit (Google, Nervana Engine, Movidius). Wave DPU – Data Processing Unit. 4. Эксперименты с очень низкой разрядностью (тернарные архитектуры), FPGA. 5. Спайковые процессоры: TrueNorth (ASIC), NeuroFlow (на FPGA) 6. Вычислительная физика: квантовые эффекты, мемристоры. Пока эмуляции и эксперименты. Новинка: photon intelligence и нанооптика – http://arxiv.org/abs/1609.00686 Разделение на «для обучения» и «для вывода». 7
  • 8. Пример: Wave DPU (Dataflow processing unit) 8http://www.nextplatform.com/2016/09/07/next-wave-deep-learning-architectures/ 12 минут обучение AlexNet Фиксированная точка со стохастическим округлением эквивалентна по точности плавающим!
  • 9. Драйверы, вычислительные языки, вычислительные библиотеки • Эти платформы почти не видны (только для тех, кто разрабатывает алгоритмы – а таких людей мало) • Проблема двух языков (пишут на Python, переписывают на C++): решение видят в • Тут только «затраты», а не «результаты» -- поэтому людей мало. • Прогресса почти нет 9
  • 10. Платформы машинного обучения • Одной платформы не хватит никогда! • Master algorithm: тренд на гибридизацию разных подходов • Когнитивная архитектура: тренд на комбинирование разных подходов • Reinforcement learning • Adversarial architectures 10 Shallow Learning Big Data Deep Learning Neuro evolution Bayes Army Symbolic Теорема бесплатного завтрака
  • 11. Платформы глубокого обучения (коннективистские) • Определился безусловный лидер (в deep learning) – это TensorFlow, хочется этого или нет. • Коммодитизация: «обучение на развес», все на одно лицо. • Dataflow DSL – уже общее место (но есть и попытки вырваться за его пределы – MXNnet, динамическое построение сети в Chainer и т.д.). • Сложные полностью дифференцируемые архитектуры с памятями и вниманием. • Наборы данных и мониторинг state-of-the-art. • Главный сюжет – борьба за модульность и transfer learning (http://ailev.livejournal.com/1294242.html): • Компонуемость (composability) – «как конструктор» • Композициональность (compositionality) – «таблетка знаний» • На уровне архитектуры сети • На уровне архитектуры выученной модели 11
  • 12. Когнитивные архитектуры [пока не платформы, увы] Продвижений за год почти нет. Продолжается обсуждение проблем: • Проблема: дурные дискуссии про «настоящее творчество» – http://ailev.livejournal.com/1293469.html • Проблема: требование «объяснений» и «детерминистичности» (сертификация) • Проблема: строгость рассуждений (логика) и связь с символистами – http://ailev.livejournal.com/1284038.html, http://ailev.livejournal.com/1266905.html • Проблема: AutoML – http://automl.chalearn.org/ • Проблема: архитектуры с памятями и вниманием, несколькими сетками (adversarial, student-teacher при аппроксимациях) • Проблема: переползание от семантики к онтологии – http://ailev.livejournal.com/1289718.html • Проблема: … все классические проблемы зимы искусственного интеллекта 12
  • 13. Приложения: сила есть, ума не надо 13 CB Insights https://twitter.com/CBinsights/status/705403757916528640 Проблема: сертификация обучаемых систем
  • 14. Где деньги в интеллект-стеке? • Весь стек пока держат только Google и IBM, у остальных не хватает сил: дорого и рисково. • Инновации обеспечиваются (enable) с разных уровней стека – необязательно целевого. Это предпринимательский выбор, сколько вкладывать в нижележащие уровни! • Деньги будут вверху (прикладной уровень) и внизу (аппаратура), но не в середине. • На середину (языки, библиотеки, фреймворки обучения) время и деньги только тратим, заработать не удастся. Можно заработать славу и привлечь кадры, или выиграть месяц- два в экспериментах на прикладном уровне, потом это как-то монетизировать. • На уровне когнитивной архитектуры шансы заработать есть: ибо никто в этом пока не понимает. Всего-то нужно показать преодоление state-of-the-art! Но это искусственный интеллект, со всеми его трудностями, так что успехов! Прогнозы: • Интерфейсы уровней стека продолжат стабилизироваться, ходить «мимо платформ» будет всё дороже и дороже (как сегодня изобретать свои языки программирования и писать к ним компиляторы). • Явного победителя в каждом уровне стека пока не будет, будет конкуренция. Но лидеры будут очевидны (пример TensorFlow и CUDNN), как и с языками программирования.14
  • 15. Спасибо за внимание! Анатолий Левенчук, http://ailev.ru ailev@asmp.msk.su TechInvestLab 15