Лекция А.Левенчука на семинаре РАБО и МТИ - «Нейротехнологии: новая перспектива в бизнес-образовании», 8 июня 2016

1. Образование по машинному обучению.
Семинар РАБО и МТИ «Нейротехнологии: новая
перспектива в бизнес-образовании»
Москва
8 июня 2016г.

2. Чему учим?
Практика = дисциплина + технология
Дисциплинированные (компетентные) исполнители,
обеспеченные необходимыми для поддержки дисциплины инструментами
2

3. Схематизация:
различение дисциплины и технологии в практике
• дисциплины = мышление (операции с абстрактными типизированными
объектами). Меняются за 30 лет. Учатся в школе и ВУЗе. Практика
определяется по её дисциплине. Инвестиции в «человеческий капитал».
• технологии = инструменты и рабочие продукты (поддержка мышления в
экзокортексе). Меняются каждые 5 лет. Учатся на производстве. Проекты
используют технологии как «ресурсы». Инвестиции в традиционный
капитал.
• Понимание связи дисциплин и технологий, идеальных объектов
дисциплин и рабочих продуктов в жизни нужно ТРЕНИРОВАТЬ, для этого
обычно нужен преподаватель
3
В жизни ни одного
слова из учебника
В учебнике ни
одного слова из
жизни
=Компоненты,
функциональные
единицы,
альфы
=Модули,
конструктивные
единицы,
рабочие продукты

4. Главная дилемма образования
• Формальное образование против
материального
• Быдлокодеры и быдлонейротехнологи

5. Биологическое «нейро»
• Нейро – обычно всегда «живое»,
нейрофизиология
• Искусственное «нейро» -- deep learning или
machine learning
• Они родственники, но дальние! (вдохновляют
друг друга, но не более)
• Справка по нейронет
• Коллаборативный нейронет (мониторинг
когнитивной нагрузки, в т.ч. при обучении)
• НТИ Нейронет («Рособороннейро»)

6. Моделирование, программирование, проектирование
• Противопоставляются обучению
• Развивается ускоренными темпами: конвергенция
• Главный тренд: «мета» (модели моделей, уровни абстракции)
• Они всё про одно и то же: формальные описания мира
• Разница: цели, способы выполнения, языки
• Моделирование: выполнение=«как договоримся»
• Онтологизирование: моделирование концептов («formal specification of
shared conceptualization»).
• Физическое моделирование
• Программирование: выполнение = вычисление в семантике какого-
то языка
• Проектирование: выполнение=воплощение в пространстве-
времени
• Граница с обучением размывается: множество работ типа
диссертации Войцеха Зарембы «Learning Algorithms from Data»
(http://www.cs.nyu.edu/media/publications/zaremba_wojciech.pdf)
6

7. И тут пришёл коннекционизм («нейронные сети»)
http://blogs.nvidia.com/blog/2016/01/12/accelerating-ai-artificial-intelligence-gpus/
2012 –
догадались
использовать
GPU для
распознавания
изображений
2015 –стали
распознавать
лучше людей
С тех пор
темп
открытий не
уменьшился.

8. В чём суть сегодняшнего прорыва
в машинном интеллекте?
• Отказ от логики (даже нечёткой) в пользу
многоуровневых распределённых представлений
(коннекционистская парадигма) –
http://ailev.livejournal.com/1228029.html
• Распределённость – это не раскиданные по разным
носителям тексты! Это совсем-совсем другое (более
похоже на голограммы против растровой или
векторной графики – нельзя указать, где в
голограмме хранится какой пиксель или вектор
картинки).
• В распределённых представлениях можно также
делать логический вывод –
http://ailev.livejournal.com/1266905.html
8

9. За счёт чего сверхчеловеческие
(superhuman) результаты?
• Многослойность нейронной сети: каждый уровень сети
– это уровень абстракции.
• У людей немного уровней нейронной сети, в
компьютерах уже сегодня число уровней моделируется
больше, чем в мозге.
• Это означает, что мощность представления мира в
нейронных сетях в каждой предметной области выше.
Так что речь сейчас идёт больше о наборе достаточной
«широты» (предметных областей), глубины (числа
уровней абстракции) уже хватает.
• Снятие ограничения на число уровней абстракции
заодно позволяет нейронной сети быть «умней» в науке
и инженерии: работать с более сложными, более
абстрактными теориями и эвристиками – в том числе и
недоступными для понимания человеком.
9

10. Машинное обучение, обучение
репрезентациям, deep learning
(собственно «нейро»).
Shallow
Learning
Big Data
Deep
Learning
Neuro
evolution
Bayes
Army
Symbolic
10
Теорема
бесплатного
завтрака

11. Master Algorithm
Pedro Domingos
[module/construction]
• Symbolic
• Evolution
• Connectivist
• Bayesian
• Analogy
[No free lunch!]
Sarath Chandar
[component/function]
• multi-task learning
• transfer learning
• zero-shot/one-shot
learning
• multi-modal learning
• reinforcement learning
11
http://apsarath.github.io/2016/01/19/agi/ http://www.amazon.com/dp/0465065708/

12. Специальность «инженерия машинного обучения»
• Systems engineering [Bell Labs in 1940s, boosted as a
profession by NCOSE 1990]
• Software engineering [term appeared in 1965, boosted by
NATO as a profession in 1968]
• Machine learning engineering [term appeared in 2011]
12https://www.google.com/trends/explore#q=machine%20learning%20engineering&cmpt=q&tz=Etc%2FGMT-3

13. Intelligence Platform Stack
and machine learning engineering in it
13
Application (domain) Platform
Cognitive Architecture Platform
Learning Algorithm Platform
Computational library
General Computer
Language
CPU
GPU/FPGA/Physical
computation Drivers
GPU/FPGU/Physical
computation Accelerator
Neurocompiler
Neuromorphic driver
Neuromorphic chip
Disruptionenablers
Disruptiondemand
Thanks for computer gamers for their disruption demand
to give us disruption enabler such as GPU!

14. С чего начать
14
Недавно в ходе пятидневного вводного курса, проводимого Обучающим
центром МТИ, одна женщина-менеджер из конструкторского отдела
компании Ford лаконично сформулировала ситуацию: «Спустя пару
дней, — сказала она, — я начинаю понимать, о чем вся эта история с
системным мышлением и интеллектуальными моделями. Мне это
напоминает время, когда я только начала знакомиться с высшей
математикой. Сначала я чувствовала себя совершенно потерянной.
Все это было мне совершенно чуждо. Но потом я начала
«схватывать» суть. Через год я уже вполне владела основами этого
дела. Через пять лет это стало основой моей профессии». Потом она
добавила: «Если бы высшую математику изобрели сегодня, ни одна из
наших корпораций не смогла бы ею овладеть. Мы бы посылали
каждого на трехдневные курсы. Затем каждый получал бы три месяца
на то, чтобы посмотреть, работают ли «все эти штуки». А когда
выяснялось бы, что они не работают, мы бы начинали пробовать
что-нибудь другое».
Питер Сендж, "Пятая Дисциплина"

15. Что внутри (компетенции)
• Это не похоже на образование программиста!
• Непрерывная математика:
• линейная алгебра
• Матанализ
• Байесовская статистика
• Численные методы
• Математическая оптимизация (включая нелинейную)
• Спецкурсы по машинному обучению
• Проблема: каждый год предметная область существенно обновляется!
• Программная инженерия
• Scientific computing: [было Fortran и MATLAB], С++, Python, будет Julia (остальное
маргинально, например R главным образом используется в shallow learning)
• Кавалерийский наскок (трёхдневные курсы повышения квалификации) не
поможет!
• Переучивать программиста дольше, чем доучить физика или инженера
(линейная алгебра и матан заходят в мозг долго и требуют тяжёлого труда
– современных программистов этому по факту не учат).

16. Conversion of engineerings
and
Disruption of engineerings
16
Software
Engineering
Machine
Learning
Engineering
Janosh Szepanovits.
Convergence: Model-
Based Software, Systems
And Control Engineering
+
http://www.infoq.com/presentations/Model-Based-Design-Janos-Sztipanovits
Le Bottou – «Machine Learning disrupts
software engineering»
http://leon.bottou.org/slides/2challenges/2challenges.pdf
We can add:
• Machine learning disrupts
systems engineering
• Machine learning disrupts
control engineering
• …
• Machine learning disrupts
contemporary engineering
А что с инженерным образованием?!

17. Ещё?
• Такие же изменения в структуре предметов, которые
когда-то вызвали
• информационные технологии (по содержанию работы)
• интернет (по организации работы)
• Пример: лингвистика уже совсем-совсем другая,
массовая нужда в нейролингвистах:
• Чатботы колл-центров
• Чатботы всех устройств с контроллерами
• Обработка и синтез текстов на многих языках
• Лингвистика сегодня – это и про обработку изображений
(описания изображений, построение изображений по
описаниям)
• Реклама и маркетинг с пропагандой, игры и
развлечения, социальные сети, системы безопасности,
ПРАКТИЧЕСКИ ВЕЗДЕ, ГДЕ НУЖЕН ЧЕЛОВЕК: можно
• автоматизировать то, что делалось людьми раньше
• Делать то, что раньше люди делать не могли (в силу
ограничений человека).

18. 18
Спасибо за внимание
Анатолий Левенчук,
http://ailev.ru
ailev@asmp.msk.su