Как оценить эффективность обучения

・ Как оценить эффективность ・
АЛЕКСЕЙ КАПТЕРЕВ
@kapterev
!
ОБУЧЕНИЯ

Слушай, а какой процент
после твоего тренинга
«взяли и побежали»?
— Ой, много!
Процентов 10!
Ок, ну может 20…
—

Половину денег на рекламу я трачу
впустую — проблема в том, чтобы
понять, какую именно половину.
"
ДЖОН УОННАМЕЙКЕР
Пионер маркетинга

НАША  
ЦИФРА  
БЛИЖЕ  
К 80%
◆
◆

Мне реально не хватает
обратной связи.
—

1
2
3
4
2011 2012 2013 2011 2012 2013
3.743.66
3.4
3.913.873.77
Преподаватель понятно излагает материал
Моя оценка Средняя оценка всех 
преподавателей курса

2.5
3
3.5
4
Я прихожу на занятие хорошо подготовленным
2011 2012 2013 2011 2012 2013
3.643.63
3.49
3.743.723.65
Я активно участвую в дискуссиях на занятии
2011 2012 2013 2011 2012 2013
3.55
3.383.36
3.78
3.54
3.33
Преподаватель понятно излагает материал
2011 2012 2013 2011 2012 2013
3.743.66
3.4
3.913.873.77
Преподаватель указывает на ключевые 
для понимания курса моменты
2011 2012 2013 2011 2012 2013
3.783.69
3.43
3.913.783.65
Преподаватель умело инициирует и управляет дискуссиями
2011 2012 2013 2011 2012 2013
3.693.63
3.35
3.913.833.75
Преподаватель дает полезные замечания по 
результатам письменных заданий и тестов
2011 2012 2013 2011 2012 2013
3.663.56
3.27
3.873.83.76
Преподаватель стимулирует интерес к  
изучению дополнительных материалов
2011 2012 2013 2011 2012 2013
3.63.49
2.94
3.913.83.62
Преподаватель относится к студентам с уважением
2011 2012 2013 2011 2012 2013
3.813.84
3.02
3.873.853.88
Преподаватель доступен для консультаций помимо занятий
2011 2012 2013 2011 2012 2013
3.59
3.41
3.19
3.78
3.543.54
Я понимаю задания, которые выдаются для
работы в группе, и какие навыки они развивают
2011 2012 2013 2011 2012 2013
3.713.69
3.46
3.913.743.73

В целом, презентует  
очень плохо
В целом, презентует
отлично
«Растекается мыслью»,
много и ни о чем
Фокусируется на
ключевой идее, тезисе
Информирует, не
задумываясь о мотивации
Мотивирует, обсуждая
актуальные проблемы
Говорит абстрактно,  
без привязки к бизнесу
Говорит практично,  
по делу
Не использует цифры или
использует неэффективно
Использует цифры,
статистику
Не использует эмоции  
или использует неуместно
Говорит эмоционально,
когда это уместно
Не поддерживает контакт,
говорит сам с собой
Поддерживает контакт с
аудиторией
Не рассказывает историй
Рассказывает истории,
кейсы, примеры
Не использует юмор или
использует неуместно
Уместно использует юмор
1 2 3 4 5
2.4
3.1
3.9
3.0
3.9
4.3
3.7
3.9
3.9
2.8
3.2
3.2
3.0
3.4
3.7
3.1
3.7
3.4
Средние оценки
Была тройка с плюсом — стала четверка с минусом. Чуда не произошло, но заказчик очень доволен.
Было Стало

#
СРЕДНЯЯ  
ОЦЕНКА  
МАЛО  
О ЧЕМ  
ГОВОРИТ

Златомир
отлично
по делу
1 2 3 4 5
3.4
4.1
4.8
3.4
3.6
4.1
4.5
3.9
4.5
3.0
4.0
3.0
3.7
4.4
4.1
3.5
4.0
4.1
С самого начала выступал очень хорошо, но была пара серьезных недостатков. Их удалось поправить.
Было Стало

Рогнеда
отлично
по делу
1 2 3 4 5
2.1
2.9
3.9
3.1
4.0
4.4
3.6
4.1
3.9
2.6
3.4
4.1
3.1
4.0
3.6
3.3
4.0
3.7
Пропустила несколько занятий, особой разницы не заметно. Что-то лучше, что-то хуже — на уровне погрешности.
Было Стало

Марфа
отлично
по делу
1 2 3 4 5
2.1
2.9
3.9
3.1
4.0
4.4
3.6
4.1
3.9
1.5
1.7
2.7
2.2
2.5
3.2
2.7
3.7
2.8
Удивительно хорошо выступила на «зачете», никто не ожидал. Будем считать, чудо.
Было Стало

Ярополк
отлично
по делу
1 2 3 4 5
2.1
2.9
3.3
2.3
3.9
4.0
3.3
3.3
3.3
2.3
2.6
2.7
2.4
3.0
3.3
2.9
3.0
2.7
Весьма умеренный, но все же прогресс.
Было Стало

Зореслав
отлично
по делу
1 2 3 4 5
2.1
2.9
3.9
3.1
4.0
4.4
3.6
4.1
3.9
3.3
2.8
2.9
2.8
2.2
3.8
2.7
3.7
3.1
Очень хороший прогресс, как раз то, чего реалистично можно было бы ожидать за это время.
Было Стало

Easy, economic, expedient - An effective
training evaluation model for SMEs
Sajid Khan, Phil L. Ramsey 
School of Management, Massey University,
Palmerston North, New Zealand

УРОВНИ ОЦЕНКИ  
по Киркпатрику и Филипсу
1. Реакция: понравилось ли людям обучение
2. Обучение: приобрели ли люди знания или навыки
3. Поведение: используют ли люди знания на работе
4. Результаты: изменились ли их KPI
5. ROI: есть ли монетарный возврат на инвестиции

ЧТО МЫ ДЕЛАЕМ?  
данные вымышлены, совпадения случайны
Реакция
Обучение
Поведение
Результаты
ROI
0% 25% 50% 75% 100%

ЧТО МЫ ХОТИМ?  
данные вымышлены, совпадения случайны
Реакция
Обучение
Поведение
Результаты
ROI
0% 25% 50% 75% 100%

КТО ВЫ? МЫ УЧАСТНИКИ  
ТРЕНИНГА!!!
ВАМ ПОНРАВИЛСЯ ТРЕНИНГ?
ДА!!!
НИЧЕГО!!!
ЧТО ВЫ БУДЕТЕ
ИСПОЛЬЗОВАТЬ?

А почему мы не  
меряем ROI?
— Встречный вопрос:
а какой ROI у
измерения ROI?
—

МЕРИТЬ НЕ ДЛЯ
ИЗМЕРЕНИЙ
#
МЕРИТЬ ДЛЯ  
УЛУЧШЕНИЙ

Ну как вам?— Ой, всем очень
понравилось!
—

ПЛАН ДЕЙСТВИЕ ОЦЕНКА= =
=
=
=

ИЗМЕРЯТЬ  
ДОРОГО! ◆
◆

Попробуй
СТОРИТЕЛЛИНГ!◆ ◆

НЕ МЫ ПЕРВЫЕ,  
НЕ МЫ ПОСЛЕДНИЕ
#

ДВОЙНОЕ СЛЕПОЕ
РАНДОМИЗИР ОВАННОЕ
ПЛАЦЕБО-КОНТР ОЛИРУЕМОЕ
ИССЛЕДОВАНИЕ
"
"

Greenhalgh T (July 1997). "How to read a paper. Getting
your bearings (deciding what the paper is about)". BMJ
315 (7102): 243–6. doi:10.1136/bmj.315.7102.243.
PMC 2127173. PMID 9253275.
1. Систематические обзоры и мета-анализы исследований с определенными
результатами
2. Рандомизированный плацебо-контролируемые исследования с определенными
результатами
3. Рандомизированный плацебо-контролируемые исследования с неопределенными
результатами (эффект присутствует, но перекрывается доверительным интервалом)
4. Когортные исследования
5. Контрольно-диагностические исследования
6. Кросс-секционные исследования
7. Клинический случай (кейс)
СИЛА ДОКАЗАТЕЛЬСТВ  
в медицинской практике

СИЛА ДОКАЗАТЕЛЬСТВ  
в американской юридической практике
1. Вне разумных сомнений
2. Ясное и убедительное доказательство
3. Превалирующее доказательство
4. Существенное доказательство
5. Некоторое достоверное доказательство
6. Разумное предположение
7. Разумное подозрение

Although observational studies cannot be used as reliable sources to
make statements of fact about the "safety, efficacy, or effectiveness"
of a practice,[3] they can still be of use for some other things:
"[T]hey can:
1)provide information on “real world” use and practice;
2)detect signals about the benefits and risks of...[the] use [of
practices] in the general population;
3)help formulate hypotheses to be tested in subsequent
experiments;
4)provide part of the community-level data needed to design more
informative pragmatic clinical trials; and
5)inform clinical practice."[3]
Richard Nahin, Ph.D., M.P.H., Senior Advisor for Scientific Coordination and
Outreach, National Center for Complementary and Alternative Medicine,
June 25, 2012

✤ После не значит вследствие
✤ Эффект Пигмалиона
✤ Эффект наблюдателя
✤ Эффект плацебо
✤ …
ГДЕ ТУТ МОЖНО
ОШИБИТЬСЯ?

✤ Что происходит «в реальности»?
✤ Каких результатов программа позволяет
добиваться?
✤ Какова ценность результатов?
✤ Как можно улучшить программу?
ВОПРОСЫ SCM

✤ Кто применяет новые методы, а кто нет?
✤ Что применяется, а что нет?
✤ Насколько широко распространилось
применение?
✤ Какие группы участников используют, а
какие — нет?
✤ В каких ситуациях используются новые
методы?
ЕЩЕ ВОПРОСЫ
Чуть более конкретные

60% участников использовали программу чтобы
достичь увеличения продаж, повышения лояльности
или увеличения среднего дохода от клиента.
Из этих 60% — 20% перевыполнили план продаж на
15% и больше.
С другой стороны, 28% сообщили, что не используют
новые инструменты и не ощутили влияния на
продажи, лояльность или доход.
Еще 12% сообщают о некоторых успехах, но их планы
продаж не выполнены.
КОЛИЧЕСТВЕННЫЕ
ОЦЕНКИ ИЗ SCM

✤ Обучение нельзя изолировать
✤ Тренеры должны стать бизнес-партнерами
✤ Индивидуальный подход
✤ Мы не можем полагаться только на:
✤ Ощущения
✤ Наблюдения
✤ Здравый смысл
✤ Цифры
✤ Можно полагаться на все четыре вещи сразу
РЕЗЮМЕ

License: CC, Attribution, Share Alike | http://creativecommons.org/licenses/by-sa/2.5/
kapterev@gmail.com
ALEXEI KAPTEREV
KAPTEREV.COM

Как оценить эффективность обучения

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à Как оценить эффективность обучения

Similaire à Как оценить эффективность обучения (20)

Plus de Alexei Kapterev

Plus de Alexei Kapterev (20)

Как оценить эффективность обучения