Михаил Громов, Сбербанк-Технологии

1. Длинный путь к DevOps?
МИХАИЛ ГРОМОВ

2. СЕГОДНЯ
Сбербанк «СберТех»
Более
120 млн
клиентов
Более
250 тыс.
квалифицированных
сотрудников
Клиенты розницы, от
всего населения ~143 млн
Банкоматы и устройства самообслуживания —
oдна из крупнейших международных сетей,
принадлежащих одному банку
Посетители Сбербанка ежедневно
Активные пользователи
«Сбербанк –онлайн»
>110 млн
~ 90 000
~ 4 млн
~ 13 млн
НАШ ПРОФИЛЬ: разработка и внедрение ПО
НАШ КЛИЕНТ: группа Сбербанк
ГОД СОЗДАНИЯ: 2011
ЧИСЛЕННОСТЬ: ~ 10 000 сотрудников
РЕГИОНАЛЬНАЯ СЕТЬ: 17 городов
532
проекта в работе 740
внедрений в месяц
2
TOP 20
Российский рейтинг
крупнейших ИТ компаний
TOP 5
Российский
рейтинг
крупнейших
разработчиков ПО
LEVEL 3
CMMI
>350
Автоматизированных
Систем

3. ЭВОЛЮЦИЯ ПРОЦЕССА ПРОИЗВОДСТВА
2013
РЕИНЖИНИРИНГ СКВОЗНЫХ
ПРОЦЕССОВ
• Фабрика разработки
растиражирована на 40%
разработок
• Определение единого процесса
в центрах разработки критичных
систем СБТ на основе «Quality
Gates»
2014
РЕИНЖИНИРИНГ СКВОЗНЫХ
ПРОЦЕССОВ
• Тиражирование единого
процесса на основе «Quality
Gates»
• Изменение оргструктуры по
Центрам компетенций и
создание единого центра
качества в СБТ
2015
РЕИНЖИНИРИНГ СКВОЗНЫХ
ПРОЦЕССОВ
• Увеличение доли внедренных в
срок ЗНИ с 55% до 98,1%
• Сокращение всех дефектов в
ПРОМ на 51,4 %
• Сокращение критичных
дефектов ПРОМ в >3 раза
2016
ТЕХНОЛОГИЧЕСКАЯ
ТРАНСФОРМАЦИЯ
• Внедрение Enterprise Agile
• Переход на бесшовные
технологии разработки и
внедрения (DevOps)
• Внедрение FastWaterFall
(Shiftleft Transformation)
2010
ФАБРИКА РАЗРАБОТКИ 1.0
• Внедрение традиционных
технологий и Agile (Scrum) во
внутренних центрах разработки
АБС
2011
ФАБРИКА РАЗРАБОТКИ 1.0
• Развитие процессов разработки
до уровня СMMI Level 2
• Повышение удовлетворенности
заказчиков с 3 до 6 и команд с
1,5 до 5,5 по 7 бальной шкале
для Agile команд
2012
ФАБРИКА РАЗРАБОТКИ 2.0
• Развитие процессов разработки
до уровня СMMI Level 3 для двух
центров разработки АБС
• Уменьшение количества
дефектов АБС на ~30%
3

4. ТЕХНОЛОГИЧЕСКАЯ ТРАНСФОРМАЦИЯ
УПРАВЛЕНИЕ РЕЛИЗАМИ
КОНТРОЛЬ
КАЧЕСТВА
КАЧЕСТВО СРОКИ TIME TO MARKET ?
Fast Waterfall
РАЗРАБОТКА
СИСТЕМНОЕ
ТЕСТИРОВАНИЕ
ИНТЕГРАЦИОННОЕ
ТЕСТИРОВАНИЕ
ПСИ
ВНЕДРЕНИЕ
…
DevOps
Enterprise Agile
>500 ЗНИ
>150 АС
Автоматизация рутинной работы Качество, встроенное на всех этапахИнженерно-ориентированная культура
КУЛЬТУРА
4

5. НАПРАВЛЕНИЯ РАЗВИТИЯ FAST WATERFALL (Shiftleft Transformation)
ЦЕЛЬ: получение обратной связи о качестве продукта на более ранних фазах
СТ 2СТ 2СТ 1
СИСТЕМНОЕ
ТЕСТИРОВАНИЕ
РАЗРАБОТКА ПСИ ВНЕДРЕНИЕ
ИНТЕГРАЦИОННОЕ
ТЕСТИРОВАНИЕ
ShiftLeft Testing ShiftLeft Testing ShiftLeft Testing
ИНТЕГРАЦИОННОЕ ТЕСТИРОВАНИЕ
1. Разработка по итерациям
2. Тестирование параллельно с разработкой – раннее
обнаружение дефектов
3. ПСИ параллельно с интеграционным тестированием
Для Legacy-систем - внедрение модели Fast Waterfall.
СУТЬ ИЗМЕНЕНИЙ
ПРИМЕНИМОСТЬ
0
200
400
600
800
1000
5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
ПИР21 ПИР22 ПИР23
ShiftLeft Testing
НЕДЕЛИ
КОЛИЧЕСТВОДЕФЕКТОВ 5

6. ВЫБОР МОДЕЛИ DEVOPS
Посмотрели различные модели Составили дорожную карту
6

7. ВНЕДРЕНИЕ DEVOPS
31%
46% 42% 42% 42% 42% 43%
0%
20%
40%
60%
80%
100%
Проверка Практика Этап Описание
Правила разработки кода VC Разработка
Правила работы с версионным хранилищем исходного кода согласованы, используются и,
при необходимости, обновляются.
Среда разработки AD Разработка
Среда разработки развёртывается автоматически, в процессе развёртывания ручного
вмешательства не требуется.
Именование сборок AB Разработка Используются единые правила наименования (нумерации) всех видов сборок.
Автоматизация сборки AB Разработка
Сборка пакетов - автоматизирована и централизована, в процессе сборки ручного
вмешательства не требуется (build scripts, выделенный сервер CI и т.п.)
Проект
Development
VC (Nexus) SecT
UAT Prod
VCR ACR AB AUT AD AT VC AD AT AD
ЕРКЦ
Сочл-Б.Вклады
Сочл-Б.Платежи
НИПР
МРМ КМ КБ
Карта1
ВрВр
ВОТЧ
Благосостояние
БазСерв. ЕРИБ
Меркурий
ФП Протокол
ФП СУП
Внедряется Планируется
7
(29%)
17
(71%)
ЧЕК-ЛИСТ 7

8. * LeadTime (LT) - время, необходимое на
выполнение ЗНИ (от старта релиза до
внедрения)
MTTD – среднее время обнаружения дефектов
MTTR – среднее время устранения дефектов
** Значения показателя уточняются
Уменьшение Т2М за счет сокращения LeadTime*
ЦЕЛЬ ВНЕДРЕНИЯ DEVOPS?
Что необходимо для сокращения LeadTime:
~100% ЗНИ в Интеграционных Релизах → LT ~6
месяцев
LT** = 138 дней
MTTD = 56 дней
MTTR = 12 дней
Текущее состояние
70% ЗНИ Интеграционных Релизах → LT 6 месяцев
30% ЗНИ Локальный ИР → LT 2 месяца
Сокращение на 20%
Целевое состояние
8
1. Снять ограничения:
• Скорость внедрения в ПРОМ
• Регресс
• Качество кода
• Архитектура
• Формулировка требований (MVP)
2. Тиражирование DevOps:
• Тиражирование практик DEV QA
• Тиражирование практик OPS

9. DEVOPS МЕТРИКИ
9
10%
20%
30%
40%
50%
60%
70%
0%
16%
28%
34%
46%
41% 42%
67 % DevOps внедрения до ПСИ
40
80
120
160
200
0
30.08.2016 13.09.2016 27.09.2016 11.10.2016
4 7 4 5
95 88
69 78
138
171
137 137
MTTR, дни MTTD, дни LT, дни

10.  Длительность короткого регрессионного тестирования < 3 дня;
 Длительность полного регрессионного тестирования < 7 дней;
 % автоматизации тестирования API – 60%;
 % автоматизации тестирования GUI – 30%;
 Плотность дефектов ПСИ на 1000 SLOС < 0,36;
LT = 6 мес.
LT = 1-3 мес.
LT = 2 мес.
LT = 6 мес.
LT = 1 мес.
СОКРАЩЕНИЕ LEADTIME ЗА СЧЕТ ВНЕДРЕНИЯ ЛИР DEVOPS
ЛИР DevOps
РОАСАС1
РОАСАС2
РОАСАС3
РОАСАС1
РОАСАС2
РОАСАС3
ПИР
Тиражирование DevOps за счет установки критериев включения в Локальный Интеграционный Релиз (ЛИР)
 Доля успешных автосборок – 80%;
 % автоматизации Unit-тестирования – 80%;
 Плотность дефектов на 1 ч/д разработки;
 Плотность дефектов ИФТ на 1000 SLOС < 2,25;
 Доля успешных автоустановок - 80%;
10
AB
AUT
AD
AT

11. DEVOPS МЕТРИКИ
52 55 55 61
45.4%
55.6% 57.0% 44.4%
15.8%
24.4% 28.6%
31.0%
45
50
55
60
65
0%
20%
40%
60%
80%
Q1 2016 Q2 2016 Q3 2016 Q4 2016
% АВТОМАТИЗАЦИИ ПО 61 АС
Кол-во АС % Авто запусков
% АФТ от плана 2015
1148 1120
718 689
5.6% 5.6%
5.0% 5.0%
0.0%
1.0%
2.0%
3.0%
4.0%
5.0%
6.0%
7.0%
8.0%
400
500
600
700
800
900
1000
1100
1200
Июль 2016 Август
2016
Сентябрь
2016
Октябрь
2016
ТЕХ. ДОЛГ (Рейтинг А)
Тех.долг Тех.долг ratio
7
17
24
32
40
46
57
-10
10
30
50
70
90
Q2 Q3 Q4 Q1 Q2 Q3 Q4
2015 2016
кол-воАС
- запланировано - реализовано
АВТОМАТИЗАЦИЯ 181 АС
80АС - с доработкой
68АС - автоматизация возможна
5410
1573
589
127 0
20
40
60
80
100
0
1,000
2,000
3,000
4,000
5,000
6,000
07/10/16
14/10/16
21/10/16
28/10/16
04/11/16
11/11/16
18/11/16
25/11/16
02/12/16
09/12/16
16/12/16
23/12/16
30/12/16
Инциденты План Передано АФТ
СТАТУС АТ Q4
11
AD
AT
AT
AT

12. Development QA
Operations
1.0
ОГРАНИЧЕНИЯ
DEVOPS – ЭТО ВЕРШИНА?
BizDevOps
BIZ
 Continuous Assessment
 50% фич никогда не используются
 12% опций клиенты используют активно
 Continuous Testing
 Регресс не зависит от поведения
клиента
12
ВЫЗОВЫ:
 Повышение гибкости производства
 Сокращение Time-To-Market
 Новые классы продуктов (BigData, Machine Learning)
 Разработка Экосистем (клиентоцентричных продуктов)
ВОЗМОЖНОСТИ

13. Михаил Громов
«СБЕРБАНК-ТЕХНОЛОГИИ»