Гиперконвергентность — мягкое введение в веб-масштаб / Андрей Николаенко (IBS)
•
1 j'aime•610 vues
Ключевой признак инфраструктуры веб-масштаба — горизонтальная масштабируемость посредством унифицированных строительных блоков — на основе x86-узлов, притом без таких традиционных для «корпоративного» (Enterprse-) сегмента элементов, как выделенные сети хранения данных (SAN), выделенные комплексы резервирования, архивирования. Именно на этой особенности веб-масштаба фокусируются аналитики Gartner, когда говорят о центре обработки данных «в стиле Google» и видят будущее в таком подходе и для корпоративного направления IТ. Привлекательность такой унификации и ухода в «веб-масштаб» по части инфраструктуры очевидна, но ведь реальные приложения корпоративных заказчиков, нажитые и выстраданные за долгие годы выбора, внедрений, развития создавались для иных моделей развёртывания. В данном докладе мы попробуем ответить на вопрос — возможно ли, не разрушив это наследие, перейти к «ЦОДу в стиле Google»?
Recommandé
Recommandé
Contenu connexe
Tendances
Tendances (20)
En vedette
En vedette (6)
Similaire à Гиперконвергентность — мягкое введение в веб-масштаб / Андрей Николаенко (IBS)
Similaire à Гиперконвергентность — мягкое введение в веб-масштаб / Андрей Николаенко (IBS) (20)
Plus de Ontico
Plus de Ontico (20)
Гиперконвергентность — мягкое введение в веб-масштаб / Андрей Николаенко (IBS)
- 1. Гиперконвергентность – мягкое введение в веб-масштаб Андрей Николаенко 0.9
- 2. Системный архитектор в IBS О т р е ч е н и е В с я к и й с и с т е м н ы й и н т е г р а т о р – « а к у л а к а п и т а л и з м а » I B S – р а з р а б о т ч и к с о б с т в е н н о г о г и п е р к о н в е р г е т н о г о к о м п л е к с а I B S – п о с т а в щ и к г и п е р к о н в е р г е т н ы х с и с т е м д р у г и х п р о и з в о д и т е л е й С о т р у д н и к I B S , н о н е « з а с л а н е ц I B S » и н е « с п и к е р I B S » Т о л ь к о с о б с т в е н н о е м н е н и е , и н и к а к и х « о ф и ц и а л ь н ы х м н е н и й I B S » О б щ е с т в е н н о е А д м и н и с т р а т о р р у с с к о г о р а з д е л а В и к и п е д и и П р о ф е с с и о н а л ь н ы й ч л е н А с с о ц и а ц и и в ы ч и с л и т е л ь н о й т е х н и к и ( A C M )
- 3. График дня 0% 20% 40% 60% 80% 100% 120% Гиперконвергентные системы All-flash-массивы Интегрированные комплексы Системы хранения напрямую от ODM Гибридные флэш-массивы Корпративные сети Внешние системы хранения Серверы Рынок инфраструктуры в целом Технологии-«толкачи» роста мирового рынка ИТ -инфраструктуры (рост в %, 2015 год) Источник: IDC, 2015
- 4. Тема часа …нужно уметь жить и работать в гиперконвергентных условиях… …скорее всего, это будет просто! Но есть тонкости… Программному обеспечению для корпоративного сектора…
- 5. План: разобрать тему доклада Гиперконвергентность – мягкое введение в веб-масштаб П о ч е м у и м е н н о « в е б - м а с ш т а б » ? Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ? В ч ё м « м я г к о с т ь » ? П о ч е м у л и ш ь « в в е д е н и е » ? I II III IV
- 6. Завидует «Энтерпрайс» «Вебу»… П о ч е м у и м е н н о « в е б - м а с ш т а б » ?I Гипермасштабируемость Максимальная плотность Низкая стоимость стройблока Замена стройблока как естественный процесс Одно «суперприложение»
- 7. Почему так не делали сразу? П о ч е м у и м е н н о « в е б - м а с ш т а б » ?I Королевство сайзинга Конгломерация ландшафтов Империя compatibility • «Отсайзеный» программно- аппаратный комплекс для каждой информационной системы • Все «ландшафты» в каждом комплексе! • Sizeof(Preprod)==Sizeof(Prod) • Строгие матрицы совместимости тиражируемых приложений, настоятельные рекомендации консультантов и интеграторов
- 8. Enterprise-установки П о ч е м у и м е н н о « в е б - м а с ш т а б » ?I Надёжность 9999 «Промышленные платформы» Референции Физическая изоляция ресурсов Безопасность • (доходящая до паранойи)
- 9. Каждая информсистема как целостный мир П о ч е м у и м е н н о « в е б - м а с ш т а б » ?I Сервер приложений (×10, Prod) Сервер приложений (×2, Preprod) Сервер приложений (×2, Dev-Test) Сервер СУБД (RISC, Prod) Сервер СУБД (RISC, Preprod) Сервер СУБД (RISC, Dev-Test) Станция тестирования (×2) Hi-end SAN Флэш-массив (кэш Prod) Mid-range SAN (Dev-Test) Коммутатор SAN (×2) Коммутатор 10GbE (×2) Балансировщик нагрузки (аппаратный) Комплекс резервного копирования …. ×2 (катастрофоустойчивость) ×20 (количество систем)
- 10. Мышление на уровне «решений» П о ч е м у и м е н н о « в е б - м а с ш т а б » ?I Поддержка на «решение» и на каждый компонент Крупнособытийный подход «Событие принятия решения» «Событие поставки» … Водопадный жизненный цикл «темы» Обоснование Выбор поставщика Техпроект Поставка Пуско-наладка Внедрение «Перевод в пром» … Раздельные «темы» – раздельная ответственность
- 11. Когда попадают в сравнение… П о ч е м у и м е н н о « в е б - м а с ш т а б » ?I … и вскоре для поиска пришлось прикручивать Sphinx на x86_64!
- 12. … и вынуждены меняться П о ч е м у и м е н н о « в е б - м а с ш т а б » ?I Недоиспользование мощностей, тогда как «мир ушёл вперёд» Виртуализация систем Контейнеры Виртуализация сети Дедупликация и сжатие Исчерпание резервов экстенсивного роста «Совместимое» развитие существующего Освоение нового Интеграция…
- 13. Кто так назвал? П о ч е м у и м е н н о « в е б - м а с ш т а б » ?I А н а л и т и к G a r t n e r К э м е р о н Х э й т
- 14. Развитие мысли… П о ч е м у и м е н н о « в е б - м а с ш т а б » ?I
- 15. Приоритеты-2015 П о ч е м у и м е н н о « в е б - м а с ш т а б » ?I Источник: State of Hyperconverged Infrastructure, Actual Media,2015B
- 16. Гиперконвергентность – мягкое введение в веб-масштаб Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II
- 17. Слово-раздражитель Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II Корпоративный сектор: «Приелись хитрые концепции» «Хранилищу по Ethernet не бывать!» «Не может россыпь быть надёжнее суперузла!» «Виртуализация – это накладные расходы» Веб: «Это вообще о чём?» «Зачем слово нужно, когда это что-то банальное?»
- 18. Целевая идея: стройблок универсален! Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II Управляем …. так, чтобы можно было заменить диск, карточку, узел целиком без останова Быстрый и отзывчивый интерконнект стал недорог можно наживую мигрировать виртуальные машины …справляется с распределённым хранением Устройства хранения для виртуальных машин раздаются из единого пула хранения Весь ввод-вывод контролируется системой управления Берём x86_64-стройблоки на каждом будем запускать виртуальные машины устройства хранения каждого – в единый пул
- 19. Стройблок отдал всё в пулы… Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II Пул хранения Том ВМ1 Том ВМ2 … ВМ1ВМ1 Гипервизоры …… Гипервизоры Вычислительныйпул
- 20. Свойства-носители Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II программная определяемость самовосстановление перебалансировка исключение единой точки отказа распределение нагрузки для исключения узких мест
- 21. Программная определяемость Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II Гиперконвергентная система – это в первую очередь много программного обеспечения, подруженного между собой • Во-вторую очередь – аппаратное обеспечение массового класса, но с тщательно подобранными параметрами Программно-определяемая сеть, подруженная с гипервизором – ключевой компонент • Виртуальная машина-контроллер или [спец-]гипервизор презентуют программно-определяемую сеть виртуальным машинам «Программно-определяемый вычислитель»
- 22. Как оно на слом? Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II Упала виртуальная машина? Запустилась заново Отвалился диск? Пошла перебалансировка Сигнал администратору Отрубился узел? Машины переехали на другой узел Перебалансировка хранилища Сигнал администратору
- 23. Главные фишки Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II [максимальная] локальность на чтение локальные [SSD]-кэши моментальные снимки динамическое выделение ресурсов (thin provisioning) мгновенное клонирование (cloning)
- 24. От малых до великих Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II Основа широты охвата – «горизонтальный» дизайн программно-определяемой сети хранения • 3-4 узла – уже полноценный комплекс • Полсотни узлов – распространённые инсталляции • Существуют инсталляции из нескольких сотен узлов
- 25. Типичный дизайн стройблока Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II 2 U 2× ЦПУ Xeon E5 256 ГБ ОЗУ 4× SSD (400 ГБ) 8× HDD (7200 об/мин; 1,2 ТБ)
- 26. Кто придумал? Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II Стив Чемберс, 2012 бывший CTO VCE [VCE = VMWare + Cisco + EMC] «SAN не нужен»!
- 27. Положение на карте мировых ИТ Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II Серверное оборудование для организаций Серверы x86 Серверы RISC Сети хранения … Интегрированные системы Платформенные комплексы Инфраструктурные комплексы Гиперконвергентные комплексы
- 28. Магический квадрант Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II О бл а с т ь г и п е р к о н в е р г е н ц и и Интегрированные системы «Стековые» (машины баз данных, серверы приложений…) Конвергентные (с дисковым массивом) Гиперкнгвергентные
- 29. Магический квадрант в динамике Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II – Magic Quadrant for Integrated Systems, 2014 Источник: Gartner, 2014, 2015
- 30. Ключевые игроки Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II • доля рынка Диаметр шара • широта возможностей Capabilities • оценка стратегииStrategies
- 31. Nutanix vs SimpliVity Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II N u t a n i x S i m p l i v i t y Основание 2009 2009 Штаб-квартира Сан-Хосе (Калифорния) Уэстборо (Массачусетс) Инвестиции $312 млн $276 млн Запуск продукта 2011 2012 Идеология SDS глубокой проработки с идеями из Google Filesystem и MapReduce ПЛВМ на каждом узле жмёт и дедуплицирует весь ввод-вывод
- 32. Возможности Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II Источник: Simplify the Midmarket Data Center With Hyperconverged Infrastructure Solutions // Gartner, 2015
- 33. Где же гранды? Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II Оригинал «мертвецов»: Кейд Мец (Wired, 2015) Е щ ё н е в ы м е р л и ! Н о т о л ь к о с е й ч а с в ы в о д я т г и п е р к о н в е р г е т н ы е п р о д у к т ы
- 34. “В «вебе» делают то же самое!” Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II Parallels aka Virtuozzo aka Odin aka Росплатформа Virtuozzo Containers Virtuozzo Hypervisor Virtuozzo Storage Автоматизация, управление Живые и крупные IaaS-провайдеры Вокруг RHEV Xen или KVM Ceph или GlusterFS «Ansible в руки» (или oVirt) OpenStack Openstack идёт в корпоративный сектор… … но внедрение OpenStrack – как внедрение ERP Гиперконвергентные комплексы поддерживают OpenStack
- 35. Несанкционная гиперконвергенция (Скала-Р) Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II Средства информационной безопасности Мониторинг (Vento, Naumen) Резервирование (Acronis) Полный комплект Virtuozzo [VZ-]контейнеры Гипервизор Программно- определяемая сеть Управление Сеть 56 GbE (Mellanox) Узлы Depo Computers
- 36. IDC Russia, 2014 Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II “Конвергентные платформы, в основе которых лежат совместимые и интегрированные аппаратные средства и ПО, будут пользоваться большим спросом, чем разобщенные продукты от многочисленных производителей. Здесь есть потенциал для развития отечественной программной и аппаратной разработки, а также большего использования решений китайских поставщиков”
- 37. Прогноз в мире интегрированных систем Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II
- 38. Цикл шума для мира технологий хранения Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II Источник: Hype Cycle of Storage Technologies // Gartner, 2015
- 39. Цикл шума для серверных технологий Ч т о т а к о е « г и п е р к о н в е р г е н т н о с т ь » ?II Источник: Hype Cycle of Server Technologies // Gartner, 2015
- 40. Гиперконвергентность – мягкое введение в веб-масштаб В ч ё м « м я г к о с т ь » ?III
- 41. “Gentle introduction” → “gentle deployment” В ч ё м « м я г к о с т ь » ?III «Мягкое внедрение»
- 42. Не просто «миграция», а «конверсия»! В ч ё м « м я г к о с т ь » ?III Нужно «всего лишь» всё виртуализировать и разместить на подготовленной сети хранения Существуют отработанные технологии и техники переноса Проект может быть коротким, стремительным и … даже одномоментным
- 43. Ведомство до конверсии В ч ё м « м я г к о с т ь » ?III Более двухсот (!) информационных систем Микросистемы Большие системы Сверхбольшие системы У каждой системы Свой комплект «базового ПО» Свои регламенты резервирования, восстановления Для каждой системы Собственные планы по модернизации Специфические требования по «совместимости»
- 44. Ведомство: проект конверсии В ч ё м « м я г к о с т ь » ?III Idéfix: комплексирование • Проанализированы требования по базовому ПО • Выделены блоки по СУБД, серверам приложений • Подготовлены к раздельной инсталляции («внутренний DBaaS» и «внутренний AppSrvaaS») Рассчитаны потребности в мощностях • На основании используемых мощностей оборудования • [Но это значительная перезакладка по мощностям] Платформа для индивидуальной проработки • СУБД 1960-х годов, работающая только с блочным устройством пара месяцев, обстоятельно две недели
- 45. Ведомство: «большой взрыв» В ч ё м « м я г к о с т ь » ?III Переключение на DBaaS • Переключение на действующих системах • Проверка функционирования Финальный план переезда • IP, конфигурации, что «доправить» Переезд • Снятие образов (в основном – нахолодную) • Запуск в новой среде • Доконфигурирование Мониторинг, мониторинг, мониторинг два выходных два выходных две недели
- 46. Ведомство после конверсии В ч ё м « м я г к о с т ь » ?III Сопровождение инфраструктуры отделено от сопровождения информационных систем Сопровождение ключевых платформ (СУБД, серверы приложений) отделено от сопровождения информационных систем Крупные «пучки» систем направлены на «логическое комплексирование» Переход на «частно-облачную» модель обслуживания и развития
- 47. и Ведомство: распутываем «тёмную материю» В ч ё м « м я г к о с т ь » ?III Неизвестно, что делающие узлы… • Но возможно выполняющие какие-то нужные сервисы? Конверсия • Что-то стало понятно на этапе зависимостей Отключение «непонятных» Нашёлся один нужный (через месяц позвонил пользователь) Через две недели после «большого взрыва»
- 48. Ведомство: будущее В ч ё м « м я г к о с т ь » ?III «Катастрофоустойчивость» (вторая площадка) Внедрение VDI «Стандарт модернизации» и соответствующий процесс Меньше IaaS, больше PaaS (унификация по версиям СУБД и серверов приложений)
- 49. Основные драйверы конверсии В ч ё м « м я г к о с т ь » ?III Источник: IDC European Storage Survey 2015, Europe (410 responses). 1Q15 (only companies using Hyperconverged) 20% 23% 26% 28% 30% 30% 33% 35% 0% 5% 10% 15% 20% 25% 30% 35% 40% Избавление от SAN Экономия на штате Другой тип резервирования Проще вписаться в бюджет Проще сделать катастрофоустойчивость Проще в установке Скорость развёртывания Масштабируемость
- 50. Проекты-паровозы конверсии В ч ё м « м я г к о с т ь » ?III Источник: IDC European Storage Survey 2015, Europe (410 responses). 1Q15 (only companies using Hyperconverged) Крупные Построение инфраструктурного частного облака Средние-1 Создание инфраструктуры удалённых рабочих столов (VDI) Средние-2 Консолидация филиальной сети Малые Очередная модернизация с упрощением (простое резервирование и «долой SAN»)
- 51. Критерии выбора и реальность эксплуатации В ч ё м « м я г к о с т ь » ?III Отречение: очень субъективно! • При наличии контейнерной виртуализации – используется практически только гипервизорная Выс о кая пло т но с т ь • Машинам выделяются фиксированные мощности • Thick provisioning… П о д д е ржка пе ре заклад ки по ЦП У, ОЗУ, «т о нкие » т о м а • N=3 всегда П о д д е ржка различ ных ко э ффиц ие нт о в ре пликац ии • GUI всегда REST API системы управления и мониторинга
- 52. Типичный «зоопарк» для переноса В ч ё м « м я г к о с т ь » ?III Корпоративные системы ERP (SAP, OEBS, 1C) CRM (Sugar, Siebel…) «Документообороот» BI (Business Objects, Tableau) Собственные приложения Веб-сайт Портал поставщиков … Совместная работа Почта (Exchange, CommunigatePro) Корпоративный портал (на Sharepoint, на Liferay) «IT-сервисы» «Сетевой диск» LDAP, Active Directory Контроллер домена Прокси Серверы приложений (JBOSS, WebSphere) СУБД (Oracle Database, PostgreSQL, MySQL)
- 53. …для самых популярных «зверей» В ч ё м « м я г к о с т ь » ?III «Лучшие практики» для Exchange от поставщиков гиперконвергентных систем «Техники виртуализации» для основных ERP от самих поставщиков ERP (c «сайзингами» и SAPSами) Шаблонизация ОС и борьба с VDI-штормами
- 54. …для тех, кто из «Красной книги» В ч ё м « м я г к о с т ь » ?III Тестирование на осуществимость Проверка поддерживаемости от поставщика Прогон или эмуляция нагрузки … отказ от конверсии … или отказ от экзотики
- 55. Гиперконвергентность – мягкое введение в веб-масштаб В ч ё м « м я г к о с т ь » ? П о ч е м у л и ш ь « в в е д е н и е » ?IV
- 56. «Крепкие орешки» П о ч е м у л и ш ь « в в е д е н и е » ?IV Монолитная СУБД, особенно под OLTP Кластерные и грид- системы (особенно с интерконнектом Bynet, Infiniband) «Тонкая работа» с вводом-выводом (как на блочном, так и на файловом уровне) Платформы и приложения с зависимостями от специфической периферии Нетипичные ОС CAD/CAM/CAE в VDI
- 57. Ближайшее применение гиперконвергенции П о ч е м у л и ш ь « в в е д е н и е » ?IV От IaaS – к PaaS, но тоже в «веб-масштабе» • От виртуальных машин – к контейнерам на «подах» • С подосновной микро-ОС (CoreOS, Atomic Host) • Под управлением Kubernetes (Swarm) • Для «непрерывной разливки приложений» От монолитов – к микросервисам
- 58. О будущем с точки зрения оптимизации… П о ч е м у л и ш ь « в в е д е н и е » ?IV
- 59. «Оторвём приложения от данных» П о ч е м у л и ш ь « в в е д е н и е » ?IV Платформа данных • Database Appliance (old school) • «Эко» вокруг Hadoop • Распределённый грид данных (newSQL) Пул данных – один, приложений много • Никаких ETL, перегонок и трансформаций • «Озеро данных» – все реки с данными впадают в одно озеро
- 60. Будущее приложений П о ч е м у л и ш ь « в в е д е н и е » ?IV побочные – в аутсорсинг вместе с процессом тираж – в декастомизацию и в облако корневые – в атомизацию и непрерывную разливку
- 61. Аппаратный прогресс может что-то изменить П о ч е м у л и ш ь « в в е д е н и е » ?IV Вертикально масштабируемые x86? GPGPU N vidia A MD Intel 100 GbE и адаптация Infiniband NVM-Express NVMe over Fabrics ОЗУ постоянного хранения 3D XPoint MeRAM NRAM STT-RAM CBRAM Racetrack
- 62. Резюме П о ч е м у л и ш ь « в в е д е н и е » ?IV «Энтерпрайс» сознаёт потребность в «веб-масштабе» ИТ в «Энтпрерайзе» прирастает гиперконвергентными системами …они быстро внедряются, и весь софт на них переносится … но могут быть тонкости, и в их отсутствии следует убеждаться Мир не стоит на месте – скоро что-то будет новое!