[Gridgain]인메모리컴퓨팅 및 국내레퍼런스 소개

2021 © GridGain Systems GridGain Company Confidential
Agenda
2
• The Growth of In-Memory Computing & GridGain
• The GridGain Platform
• GridGain 사례
• GridGain Services
• Q&A

GridGain Company Confidential
3
The Growth of In-Memory
Computing & GridGain

Gartner Strategic Planning Assumptions
• 최근 클라우드 네이티브 애플리케이션 개발의 75 %는 IMC 또는 IMC를
사용하는 서비스를 활용하고 있습니다.
• 2021 년까지 대기업 및 글로벌 기업의 최소 25 %는 IMC 인프라 복잡성을
줄이기 위해 인 메모리 기술을 결합한 플랫폼을 채택할 것입니다.
• 2022 년까지 대기업 및 글로벌 기업의 40 %는 IMDBMS를 사용하여 물리적
데이터 저장소의 급격한 증가에 대응할 것입니다.

Top 5 Dev Mailing Lists
1.
2.
3.
4.
5.
Top 5 User Mailing Lists
1.
2.
3.
4.
5.
A Top 5 Apache Project
15M+
downloads
Apache Ignite is used by tens of
thousands of organizations
The Commercial Company Behind Apache Ignite

GridGain Awards & Recognition in 2017 - 2021
The 100 Companies That Matter Most in
Data – 2015, 2016, 2017, 2018, 2019 &
2020
Red Herring 100 North America
Winner – 2016, 2017 & 2018
Bloor Mutable Award
2019
Red Herring 100 Global Winner
2016, 2017 & 2018
San Francisco Business Times
#20 Fastest Growing Private Company
in 2019, #5 in 2017 & 2018
Silicon Valley Business Journal
#4 Fastest Growing Private Company
in 2019, #2 in 2017 & 2018
2017, 2018, 2019 & 2020
DBTA Trend-Setting Products in
Data and Information Management
2018, 2019
Best Company of the Year –
Computer Software – 2020
Silver in 2019, Bronze in 2016,
2017 & 2018
50 Most Valuable Brands for 2018
The Silicon Review
Deloitte Technology Fast 500
2018, 2019 & 2020
Inc. 5000’s Fastest Growing
Companies in California – 2020

Logistics & Transportation
Major Global Brands Use GridGain
IoT
AdTech/Media/Entertainment
Pharma & Healthcare
Financial Services Software/Cloud
Telecom & Mobile
IoT
AdTech / Media / Entertainment
Logistics & Transportation
eCommerce & Retail
Pharma & Healthcare
Reliance
FinTech

8
The GridGain Platform

In-Memory Data Grid
저장소 및 스트리밍
데이터의 데이터를
캐시하고 클러스터
서버에서 애플리케이션
코드 실행
In-Memory Database
데이터 저장소 대체,
스트리밍 데이터
수집/저장하며 클러스터
서버에서 애플리케이션
코드 실행
Streaming Analytics
인 메모리 클러스터로
수집 된 스트리밍
데이터의 실시간 분석
Continuous ML/AI
통합된 ML 및 AI
라이브러리를 사용하여
인 메모리 데이터에 대한
모델 학습
Core In-Memory Data
Storage and Processing
Functionality
Integrated In-Memory
Data Analysis
Features Streaming Analytics
Continuous ML/AI
In-Memory
Data Grid
In-Memory
Database
The Most Comprehensive In-Memory Computing Platform

Data Layer
NoSQL
RDBMS Hadoop
Application Layer
Web-Scale Apps Mobile Apps
IoT Social Media
The Leading In-Memory Computing Platform
10
• 메모리 레벨의 처리 속도 향상s
• 분산 ANSI-99 SQL and ACID 트랜젝션 지원
• Apache Ignite 기반
다양한 기능을 갖춘 완전한 플랫폼
• 기존 인프라 구조 변경 최소화
• 거의 모든 RDBMS, NoSQL and Hadoop
datastores 지원
가장 전략적이고 중단 없는 접근 방식
• Confluent/Kafka, Spark, TensorFlow
인기있는 솔루션과 통합
GridGain In-Memory Computing Platform
In-Memory
Data Grid
In-Memory
Database
Streaming
Analytics
Continuous
Learning
Framework
Transactional Persistence (Option)

GridGain 주요 기능
11
분산 In-Memory
데이터 저장소
In-Memory Data Grid
or Database
• 디스크와 상호작용을
제거한 인메모리 데이터
처리
• 페타 바이트 수준의
메모리 데이터에 대한
수평 확장성을 제공하는
대규모 분산 아키텍처
• 기존 앱을위한 인 메모리
데이터 그리드
• 새로운 앱을위한 인
메모리 데이터베이스
또는 인 메모리 데이터
그리드
• IMDG에서 IMDB로
간단한 마이그레이션
Multi-Model Data
Access
• ANSI-99 SQL or key-
value 데이터 저장소
• 다양한 프로그램
언어(Java, .NET, C++,
REST, Python, Scala,
PHP)사용하는 Client에
통합된 API 제공

12
배치 처리
사용자 구성 가능한
ACID 트랜잭션
• 여러 서버의 분산된 대량
데이터의 배치 처리
• 데이터 네트워크 이동
감소, 대규모 병렬 처리
가능
• Fully distributed, ACID
transaction 지원
• 사용자가 ACID 로직을
즉시 구성하여 트랜젝션
일관성 유지 가능
Automatic IMDG
Integration
• 코딩 없이 스키마 가져
오기, 데이터 로드 및 연결
자동 구성
• SQL integration with
RDBMSs
• Cassandra, MongoDB,
Hadoop 지원

13
Memory-Centric
Computing
스트리밍 데이터 분석
• 일부 데이터(0-100 %)는
메모리에 저장되고 전체
데이터는 디스크에
저장되는 분산형
하이브리드 메모리
데이터베이스로 배포
가능
• 재시작시 즉각적인
데이터 가용 가능
• Apache Kafka용
Confluent 인증 커넥터
지원
• 이벤트 기반 데이터 수집
및 처리
• Apache Spark 기반 통합
지원
Machine & Deep
Learning
• 내장된 기계 학습
라이브러리를 사용하여
ETL 필요 없는 지속적인
기계 학습 모델 학습
• TensorFlow의 온라인
저장소 역할

14
The GridGain 사례

Sberbank - Core Banking Services at Scale
15
• Problems
- 온라인 및 모바일 뱅킹으로 인해 트랜젝션 부하 100배 증가
- 은행 전체에 공통 스토리지 계층 필요
- 기존 RDBMS 시스템의 높은 비용
• GridGain Solution
- 10 개 노드에서 초당 10 억 트랜잭션으로 벤치마킹
- 새로운 핵심 뱅킹 시스템을위한 데이터 기반
- 3개의 데이터 센터에 2,000대 서버로 Scale-out 구성
- 1.5 페타바이트의 메모리 데이터
- 디스크에서 즉시 재시작 가능(메모리 워밍업 없음)
16,000개 이상의 지점을 보유한 러시아 최고의 대
은행(Top 20 Worldwide Bank)
Front-End APIs
SQL TX
Compute
Service
Grid
Key /
Value
Payments Securities
Accounts Credits Clients
Distributed In-Memory Data Store
Distributed Persistent Store
In-Memory Data Store
Persistent Store
Server Node
Persistent Store
Server Node
Persistent Store
Server Node

RBC Article and interview with German Gref
“Sberbank 새로운 IT 계획은 은행이 몇 주가 아닌 몇 시간 내에
신제품을 소개할 수 있는 플랫폼을 만드는 것입니다. 이
플랫폼은 사실상 무제한의 성능과 매우 높은 안정성을
제공합니다. 훨씬 저렴하고 고객 거래 중 운영자의 작업을 크게
줄일 수 있습니다. 이 시스템은 기계 학습, 유연한 가격 책정 및
인공 지능을 사용합니다.”
German Gref, head of Sberbank.
“새로운 시스템은 Oracle, IBM 등의 입찰에서 승리한
GridGain의 기술을 사용하여 대기업보다 훨씬 높은 성능을
제공합니다” he added.
German Gref
CEO & Chairman
Sberbank

ING Commercial and Investment Banks
17
• Problem
- 경쟁력 있는 새로운 고객 서비스를 빠르게 제공
- ING의 소매 및 투자 은행 모두에서 더 빠른 속도와 규모 달성
- 리스크와 성능 측면에서 속도 및 확장 목표 달성.
- 다양한 소스 API에서 대한 데이터 집계
- ING의 소매 금융을 위한 모바일 트래픽의 연간 25 % 성장 지원
- End-to-end 지연 시간을 100ms 미만으로 감소
- ING가 PSD2, SEPA, STET 시장에 처음으로 진출하도록 지원
암스테르담에 본사를 둔 네덜란드 다국적 은행
Front-End APIs
Payments Securities
Accounts Credits Clients
In-Memory
Data Grid
In-Memory
Database
Streaming
Analytics
Continuous
Learning Framework
Mainframe Cassandra
Multi-Datacenter Infrastructure
RDBMS

American Express
18
Leading multinational financial services company
with nearly 60M cardholders worldwide
• Problem
– 판매자 지불 시간을 며칠에서 몇 시간으로 단축
– 메인 프레임에서 현대적이고 확장 가능한 아키텍처로
마이그레이션
– 여러 영역에 필요한 수 테라 바이트 메모리 솔루션
– 이기종 기술을 연결하는 통합 API 제공
– 다단계 마이그레이션 작업 가능
– 마이그레이션 준비가 되면 그리드에 포함되지 않은
애플리케이션을 위한 새 노드 추가
– 판매자 결제 서비스의 배치 작업 성능 향상
PDS
PDS PDS
VSAM
Cobol
App
Java
App
Client
JCICS API
JCICS API
Ignite API
Ignite
Streaming
API
Use for
Disaster
Recovery
DB2

Citi group Inc. ( CITI )
19
• Citigroup Inc. (CITI) is an American Multinational Investment Bank
• Headquarters , New York City
• Revenue is $72,854 Billion US Dollars
• Total Assets $1,917 Trillion US Dollars
• Citi는 GridGain Enterprise Edition을 사용하여 지불 및 신용 승인을 위해 전 세계 350,000 개
이상의 개별 고객에 서비스 제공
• Citi는 처음으로 배치 프로세스가 아닌 실시간으로 정보를 고객에게 제공
• GridGain은 실시간 결제 및 승인 시스템의 고객을 3 배로 늘리기 위해 작업 중

20
GridGain Products &
Services

21
GridGain Enterprise & Ultimate Edition Features
GridGain Enterprise Edition GridGain Ultimate Edition
Management
& Monitoring
Rolling
Upgrades
Segmentation
Protection
GoldenGate
Support
Data Center
Replication
Enterprise-
grade Security
Kafka
Connector
Full, Incremental and Continuous Backups
Point-in-Time
Recovery
Heterogenous
Recovery
Network
Backups
In-Memory
Data Grid
In-Memory
Database
Streaming
Analytics
Continuous
Learning
Framework
Transactional Persistence
In-Memory
Data Grid
In-Memory
Database
Streaming
Analytics
Continuous
Learning
Framework
Transactional Persistence
Data Lake
Accelerator
Management
& Monitoring
Rolling
Upgrades
Segmentation
Protection
GoldenGate
Support
Data Center
Replication
Enterprise-
grade Security
Kafka
Connector
Data Lake
Accelerator
Enterprise
Edition Features
Ultimate Edition
Features

Software Product Versions
22
Apache
Ignite
GridGain
Community Edition
GridGain
Enterprise Edition
GridGain
Ultimate Edition
In-Memory Data Grid l l l l
In-Memory Database l l l l
In-Memory Streaming Analytics l l l l
Continuous Learning Framework (ML/DL) l l l l
In-Memory Compute Grid l l l l
In-Memory Service Grid l l l l
Distributed In-Memory File System l l l l
Advanced Clustering l l l l
Distributed Messaging l l l l
Distributed Events l l l l
Distributed Data Structures l l l l
JCache (JSR-107) Support l l l l
Auto-Loading of SQL Data l l l l
Dynamic Cache Creation l l l l
Java/.NET/C++ Interoperability l l l l
Portable Objects l l l l
Security Updates l l l
Maintenance Releases & Patches l l l
Management & Monitoring Tool l l
Enterprise-Grade Security l l
Network Segmentation Protection l l
Rolling Production Updates l l
Data Center Replication l l
In-Memory Data Lake Accelerator l l
Oracle GoldenGate Integration l l
Full, Incremental and Continuous Backups l
Network Backups l
Point-in-Time Recovery l
Heterogeneous Recovery l

GridGain Software Support Options
23
Solution Unsupported
(Free)
Basic Support
($)
Standard Support
($$)
Premium Support
($$$)
Software Apache Ignite Apache Ignite or
GridGain
Community Edition
GridGain
Community or
Enterprise Edition
GridGain Enterprise
or Ultimate Edition
Troubleshoot Performance or Reliability Issues l l l
Identify Bugs and Product Limitations & Workarounds l l l
Support Hours 9x5 (24x7 option) 24x7 24x7
Initial Response Time 4 hours 2 hours 1 hour
Unlimited Support Incidents l l l
Named Technical Contacts 2 3 4
Initial Consultation Support 2 Hours
Maintenance Releases l l
Hot Bug Fixes l l
Enhanced Features (Enterprise & Ultimate Editions) l l
Custom Contracts l l
Login Support to Customer Environment l l
Support Channels Web/Email Web/Email/Phone Web/Email/Phone

GridGain Control Center
24
• 통합적인 관리 및 개발 솔루션
• 쉽게 사용자 정의 할 수있는 드래그 앤 드롭 대시 보드
• 200 개 이상의 측정 항목 모니터링
• GridGain 8.7+, Apache Ignite 2.8+ 버전 지원
Cluster Management and Developer Tool
• 무료 온라인 버전
• 공유 클러스터 관리를 위한 온프레미스 버전 다운로드
가능한
• 2 노드 무료
• 더 큰 클러스터를 위해서는 상용 버전 필요
Online and On-Premises Versions

Control Center Features for IT Admins, DevOps
and Developers
25
IT Admins DevOps Developers
Cluster Management l l
Baseline Topology l l l
Performance Monitoring l l
Alerts l l
Backup & Recovery l l
Cluster Upgrades l l
Data Rebalancing l l
API Tracing l l
Query Monitoring & Analysis l l
Query Development l

Control Center Features by Product
26
Apache
Ignite
GridGain
Community
Edition
GridGain
Enterprise Edition
GridGain Ultimate
Edition
Cluster Management l l l l
Baseline Topology l l l l
Performance Monitoring l l l l
Alerts l l l l
API Tracing l l l l
Query Development l l l l
Rolling Upgrades l l
Backup & Recovery l

GridGain Nebula: Managed Services Offering
27
• 클러스터 설정, 유지 관리 및 모니터링
• 24x7 관리, 모니터링 및 관리
• 원격 및 온 프레미스 옵션
MSO for GridGain and Apache Ignite
• 비즈니스에 좀 더 집중 가능
• 운영 비용 절감
• 최고의 시스템 안정성 제공
• 다중 플랫폼 지원을 통해 온-프레미스 또는 클라우드에 배포
가능
• 인프라 성장 계획 지원
Key Benefits

Extensive MSO Experience Reduces Your Costs
28
• 수십 년간의 GridGain 및 Ignite 관리 형 서비스 및 지원
경험을 기반으로 한 프로세스 및 도구
• 완벽한 설정 및 배포 관리 전문 지식
• 백업, 인프라 확장 및 시스템 업그레이드를 포함한 고급
기능에 대한 전문 지식
Years of MSO Experience
• 운영 교육 및 도구에 대한 투자 감소
• 24x7 연중 무휴 지원
• 소유 비용 및 가치 창출 시간 최적화
Cost Effective

Thank You

Appendix

Mainframe NoSQL Hadoop
Ignite Persistence
Persistent Layer
RDBMS
Machine and Deep Learning
Events
Streaming
Messaging
Transactions
SQL
Key-Value
Service Grid
Compute Grid
Application Layer
Web SaaS Social
Mobile IoT
Rolling
Upgrades
Security
&
Auditing
Monitoring
&
Management
Segmentation
Protection
Data
Center
Replication
Network
Backups
Full,
Incremental,
Continuous
Backups
Point-in-Time
Recovery
Heterogeneous
Recovery

Native SQL &
JCache API
분산 파티션
(Hash-Map)
In-Memory
Computing
플랫폼
In-Memory 데이터 그리드
- 32 -
SQL 포함, 광범위 하고 풍부한 Key-Value API를 제공하고 인-메모리 Data Grid로 작동합니다.
전체 클러스터 노드가 전체 데이터 세트의 일부를 소유하는 분산 파티션 된 Hash Map 이며,
분산 클러스터에서 ACID 트랜잭션 구현됩니다.
Java .NET
Multi-language
(thin client)
REST C++
SQL Key-Value ACID Transaction
Scan & Text
Queries
JCache
Compute and Service Grid
GridGain as an In- Memory Data Grid (IMDG)
WAS
DBMS
Data
Store
다양한 언어 지원

분산 Cache : Database 성능을 극대화
- 33 -
데이터베이스 Caching 및 Scale-out 확장성을 통해 Database 성능을 극대화 합니다.
Data
Store
K1, V1
K1, V1
K1, V1
Keys
K1, K2, K3
Values
V1, V2, V3
Node1
Node2
Node3
In-Memory Data Grid
Write
Through
Read
Through
•데이터베이스 Caching
- DB 시스템과 Application 사이에서 슬라이딩
•성능 향상을 위한 ‘Rip & Replace’ 없음
- 메모리와 Database 시스템에 데이터 보관
- 수 천 노드까지 확장
•자동 Read-Through 및 Write-Through
- 단지 Key-Value 연산만
•ANSI-99 SQL
- In-Memory 데이터 세트 초과

분산 SQL 지원
- 34 -
ANSI-99 호환, 수평 확장 및 Fault-tolerant 분산 SQL 데이터베이스 지원을 하며,
표준JDBC 또는 ODBC 연결을 사용하여 다른 SQL 스토리지와 마찬가지로 상호작용을 합니다.
Java .NET
Binary Protocol
(Thin client)
REST C++
JDBC ANSI-99 SQL ODBC
Compute and Service Grid
GridGain Distributed SQL Support
Persistent Store
다양한 언어 지원
DDL & DML 지원
RAM 또는
디스크에 인덱싱
SELECT,
UPDATE, INSERT,
DELETE, ALTER
동적 확장성
(Scaling)
* DDL : Data Definition Language
* DML : Data Manipulation Language

Compute 그리드
- 35 -
계산과 같은 비즈니스 논리를 선택적으로 여러 부분으로 분할하여 다른 그리드 노드에서 병렬로 실행함으로써
전체 실행시간을 감소시키고, 병렬 실행을 위한 가장 일반적인 디자인 패턴 중 하나는 MapReduce 입니다.
Server Node
Persistent Store
Server Node
Persistent Store
C = C1 + C2
R = R1 + R2
C1
R1
C2
R2
C = Compute
R = Result
In T/2 time
사용자가 그리드에서 적절하게 조정
(Round Robin / Random / Adaptive)
Load Balancing
Automatic
Failover
Zero Deployment
특정 작업을 실행하는데
필요한 클래스 및 리소스를
자동으로 배분 및 배포
작업이 자동으로 다른 노드로
장애 조치되도록
자동 및 수동 Failover 구성

ACID 트랜잭션
- 36 -
Key-Value 및 SQL 조작에 대한 분산 ACID 트랜잭션을 완벽하게 지원하고 일관성 보장은 메모리 및 디스크
계층 모두에서 충족됩니다. Apache Ignite의 트랜잭션은 여러 클러스터 노드, 캐시(테이블) 및 파티션으로
확장 될 수 있습니다.
Data
Store
K1, V1
K1, V1
K1, V1
Keys
K1, K2, K3
Values
V1, V2, V3
Node1
Node2
Node3
In-Memory Data Grid
Write
Through
Read
Through
•분산 ACID 트랜잭션
- Pessimistic / Optimistic
•2-Phase Commit
- RAM에서 디스크 까지
- Failover & Recovery
•Deadlock-free 트랜잭션
•MVCC(Multi-Version Concurrency Control
- SQL 트랜잭션
- 스냅샷 Isolation (백업 & Recovery)

고 가용성 : Partitioned & replicated
- 37 -
Partitioned Cache Replicated Cache
A
B
D
A
B
C
A
C
D
A
B
D
A
D
Primary
Backup
JVM 1 JVM 2
JVM 3 JVM 4
B
B
A
C
C
Primary
Backup
Primary
Backup
Primary
Backup
D
A
C
D
A
D
JVM 1
JVM 3
B
C
Primary
Backup
Primary
Backup
Primary
Backup
Primary
Backup
Local Client Local Client
1. Local Clint 조회 : A & D 는 Collocated 노드에 있음.
C는 원격에서 fetch 됨
2. Remote Client 조회 : Near Cache 는 B 를 보유.
클러스터에서 A, D를 fetch
A
B
D
Remote
Client
Near
Cache
Remote
Client
Near
Cache
C
B
C
D
B
A
JVM 4
D
A D C
A B
JVM 2
1. Local Clint 조회 : A, C, D 모두 복제된 Collocated 노드에 있음
2. Remote Client 조회 : Near Cache는 B 를 보유.
클러스터에서 A, D를 fetch

Web 세션 클러스터링
- 38 -
Apache Tomcat, Eclipse Jetty, Oracle WebLogic 및 기타를 포함하여 Java Servlet 3.0 사양을 따르는
모든 Java Servlet 컨테이너의 Web 세션을 캐싱하고, 웹 세션 캐싱은 어플리케이션 서버 클러스터를 실행할
때 유용합니다.
고 가용성 구성 → 세션 정보 분실
LOAD BALANCER
APP SERVER 1
Session 1
APP SERVER 2
Session 2
APP SERVER 3
Session 3
failed
instance
WEB
REQUEST
LOAD BALANCER
APP SERVER 1
Session 1
APP SERVER 2
Session 2
APP SERVER 3
Session 3
failed
instance
WEB
REQUEST
세션 복제 전략
- Replicated Cache
- Partitioned Cache
(w/ Backup)
APACHE IGNITE CLUSTER
Session 1 Session 2 Session 3
Web.xml
WebSession
Filter 구성
Session 3

Key-Value 데이터 그리드
- 39 -
•어플리케이션 및 데이터베이스
계층 간 분산 Cache
•기존 데이터베이스 성능
및 확장성 향상
(RDBMS, NoSQL 또는
Hadoop 기반 스토리지)
Database
RAM RAM RAM
App1 App2
분산 Cache
Key-Value, JCache
Always in Sync
•Native Persistence를 활성화 하면
데이터와 인덱스 모두 디스크에 저장
•디스크에서 인덱스를 유지하므로 클러스터
재시작 시 다시 작성할 필요가 없으므로
시스템이 매우 빠름
(Instantaneous Restart)
Database
RAM RAM RAM
App1 App2
Native Persistence
Key-Value, Jcache, SQL
Disk Disk Disk
GridGain Native Persistence

In-Memory 데이터 스토리지
- 40 -
서버 Node는 인-메모리 Data Store / Persistence Store 기반으로 Clustering 구성되어 고성능 및
대규모 수평 확장성(Scale-Out) 제공합니다.
In-Memory
Data Store
Server Node
Persistent Store
In-Memory
Data Store
Server Node
Persistent Store
In-Memory
Data Store
Server Node
Persistent Store
Distributed In-Memory Data Store
Distributed Persistent Store
GridGain Server Cluster
메모리 사용
예측 가능
전체 트랜잭션 WAL
(Write Ahead Log)
즉각적인 재 시작
(Instantaneous
Restart)
자동 조각 모음
(Defragmentation)
Off-Heap 활용
GC Pause 제거
데이터
Superset 저장

GridGain 메모리 & 디스크 사용
- 41 -
4가지 방식의 Configuration 을 통해 고성능 및 대규모 Scale-Out 확장성 제공합니다.
모드 설명 장점
In-Memory Pure In-Memory 스토리지 최대 성능 가능
(데이터는 디스크에 기록되지 않음)
In-Memory + 3rd Party DB Caching 레이어
(일명 In-Memory 데이터 그리드)
기존 데이터베이스 – RDBMS,
NoSQL 등
수평적인 확장성
신속한 읽기 및 쓰기
In-Memory + Full Copy on Disk 전체 데이터 세트는
메모리와 디스크 모두에 저장
클러스터 장애 극복
100% on Disk + In-Memory Cache 데이터의 100%가
Ignite Native Persistence에 있고
하위 집합이 메모리에 있음
RAM 용량을 초과하는
무제한 데이터 확장성

클러스터링
- 42 -
Durable Memory
ON-DISC
Ignite 노드들은 자동으로 서로를 발견할 수 있으므로 전체 클러스터를 다시 시작할 필요없이 필요할 때
클러스터를 확장합니다.
Durable Memory
ON-DISC
Durable Memory
ON-DISC
Durable Memory
ON-DISC
Durable Memory
ON-DISC
Durable Memory
ON-DISC
Ignite
Cluster
•Server 노드
- 데이터 및 계산을 위한 컨테이너로 동작
- 일반적으로 독자적인 프로세스로 시작
•Client 노드
- 작업을 실행하기 위한 클러스터 입력 지점
제공
- 어플리케이션 코드에 임베디드 됨
Client
Connectors
Compute &
Data Nodes
Public & Private
Clouds

클러스터 그룹
- 43 -
어플리케이션 별 목적을 위해 클러스터 노드를 논리적으로 그룹화합니다.
작업 실행, 서비스 배치, 메시징, 이벤트 및 기타 작업이 일부 클러스터 그룹 내에서만 실행되도록 제한합니다.
Server
Server
Server
Server
Data Cache Zone 1 Data & Compute Zone 2 Compute Grid Zone 3
Server
Server Client
Client Client
Client
Client Client Client
Data read
Data read
Data read
Data read
Map/Reduce
Job
Data write
Data write
Compute
Job
GridGain / Ignite Cluster

인 메모리 Hadoop Accelerator
- 44 -
기존 Hadoop 기술을 향상시켜 기업에서 이미 사용하고 있는 도구와 기술을 사용하여 신속하게 데이터를
처리하고, 인-메모리 HDFS/MapReduce는 디스크 기반 HDFS 및 기존 MapReduce를 쉽게 확장하여
더 빠른 성능을 제공합니다.
Hadoop
Client
Hadoop
Jobtracker
Hadoop
Name
Node
Ignite
Client
Hadoop
Jobtracker
Hadoop
Jobtracker
User
Application
Ignite
Data
Node
(IGFS)
Ignite
Data
Node
(IGFS)
Hadoop
Data Node
(HDFS)
Hadoop
Data Node
(HDFS)
•3배 더 빠른 성능
•인-메모리 MapReduce
•고도로 최적화 된 I—Memory 프로세싱
•독립형 파일 시스템
•HDFS 용 선택적 Caching 레이어
•HDFS 로 Read-Through 및
Write-Through
듀얼 모드 / 고성능
In-Memory 파일 시스템
Inactive Path
Ignite Execution Path
* IGFS : Ignite File System
* HDFS : Hadoop Distributed File System

Spark 통합
- 45 -
Apache Ignite는 분산 메모리 중심의 데이터베이스 및 캐싱 플랫폼으로서 Apache Spark 사용자의 다양한
업무 수행에 사용됩니다.
Spark Worker
Spark
Job
Spark
Job
Ignite Node
Spark Worker
Spark
Job
Spark
Job
Ignite Node
Spark Worker
Spark
Job
Spark
Job
Ignite Node
In-Memory Shared RDD or DataFrame
Yarn Mesos Docker HDFS
Spark 작업 간
상태 및 데이터 공유
데이터 이동 없음
In-place(내부)
쿼리 실행
DataFrame 및
SQL 성능 향상
RDD 상단의
SQL
* RDD : Resilient Distributed Data
* HDFS : Hadoop Distributed File System

머신 러닝(Machine Learning : ML)
- 46 -
값 비싼 데이터 전송없이 예측 Machine Learning(기계 학습) 모델을 구축 할 수 있는 간단하고 확장성이
높으며 효율적인 도구 세트입니다.
•ML/DL 기능 추가 이유
- 모델은 여러 시스템에서 교육 후 배치
- ML/DL 알고리즘 증가로 인한 확장성
•ML/DL 기능 장점
- Fault Tolerance 및 지속적인 학습
- Zero ETL 및 방대한 확장성
Durable Memory
ON-DISC
Durable Memory
ON-DISC
Durable Memory
ON-DISC
K-Means
Partition Based Dataset
Regressions
Decision
Trees
Random
Forest
Server Node Server Node Server Node
R C++ Python Java Scala REST
TensorFlow
Intergration

ML / DL 워크플로우 간소화 – ETL 없음
- 47 -
CLF가 있는 IMC 플랫폼으로 ETL이 없는 워크플로우 간소화를 제공합니다.
App
ML/DL
Engine
RDBMS HADOOP
테라바이트(TB) 데이터의
주기적인 ETL
주기적인
모델 업데이트
모델 트레이닝
및 테스트
트레이닝을 위해
데이터 로딩
작업 집합
저장 및 처리
App
IMC Platform
DB + ML/DL Engine
No ETL
모델 트레이닝 및 테스팅
작업 집합
저장 및 처리
즉시
모델 업데이트
* CLF : Continuous Leaning Framework
* ML : Machine Leaning
* DL : Deep Leaning
Before After(CLF 활용)

Streaming 에코 시스템
- 48 -
Kafka, Camel, Storm 또는 JMS 와 같은 주요 스트리밍 기술 및 프레임 워크와 통합되어 Ignite 기반 아키텍처에
더욱 향상된 스트리밍 기능을 제공합니다.
Durable Memory
ON-DISC
Durable Memory
ON-DISC
Durable Memory
ON-DISC
Data Node
Data Node
Data Node
Kafka
Apache Flink
Spark
Storm
•다양한 스트리밍 기술
- Kafka, Spark, Flink, Storm 등
- 처리(Process), 변환(Enrich), Ignite로 푸시
•Ignite는 스트리밍 데이터의 최종 저장소
- Streaming Analytics
Ignite
Streamers
Data
Ignite
Clients
SQL Queries
Data
1. Process Streamed Data
in Parallel on all Nodes
2. Process SQL Queries
in Parallel on all Nodes

GridGain 중앙 집중식 모니터링 및 관리
- 49 -
GridGain 웹 콘솔
•오픈 소스
- 대화형 프로젝트 구성 마법사
- 모든 RDBMS에서 자동으로 SQL 메타데이터 로드
- Ad-hoc SQL 쿼리
•엔터프라이즈
- 클러스터 관리 및 모니터링
- SQL 쿼리 모니터링 및 종료
- 경고 및 알림
- 데이터 센터 복제(DC Replication)
- Rolling 업그레이드
- 클러스터 스냅샷 및 복구

GridGain 롤링 업그레이드
- 50 -
신규 버전을 Roll-out 하는 동안 하위 버전을 가진 노드가 클러스터에 공존 할 수 있도록 하는 기능입니다.
•소프트웨어 업그레이드를 수행할 때 다운 타임 방지
•Rolling Upgrade 프로세스
- 10개의 노드가 10개의 물리 서버에서 실행중인 경우
한 서버에서 신규 버전의 GridGain으로 새 노드 시작
- 새 노드에 대한 데이터 Rebalancing
- 데이터 Rebalancing 이 완료되면 이전 노드 종료
- 모든 서버가 새 버전으로 업그레이드 될 때까지 반복

GridGain 엔터프라이즈 보안
- 51 -
•오픈 소스
- In flight 데이터 암호화 – SSL/TLS
- At rest 데이터 암호화
•플러그인 가능 인증 및 인가
- JAAS, LDAP, Active Directory, Kerberos 등
- 클러스터 노드 인증(Authentication)
- 세분화 된 인가(Authorization)
•Multi-tenancy
•포괄적 인 감사
Server Node
Persistent Store
Server Node
Persistent Store
Server Node
Persistent Store
Server Node
Persistent Store
Client Nodes
Server Nodes

투명한 데이터 암호화(TDE)
- 52 -
투명한 데이터 암호화(TDE : Transparent Data Encryption)를 통해 사용자가 데이터를 암호화
•민감한 개인 데이터 암호화
•디스크 상의 데이터에 대해 적용
- 데이터(예 : 파티션) 파일
- WAL(Write-Ahead-Log)
•Per-cache/table 암호화
- 캐시 암호화 키
- 시스템 캐시에 저장
•마스터 키
- 캐시 키의 Persistence 및 전송에 사용
- 플러그 가능한 Store – 정보 구성으로 JDK Store 사용 가능

다중 데이터 센터 복제(Replication)
- 53 -
데이터 센터 복제 (또는 단순히 DR : Disaster Recovery)는 서로 다른 지리적 위치에 있는 별개의 토폴로지의
캐시간에 데이터 전송을 허용하는 GridGain 기능입니다.
•복수 데이터 센터(DC) 관리
•배치 및 비동기 처리
•Active-Active & Active-Passive
•Smart Conflict 해결
•Failover

중앙 집중식 백업 및 복구 관리
- 54 -
Native Persistent 를 사용하여 배치를 위한 스냅샷 및 복구 기능을 제공합니다.
스냅샷 수행, 스케줄링, 관리 이후, 전체 및 증분 스냅샷 조합 뿐만 아니라 연속 아카이브를 이용하여,
특정 시점으로 복구 할 수 있습니다.
In-Memory
Data Store
Server Node
Persistent Store
In-Memory
Data Store
Server Node
Persistent Store
In-Memory
Data Store
Server Node
Persistent Store
In-Memory Data Store – (0~100%) Data and Indexes
Persistent Store – (100%) Data and Indexes
GridGain Server Cluster
External
Store
(Backup)
•전체 및 증분 스냅샷
•연속 아카이빙(WAL)
•네트워크 백업
•특정 시점(Point-in-time) 복구
•이기종 복구

Recovery : WAL 및 Checkpointing
- 55 -
WAL의 목적은 단일 노드 또는 전체 클러스터가 다운되는 시나리오에 대한 복구 메커니즘을 제공하는 것이며,
Crash 또는 재 시작의 경우 WAL 내용에 의존하여 클러스터가 항상 최신 커밋 된 트랜잭션으로 신속하게
복구됩니다.
P 1 P 10
P 564 P N
Cache A Files
Indexes
P 1 P 10
P 564 P N
Cache B Files
Indexes
Write-Ahead Log
Write-Ahead Log
(WAL)
WAL Archive
•Append only 파일
•디스크로 업데이트 전파
•복구 메커니즘 제공
R
A
M
WAL
PI FILE
PN
FILE
1 UPDATE
3 ACK
2 Persist Update
4 Checkpointing
•주기적으로 Trigger
•RAM 에서 디스크로 실제 데이터 Copy
•WAL 사이즈 감소
Checkpointing

특정 시점(Point-in-time) 복구
- 56 -
Point-in-Time Recovery를 위한 연속 보관 기능을 사용하면 이전 시점으로 클러스터를 쉽게 복구합니다.
PITR이 활성화 되면 클러스터는 데이터를 수정하는 모든 작업을 WAL에 저장합니다.
Point 1 Point 2 Point 3
Snapshot 2
Snapshot 1 Snapshot 3
+ WAL Archive 2
Recovery to any time
Between point 2 and point 3

트랜잭션 Failover 및 Recovery (1/2)
- 57 -
트랜잭션 실행 중 Apache Ignite 가 Failover 및 Recovery 를 처리하는 방법입니다.
분산 클러스터 심각도 : Backup 노드 장애 < Primary 노드 장애 < 트랜잭션 코디네이터 장애
Session
Transaction
coordinator
Primary
Node
Primary
Node
Backup
Node
Backup
Node
Backup
Node
Backup
Node
1 Commit
6 Ack
5 Ack
5 Ack
4 Ack
2 Prepare/Commit
2 Prepare/Commit
3 Prepare/Commit
3 Prepare/Commit
Session
Transaction
coordinator
Primary
Node
Primary
Node
Backup
Node
Backup
Node
Backup
Node
Backup
Node
1 Commit
3 exception 5 Ack
2 Prepare
2 Prepare
3 Prepare
3 Prepare
4 Ack
4 Ack
Exception 에 대한
처리 필요
Backup 노드 장애 Prepare Phase 에서 Primary 노드 장애

트랜잭션 Failover 및 Recovery (2/2)
- 58 -
트랜잭션 실행 중 Apache Ignite 가 Failover 및 Recovery 를 처리하는 방법입니다.
분산 클러스터 심각도 : Backup 노드 장애 < Primary 노드 장애 < 트랜잭션 코디네이터 장애
Session
Transaction
coordinator
Primary
Node
Primary
Node
Backup
Node
Backup
Node
Backup
Node
Backup
Node
1 Commit
6 Ack 5 Ack
4 Ack
2 Commit
2 Commit
3 Commit
Session
Transaction
coordinator
Primary
Node
Primary
Node
Backup
Node
Backup
Node
Backup
Node
Backup
Node
1 Commit
4 Ack
4 Ack
2 Commit
4 Ack
3 Commit
3 Commit
Have you seen?
Ignite는 Recovery 프로토콜 실행
Commit 또는 Rollback
Commit Phase 에서 Primary 노드 장애 트랜잭션 코디네이터 장애
해당 Backup 노드에서
ACK 수신,
Commit 후 클러스터 재조정
4 Ack
4 Ack
4 Ack
3 Commit
2 Commit
3 Commit
Have you seen?
4 Ack
Have you seen?
Have you seen?

[Gridgain]인메모리컴퓨팅 및 국내레퍼런스 소개

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à [Gridgain]인메모리컴퓨팅 및 국내레퍼런스 소개

Similaire à [Gridgain]인메모리컴퓨팅 및 국내레퍼런스 소개 (20)

Dernier

Dernier (6)

[Gridgain]인메모리컴퓨팅 및 국내레퍼런스 소개