Effective Data Lake : 고객 경험을 통한 사례 탐구 - 유다니엘 솔루션즈 아키텍트, AWS :: AWS Summit Seoul 2019

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Effective Data Lake:
고객 경험을 통한 사례 탐구
유다니엘, 솔루션즈 아키텍트, AWS

목차
• 데이터 분석 트렌드
• AWS Data Lake 아키텍처
• AWS Data Lake 고객 사례
• AWS Lake Formation

*Copyright: The Economist, 2017, David Parkins

Tech 기업의 성장
시가 총액 기준 상위 5개 회사*
2001
2006
2011
2016
2018
$1.091T
$406B
$446B
$406B
$582B
$976B
$365B
$383B
$556B
$383B
$877B
$272B
$327B
$277B
$452B
$839B
$261B
$293B
$237B
$364B
$523B
$260B
$273B
$228B
$228B

Data
every 5 years
생각하는 것 이상의
years
live for
Data platforms need to
scalegrows

그 어느 때보다

그 어느 때보다
빠르게 발전하는
Hadoop Elasticsearch
Years ago
11 8 5 4
Presto Spark
Didn’t exist

Data Scientists
Analysts
Business Users
Applications
Secure Real time
Flexible Scalable
더 다양해진
더 복잡해진

레거시 환경의 Data silos 문제
재무
시스템
마케팅/
CRM
인사
시스템
고객 접전
서비스
기타 여러
소스…
모든 데이터 소스를 한번에 볼 수 있는 단일 데이터 뷰가 없습니다.
“단일 데이터 뷰”

AWS Data Lake
AWS의 Data Lake는 중앙 집중식 클라우드 스토리지 S3를 기반으로 다양한 스키마와 구조의 데이터를 대상으로 수집, 저장, 변환, 분석
파이프라인을 구축하고 Single View로 접근하는 차세대 데이터 플랫폼입니다.
다양한 분석 가능
S3를 Source로 전통적 BI Service , 새로운 AI/ML Service
(e.g., SageMaker), Serverless 형태의 Ad-Hoc 분석(Athena)
이 가능
중앙 집중식 데이터 아키텍처 – 데이터 거버넌스
Amazon S3를 사용하여 광범위한 공통 데이터 세트로
데이터 분석 도구를 가져올 수 있는 다중 테넌트 환경 구축
빠른 데이터 수집
실시간, 배치, IoT 등 다양한 수집 도구 활용 및
별도의 스키마 정의가 없어도 빠른 데이터 수집 가능
컴퓨팅과 분석을 위한 스토리지 분리
분석을 위한 스토리지와 컴퓨팅이 분리되어 비용과
데이터 처리 워크플로우 최적화 가능
Amazon S3

Data Lake - Amazon S3 설계 개념
Tier-1: 원본 데이터
• 원본 데이터의 저장과 보관
• 최소한의 데이터 변환 작업만
• S3의 라이프사이클 기능 활용, S3-IA 또는 Glacier
Tier-2: 분석용 데이터
• Parquet / ORC 같은 컬럼방식 포멧의 사용
• 파티션 정책에 따라 분산 및 파티션 유지 관리
• 분석을 위한 최적화
Tier-3: 특정한 분석 목적 데이터 (optional)
• 도메인 레벨로 데이터마트 분리
• Use Case에 적합한 구성
• 특정 분석 방식에 적합한 데이터 변경 (ML, AI)
Data Lake
on AWS
Redshift EMR Athena
AI
Services

Data Warehouse에서 Data Lake로의 확장
Redshift Spectrum
query engine
Query across
Amazon Redshift
and Amazon S3
Amazon Redshift Data Lake
SensorsWebDevicesLOBCRMERPOLTP Social
구조화 된 데이터를 위해 빠른 응답 지원
대시 보드 및 보고서 개발을 위해 BI 도구 지원
세분화 된 엑세스 제어 기능 제공
DW와 Data Lake간의 joint 쿼리 지원
Lifecycle 관리를 위해 S3로 데이터 백업 지원

S3
Analyze & infer
Redshift
EMR
Athena
AI Services
Elasticsearch
Service
Kinesis
Discover
AWS Glue
Snowball | Snowmobile
DataSync
MSK (Managed Service for Kafka)
Direct Connect
Kinesis Data Streams | Data Firehose
Database Migration Service
Ingest
Security
KMS
IAM
CloudTrail
CloudWatch

AWS에서 데이터 분석 플랫폼을 운영 중인 고객들..

매일 100+ 국가에서
만 건의 주문
매일
의 전세계 인구를 먹임
개 이상의 메뉴 아이템
및 무한 변경

McDonald - 비지니스 모델의 변화
고객
은 점점
디지털화
되가는 중
경험
은 음식의 질
만큼이나
중요함
McDelivery
/UberEats
배달 서비스
시작
Global
메뉴를 선보일
레스토랑 런칭

McDonald - 데이터의 대한 도전 과제
데이터 접근의 제한
데이터 사일로
빠른 데이터 요구와
높은 고정 비용을
제한하는 스케일
제한된 인프라
스케일
대부분 과거의 일어난
일에 초점을 맞춘 분석
방법뿐
제한된 분석
방법
IT가 사용자 대신
데이터를 수집 및 유지
관리
셀프 서비스의
부족

McDonald - 글로벌 데이터 분석 플랫폼
O
PTIO
N
3
Data Lake Operational/Known Workloads
Data Science/Analytics Workloads
RedshiftEMR
Self-Service
Workloads
Athena
EMR SageMaker
v
Data
Catalog
AWS Glue
Amazon
Kineses Data
Firehose
Operational
Reporting and
Dashboarding
Users
Ad-hoc/Self-
service Users
Data Science,
ML/AI UsersAmazon
EC2

McDonald - 글로벌 Data Lake 세부 구조
소스 시스템에서
수집한 배치 및
실시간 원본 데이터
비지니스 룰이
적용되지 않음
주제 영역별
(subject areas)
폴더 구성
비지니스 룰이
적용된
변형 된 데이터
셀프서비스를
가능하게 하는
메터데이터 카탈로그
주제 영역별
(subject areas)
폴더 구성
아웃바운드 피드를
위한
외부 공유 데이터
3rd party를
위한
폴더 구성

McDonald - 최종 결과
데이터 통합 및 신뢰할 수 있는 데이터 플랫폼 운영
Descriptive, Predictive, Prescriptive 등 모든 분석 가능
온디멘드 인프라 스케일링 및 사용 기반의 비용
셀프 서비스 데이터 엑세스 제공 모델
주/월 단위가 아닌 시/일 시간으로 분석 시간 단축
데이터를 통해 비지니스 통찰력과 성장 속도 향상

Dow Jones - 데이터의 대한 도전 과제
LIH
T
O
PTIO
N
혼란스러운
여러 버전의
데이터
동일한 측정
항목의 여러
버전의 데이터가
있습니다
데이터의
대한
제한된 가시성
데이터를
찾기 위해
낭비되는 시간
누락된
통찰력의 의한
의사결정 저하
불가능한 데이터
기반의 고객
세그멘테이션
다른 영업 팀과
비교하여 어떤
성과를 거두고
있는지 잘
모르겠습니다
고객의 사용
패턴을
분석하는데
4일의 시간이
걸립니다
고객의 가치를
평가하는데
어려움이
있습니다
얼마나 많은
비지니스
전문가가 내
뉴스를
구독하는지 알 수
없습니다

Dow Jones - 데이터 분석 로드맵
예측 분석통합 저장 시각화 분석 트렌드 분석 클러스터 분석
히스토리
분석
통합
통찰력
단일 위치
3
21
4
5
고급
모델링 및
예측
각 라이프 사이클 단계에서
축적한 역량과 경험을
바탕으로 최종 단계에서 더
나은 통찰력을 얻는데
도움을 줄 수 있습니다.
최종 목표
예측 분석 및 머신러닝
대화식 및
시각화
과거 데이터
기반의 복잡합
분석
데이터를
세그멘트로
분류하는 고급
분석
고객은 모두
같은 저장소의
데이터를 사용
사용 가능한
데이터
스냅샷을
시각화하여
통찰력 추출

Dow Jones - 데이터 분석 플랫폼
Data Center
VPN Gateway
AWS Console
Protected Subnet
Jump
Servers
(Linux)
AWS Services & Utilities
ex: Athena, Zeppelin, ML...
(Linux/AWS CLI)
Private Subnet
Data Marts
(Redshift/Spectrum)
Access Monitoring
(CloudTrail)
Pref. Monitoring
(Cloud Watch)
Notifications
(SNS)
Scalability
(AutoScale)
Scalability
(ELB)
Monitoring &
Notification
Encryption
(KMS)
Access
(IAM)
Security
BU Admin
Standard
Business Users
Sources
Power
Business
Users &
Admins
SFTP
Storage
Gateway
Third Party Software
ex: SAS Compute, Midtier,
Metadata, Admin (Linux)
Intermediate
Storage
(SFTP/Shared
Folders,
Messaging)
Load / Copy /
Masking Utility
(CENT OS VM)
Data Lake
Real Time
(Kinesis)
Landing
(S3)
Staging
(S3)
Warehouse
(S3)
Logs & Exceptions
(S3)
Preload
(S3)
DB & EC2
Backups (S3)
Archival
(Glacier)
Ad-Hoc Query
(Athena)
Predictive
(ML)
Notebooks
(Zeppelin)
SQL
Workbench/J
Exploration
Tools
Development
Tools
Python IDE
(default)
Scale IDE
(optional)
배치 데이터 플로우
외부 데이터 플로우
실시간 데이터 플로우
유저 엑세스 및 설정 관리
플로우
로깅 및 에러 플로우
AWS Account / Landing Zone
Direct
Connect
Glue
Glue
EMR/Spark
Cron /
Scripts
DP
ETL
Catalog
Workflow /
Scheduling
R
(RStudio)
SQL
Tableau Server
(Windows)
Integration
Public Subnet
ELB
Load Utility
ELB
Ext. Sources
Storage
Gateway
Admin & Power Users Consoles
ex: Tableau Desktop, SAS, SQL/MySQL
Workbench... (Windows w. RDS)

Dow Jones - Data Lake 세부 구조
기존
데이터웨어하우징
관행을 사용하여
데이터 처리 및 저장
스테이징 위치에서 소스
데이터를 준비하고, 표준화
및 카탈로그화 하기 위한
영역으로 사용
웨어하우징 위치에서 중간
테이블을 준비하고 집계 된
데이터를 데이터 마트 위치로
저장
Copy 명령어를
사용하여
Redshift로 푸시
Staging
Transformations
Sources /
Producers
Warehouse
Transformations
Data Lake Landing (S3)
Landing Logs
Data Lake Landing (S3)
Staging Logs
Data Lake Warehouse (S3)
Warehouse Logs
Mart Pre-Load (S3)
Marts Logs
Data Marts (Redshift)
Staging Indexes Warehouse
Indexes
Marts Indexes Marts Indexes
Mart
Transformations
Copy

Dow Jones - 최종 결과
B2C, B2B, 광고 비지니스를
지원하기 위한
데이터웨어하우즈 전체에 걸쳐
의 데이터를 저장하고 있음
의 대시보드를 운영하고 있음
매일
이상의 사용자가 데이터를 엑세스
하고 있음

일반적인 Data Lake 구축 단계
데이터 활용 및 분석
데이터 프로세싱 및
카탈로그화
데이터 수집
보안 및 컴플라이언스
정책 설정
Permissions
S3 버킷 생성

AWS Lake Formation
Preview
Data
Catalog
Access
Control
CrawlersData import ML-based
data prepLake Formation
Amazon S3
Redshift EMR Athena
신속하게 Data Lake 구축
간편해진 보안 설정
데이터 검색 및 공유 향상
안전한 Data Lake를 신속하게 구축
데이터를 보다 신속하게 이동, 저장, 카탈로그 및 정리하고
ML transformation을 사용하여 데이터를 중복 제거할 수
있습니다.
Amazon EMR, Amazon Athena, Amazon Redshift
Spectrum, Amazon SageMaker 및 Amazon
QuickSight에서 테이블 및 컬럼 수준 데이터 액세스를
중앙에서 정의하고 이를 적용할 수 있습니다.
Lake Formation의 데이터 카탈로그를 사용하여
관련 데이터 세트를 쉽게 찾고 공유할 수 있는
메타데이터 기반 검색 기능을 제공합니다.

AWS Lake Formation 비용
별도의 추가 비용 없음 – Only pay for the
underlying services used (Glue, Athena, S3..)

Effective Data Lake : 고객 경험을 통한 사례 탐구 - 유다니엘 솔루션즈 아키텍트, AWS :: AWS Summit Seoul 2019

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à Effective Data Lake : 고객 경험을 통한 사례 탐구 - 유다니엘 솔루션즈 아키텍트, AWS :: AWS Summit Seoul 2019

Similaire à Effective Data Lake : 고객 경험을 통한 사례 탐구 - 유다니엘 솔루션즈 아키텍트, AWS :: AWS Summit Seoul 2019 (20)

Plus de Amazon Web Services Korea

Plus de Amazon Web Services Korea (20)

Effective Data Lake : 고객 경험을 통한 사례 탐구 - 유다니엘 솔루션즈 아키텍트, AWS :: AWS Summit Seoul 2019