금융 데이터분석을 위한 효과적인 AWS 아키텍쳐::유다니엘::AWS Summit Seoul 2018

© 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
Daniel Yoo
Solutions Architect, Amazon Web Services
금융 데이터 분석을 위한
효과적인 AWS 아키텍처

본 강연에서 다룰 내용
• 금융 데이터 분석을 위한 기존 아키텍처의 장애물
• 데이터 레이크란?
• AWS 데이터 레이크를 완성하는 주변 생태계
• 고급 분석을 위한 AWS AI/ML 서비스

데이터에 의한 더 나은 의사 결정
*Aberdeen: Angling for Insight in Today’s Data Lake, Michael Lock, SVP Analytics and Business Intelligence
“데이터를 다양하게 잘 수집하고
효율적으로 쉽게데이터를 액세스할 수
있도록 했던 기업들은 유기적 매출 성장에서
경쟁 업체 대비 9%나 뛰어났다.”
24%
15%
유기적 매출 성장률
선두자 후발자

데 이 터 의 급 격 한 증 가
트랜잭션
ERP
센서 데이터
빌링
웹로그
소셜
인프라 로그
데이터 산업의 변화

트랜잭션
ERP
센서 데이터
빌링
웹로그
소셜
인프라 로그
다 양 한 데 이 터 소 비 자
데이터 과학자
비지니스
에널리스트
외부 소비자
응용프로그램

트랜잭션
ERP
센서 데이터
빌링
웹로그
소셜
인프라 로그
다 양 한 데 이 터 소 비 자
데이터 과학자
비지니스
애널리스트
외부 소비자
응용프로그램
많 은 데 이 터 접 근 방 식
API 액세스
BI 도구
분석 노트북

전통적인 데이터 분석 아키텍처
OLTP ERP CRM LOB
데이터 웨어하우스
비지니스 인텔리전스 관계형 데이터
TBs~PBs 스케일
데이터 로드 전에 정의 된 스키마
운영 보고서 및 ad hoc 쿼리
대규모 초기 설비 투자 + $10K–$50K / TB / Year

서로 격리된 레거시 데이터 사일로
하둡 클러스터 SQL DBDW

레거시 데이터 아키텍처의 어려움…
• 복잡한 하둡을 관리하는 건 매우 어렵다.
• 전통적인 데이터 아키텍처는 스토리지와 컴퓨팅 인프라가
타이트하게 결합되어 있다.
• 데이터가 여러 저장소에 분산되어 효율적인 분석이 어렵다.
• 데이터를 액세스하는 도구가 제한되어 있다.

데이터 레이크

데이터 레이크란?
데이터 레이크는 모든 데이터 자산을
단일 중앙 위치에 통합하여,
데이터를 특성에 맞게 분류, 처리,
분석 및 소비 할 수 있는 아키텍처
접근 방식입니다.

미래 보장유연한
데이터 엑세스
메카니즘
손쉬운 데이터
검색
모든 데이터
수집 및 저장
데이터 레이크의 속성

데이터 레이크의 혜택은?

AWS 데이터 레이크가 주는 혜택
모든 소스의 데이터를 한 곳에
저장하고 분석
“데이터가 너무 많은 장소에 분산.
한 곳에서 볼 수 없을까?
모든 데이터를 한곳에

사전에 정의된 방식을 강제하지
않고, 데이터를 신속하게 수집
“다양한 소스에서 어떻게
데이터를 신속하게 수집?
효율적으로 관리?
신속한 데이터 수집 및 저장

여러가지 종류의 분석 및 처리
프레임워크를 동일한 데이터에
적용할 수 있는 방법?
Data Lake 는 쓰기가 아닌 읽기에
스키마를 적용하여 ad-hoc 분석이
가능.
구조화 없이 분석 처리 (Schema on Read)

저장공간과 분석을 위한 컴퓨팅
리소스를 분리.
각 구성요소를 별도로 확장.
생성되는 데이터가 점점 증가.
저장공간의 확장을 어떻게?
데이터 저장과 처리를 분리

데이터 레이크를 위한 최적의 장소
Amazon S3

타의 추종을 불허하는
내구성, 가용성 및 확장성
최상의 보안, 컴플라이언스
및 감사 기능
모든 규모에서 객체
별로 제어 가능
데이터에 대한
비즈니스 통찰력
수 많은 파트너 솔루션과 통합데이터를 가져 오는
가장 많은 방법 제공
Amazon S3를 데이터 레이크로 선택한 이유

AWS 데이터 레이크 생태계

AWS는 데이터 레이크를 위한 모든 서비스를 제공
수집 저장 소비처리 및 분석

Amazon S3
안전하고, 비용
효율적인 스토리지
Interoperate with everything

다양한 데이터 수집 방법
AWS Snowball
• PB 규모의 마이그레이션
AWS Storage Gateway
• 레거시 파일 마이그레이션
Amazon S3 Transfer Acceleration
• 장거리 데이터 전송 가속화
AWS Direct Connect
• 온프레미스와 네트워크 통합
Amazon Kinesis
• 스트림 데이터 수집
• 데이터 변환 및 임시 저장
AWS Data Migration Service
• 동종 및 이기종 데이터베이스
마이그레이션

Kinesis
스트리밍 데이터
Database Migration
Service
Oracle, Netezza 등의
데이터 임포트
Amazon S3
Direct Connect
데이터 센터와 연결
Snowball
벌크 데이터 로드
and many more…

다양한 데이터 처리 방법
배치 분석 실시간 분석

Amazon EMR
Spark 및 Hive가
실행되는 관리형 하둡

Amazon EMR Amazon Redshift +
Spectrum
Spark 및 Hive가
페타바이트 규모의
관리형 DW

Amazon AthenaAmazon EMR Amazon Redshift +
Spectrum
Spark 및 Hive가
관리형 DW
서버리스
대화식 쿼리 엔진 서비스

Spectrum
Spark 및 Hive가
관리형 DW
서버리스
Amazon Kinesis
Data Analytics
서버리스
실시간 스트리밍 분석

Spectrum
Spark 및 Hive가
관리형 DW
서버리스
Amazon Kinesis
Data Analytics
서버리스
Spark Streaming
on Amazon EMR
Apache Flink
on Amazon EMR

Amazon Athena
Amazon Elasticsearch
Amazon EMR Amazon Redshift +
Spectrum
Spark 및 Hive가
관리형 DW
서버리스
로그 분석 및 검색 엔진
관리형 서비스
Amazon Kinesis
Data Analytics
서버리스
Spark Streaming
on Amazon EMR
Apache Flink
on Amazon EMR

Kinesis
Database Migration
Service
데이터 임포트
Amazon S3
Direct Connect
Snowball
and many more…
Redshift
EMR
비정형 데이터 처리
Athena
ad-hoc 쿼리
and many more…
Elasticsearch
Kinesis Analytics

데이터는 완벽하지 않다!
데이터는 절대로 완벽할 수 없다!

AWS Glue - 데이터 카탈로그 및 ETL
ETL 코드
자동 생성
유연한 작업
스케줄러
개발 환경
제공
ETL (데이터 변환)

AWS Glue - 데이터 카탈로그 및 ETL
통합
데이터 카탈로그
자동 데이터 탐색
ETL 코드
자동 생성
유연한 작업
스케줄러
개발 환경
제공
ETL (데이터 변환) 데이터 카탈로그

Kinesis
Database Migration
Service
데이터 임포트
Amazon S3
Direct Connect
Snowball
and many more…
Redshift
EMR
Athena
ad-hoc 쿼리
and many more…
Elasticsearch
Kinesis Analytics
AWS Glue
데이터 카탈로그와 ETL

Kinesis
Database Migration
Service
데이터 임포트
Amazon S3
Direct Connect
Snowball
and many more…
Redshift
EMR
Athena
ad-hoc 쿼리
and many more…
Elasticsearch
Kinesis Analytics
QuickSight
비지니스 인텔리젼스
Notebook
머신러닝 개발 IDE
API Gateway
API 개발 도구
AWS Glue
데이터 카탈로그와 ETL

그리고 한 가지 더…

AWS AI/ML 포트폴리오
프레임워크 & 인터페이스
AW S DEEP LEARNING API
Apache MXNet TensorFlowCaffe2 Torch KerasCNTK PyTorch GluonTheano
플랫폼 서비스
AWS DeepLensAmazon SageMakerAmazon ML EMR (Spark ML/MLLib)
V ISION L AN GU AGE
어 플 리 케 이 션 서 비 스
Amazon
Rekognition
Amazon Polly Amazon Lex
Amazon
Rekognition Video
Amazon Transcribe Alexa for Business
Amazon Comprehend
V R / IR Amazon Sumerian
Amazon Kinesis
Video Streams
Amazon Translate

데이터 레이크와 AI/ML
텍스트를 음성으로 변환 (TTS)
Amazon Polly
Amazon Lex
음성 또는 텍스트 기반의 대화형 엔진 (챗봇)
Amazon Rekognition
이미지 및 비디오 분석
단일 중앙 스토리지
안전하고 비용 효율적인 스토리지
Amazon S3

데이터 레이크와 AI/ML
텍스트를 음성으로 변환 (TTS)
Amazon Polly
Amazon Lex
음성 또는 텍스트 기반의 대화형 엔진 (챗봇)
Amazon Rekognition
이미지 및 비디오 분석
Amazon Sagemaker
머신러닝/딥러닝 플랫폼
Amazon S3

Amazon SageMaker
고도로 최적화된
머신러닝
알고리즘들
구축
Jupyter
Notebook
인스턴스 생성

Amazon SageMaker
One-click 머신러닝
알고리즘 학습
Hyperparameter
최적화를 통한
손쉬운 학습
머신러닝
알고리즘들
구축
Jupyter
Notebook
인스턴스 생성
학습

Amazon SageMaker
One-click 머신러닝
알고리즘 학습
Hyperparameter
최적화를 통한
손쉬운 학습
머신러닝
알고리즘들
복잡한
엔지니어링
노력이 필요 없는
쉬운 배포
운영환경 완전 관리
및 자동 스케일링
구축
Jupyter
Notebook
인스턴스 생성
배포
학습

Amazon SageMaker
개발부터 운영
단계까지의
머신러닝 플랫폼
제로 설정
(No 인프라 관리)
유연한 학습 모델 저렴한 학습 비용
$
대규모의 머신러닝 모델을 구축, 학습 및 배포하는 서비스

S3
카탈로그 및 검색
메타데이터 엑세스 및 검색
DynamoDB Elasticsearch
엑세스 및 유저 인터페이스
사용자에게 쉽고 안전하게 엑세스 권한 부여
API Gateway IAM Cognito
보호 및 보안
자격 증명을 통한 데이터 보안
Security Token
Service
Cloudwatch Cloudtrail KMS
Athena Quicksight EMR Redshift
처리 및 분석
예측 및 처방 분석을 통한 통찰력
Firehose Direct Connect Snowball DMS
데이터 수집
데이터를 신속하고 안전하게 S3로 유입
Glue ETL Lambda
Glue Catalog
AI/ML
CloudHSM Macie
Storage Gateway
끝으로…

AWS Summit 모바일 앱과 QR코드를
통해 강연 평가 및 설문 조사에 참여해
주시기 바랍니다.
내년 Summit을 만들 여러분의 소중한
의견 부탁 드립니다.
#AWSSummit 해시태그로 소셜 미디어에 여러분의 행사
소감을 올려주세요.
발표 자료 및 녹화 동영상은 AWS Korea 공식 소셜 채널로
공유될 예정입니다.
여러분의 피드백을 기다립니다!

금융 데이터분석을 위한 효과적인 AWS 아키텍쳐::유다니엘::AWS Summit Seoul 2018

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to 금융 데이터분석을 위한 효과적인 AWS 아키텍쳐::유다니엘::AWS Summit Seoul 2018

Similar to 금융 데이터분석을 위한 효과적인 AWS 아키텍쳐::유다니엘::AWS Summit Seoul 2018 (20)

More from Amazon Web Services Korea

More from Amazon Web Services Korea (20)

금융 데이터분석을 위한 효과적인 AWS 아키텍쳐::유다니엘::AWS Summit Seoul 2018