Amazon S3 최신 업데이트 및 고급 활용 기법:: 박성훈:: AWS Summit Seoul 2018

© 2018, Amazon Web Services, Inc. or Its Affiliates. All rights reserved.
박성훈
테크니컬 어카운트 매니저, Amazon Web Services
Amazon S3
최신 업데이트 및 고급 활용 기법

발표 순서
Amazon S3 개요
S3 One Zone - Infrequent Access
S3 Select
S3 고급 활용 기법

AWS 스토리지 포트폴리오
Data Transfer
3rd Party
Connectors
S3 Transfer
Acceleration
File
Amazon EFS
Object
Amazon GlacierAmazon S3
Block
Amazon EBS
(persistent)
Amazon EC2
Instance Store
(ephemeral)
AWS
Snow Family
AWS Storage
Gateway
AWS Direct
Connect
Amazon
Kinesis
EFS
File Sync

Amazon S3의 이점
Durable, Available, & Scalable Security & Compliance Query In Place
Flexible, Object-Level Management Broadest Support

스토리지 클래스의 선택
자주 액세스하는 데이터 아카이빙 데이터액세스 빈도가 낮은 데이터
밀리초 수분에서 수시간밀리초
From 2.1¢-GB/월. 0.4¢-GB/월.1.25¢-GB/월
Amazon S3
Standard
Amazon S3 Standard–
Infrequent Access
Amazon Glacier
One
Amazon S3 One Zone–
Infrequent Access
1.0¢-GB/월.

스토리지 관리 기능
Cross-Region
Replication
Lifecycle Policies Object TagsEvent
Notifications
Amazon S3
Inventory
AWS CloudTrail
Data Events
Storage Class
Analysis
Amazon CloudWatch
Request Metrics

Amazon S3
One Zone-Infrequent Access

Amazon S3 Standard, Standard-IA
리전 서비스:
• 지리적으로 분리된 최소 3개 이상의
가용 영역에서 데이터 배포
• AZ 손실에 대한 최고 수준의 복원
기능을 제공
설계:
• 내구성: 99.999999999%
• 가용성:
• Amazon S3 Standard: 99.99%
• Amazon S3 Standard-IA: 99.9%

Amazon S3 Availability Zones
S3는 지리적으로 분리된
최소 3개 이상의 가용
영역에서 데이터 배포
각 AZ는 최대 8개의 물리적
데이터 센터로 구성
하나의 데이터 센터 또는 AZ를
사용할 수 없는 경우에도 전체
S3 가용성에 영향 없음
낮은 대기 시간의 사설
망으로 데이터 센터와 AZ
연결
물리적 분리 – 극히 일반적이지
않은 재해도 단일 AZ에만 영향을
미침
데이터는 하나의 AWS 리전 내에서
물리적으로 분리된 최소 3개
이상의 AZ 에 배포

새로운 Amazon S3 스토리지 클래스
데이터는 최소 3개 이상의
물리적 AZ에 배포

데이터는 하나의 물리적
AZ에 배포
데이터는 최소 3개 이상의
물리적 AZ에 배포

S3 Standard
S3 Standard-IA
S3 One Zone-IA

One Zone-Infrequent Access 데이터 저장 방법
단일 가용 영역에 데이터 저장
- 99.999999999%* 내구성 제공
- 99.5% 가용성을 제공하도록 설계
- 저렴한 스토리지 비용
* 가용 영역의 물리적 손실에 대한 복원 모델 지원하지 않음

S3 One Zone-IA 시작하기
S3 One Zone-IA로 데이터 가져오기 :
• S3 One Zone-IA로 직접 PUT
• 수명 주기 정책을 사용한 데이터 이전

가용성: 월별 가동 시간 비율
• S3 Standard:
- 99.99% 의 가용성을 제공하도록 설계
- 99.9% 가용성 SLA
- 단일 가용 영역이 다운된 경우에도 데이터 사용 가능
• S3 Standard-IA:
- 99.9% 의 가용성을 제공하도록 설계
- 99% 가용성 SLA
- 단일 가용 영역이 다운된 경우에도 데이터 사용 가능
• S3 One Zone-IA:
- 99.5%의 가용성을 제공하도록 설계
- 99% 가용성 SLA
One

S3 One Zone-IA
액세스 빈도가 낮은 데이터를 위해 설계된 새로운 스토리지 클래스
• 최소 저장 기간: 30 일
• 데이터 검색 비용: $0.01 per GB
• 최소 객체 크기: 128KB
• $0.01 per 1K PUT
• $0.01 per 10K GET

S3 Select is Generally Available

Amazon S3 Select
표준 SQL 질의를 사용하여 저장된 객체에서 필요한 정보만 조회

Amazon S3 Select
전체 객체를 가져오는 대신 객체에서 필요한 정보만 조회
GET요청과
유사하게 동작
AWS SDK 및
Presto와 통합
표준 SQL 질의 사용

Amazon S3 Select: 빅 데이터 처리 성능 향상
Amazon S3
이전:
Amazon S3
S3 Select
이후:

Amazon S3
고급 활용 기법

S3 스토리지 관리
ActMonitor and Analyze
Organize
Object Tagging
S3
Inventory
AWS
CloudTrail
Amazon
CloudWatch
Storage Class
Analysis
Cross Region
Replication Lifecycle Policy
Event
Notification
Security Management
Default
Encryption
Bucket Permissions
Check
Encryption Status
in S3 Inventory
Trusted AdvisorAWS KMS AWS IAM

객체 태그 지정
분석수명 주기 정책 설정
S3 객체의 손쉬운 관리과 접근 관리 및 제어
접근 관리 및 제어
• 데이터 분류
• 여러 개의 키-값 페어(태그)를 각각의 S3 객체와 연결
• S3 분석 사용자 정의 및 CloudWatch 메트릭 필터링에 사용
• 태그를 통한 접근 관리 및 제어, S3 수명 주기 정책 설정

객체 태그는 …
Department=finance
Customer_ID=1234567
Project=x
Classification=Confidential
PHI=true
username=CloudNinja
format=mp4
Media_type=video
type=raw
Organization=corporate
데이터의 저장 위치가 아닌 데이터의 특성을 기반으로 데이터 관리

태그를 활용한 리소스 접근 관리
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"s3:GetObject"
],
"Resource": "arn:aws:s3:::Project-bucket/*"
"Condition": {"StringEquals": {"s3:RequestObjectTag/Project": "X"}}
}
]
}

S3 인벤토리
동기식 S3 LIST API 대신에 S3 인벤토리를 빅 데이터 작업 또는
워크플로 애플리케이션의 미리 준비된 입력으로 사용하여 LIST API
응답을 호출 및 처리하는 데 드는 시간과 컴퓨팅 리소스를 절약
저장 알림시간 절약 일별 또는 주간 보고 S3 버킷 저장

S3 인벤토리
• Bucket name
• Key name
• Version ID
• IsLatest
• Size
• Last modified date
• ETag
• Storage class
• Multipart upload flag
• Delete marker
• Replication status
• Encryption Status

Amazon Athena를 활용한 S3 인벤토리 조회
CREATE EXTERNAL TABLE my_inventory_table(
`bucket` string,
key string,
version_id string,
is_latest boolean,
is_delete_marker boolean,
size bigint,
last_modified_date timestamp,
e_tag string,
storage_class string,
is_multipart_uploaded boolean,
replication_status string,
encryption_status string)
PARTITIONED BY (dt string)
ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.orc.OrcSerde'
STORED AS INPUTFORMAT 'org.apache.hadoop.hive.ql.io.SymlinkTextInputFormat'
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.IgnoreKeyTextOutputFormat'
LOCATION 's3://bucketname/inventory/output_destination/';

Amazon Athena를 활용한 S3 인벤토리 조회

요청 및 데이터 전송량 통계
• 접두사 또는 객체
태그를 사용해 수집된
지표에 대한 필터 정의
• 1분 간격 CloudWatch
메트릭 제공
• 측정 항목에 대한
CloudWatch 알람 설정

CloudWatch 메트릭
HEAD
Requests
POST
Requests

스토리지 분석
• S3 버킷 내 객체의 사용 패턴 분석
• 30일 후, 객체를 언제 Standard – Infrequent Access 로 이동할지 권장
• 보고서는 매일 업데이트되며 사용자가 구성한 객체 연령 그룹 필터를 적용
버킷 내 모든
콘텐츠의 일일 분석
분석 데이터
내보내기
접두사와 태그를
기준으로 그룹화된
객체 분석
데이터 기반 스토리지 관리

스토리지 분석

AWS QuickSight를 활용한 시각화

AWS CloudTrail를 사용한 API 호출 로깅
보안 분석을 수행하고 IT 감사 및 규정 준수 요구 사항을 충족하며
보안 수준을 즉시 개선하기 위해 객체 수준 활동에 즉각적인 조치
객체 수준 작업 로깅 버킷 수준 작업 로깅 Amazon CloudWatch
Events

AWS CloudTrail를 사용한 API 호출 로깅

수명 주기 정책
스토리지 계층 자동화 및 만료 규칙 생성
객체 연령에 따라 전환 작업 수행
정책 예:
• 30일이 지난 모든 객체를 S3 Standard-Infrequent Access로 이동
• 90일이 지난 모든 객체를 Amazon Glacier로 이동
S3 Standard S3 Standard–
Infrequent Access
Amazon Glacier

수명 주기 정책
스토리지 계층 자동화 및 만료 규칙 생성
객체 연령에 따라 전환 작업 수행
정책 예:
• 30일이 지난 모든 객체를 S3 One Zone-Infrequent Access로 이동
• 90일이 지난 모든 객체를 Amazon Glacier로 이동
S3 Standard S3 One Zone–
Infrequent Access
Amazon Glacier
One

Amazon S3 리전 간 복제(CRR)
사용 사례:
리전 간 자동화된 신속하고 신뢰할 수 있는
비동기 복제
컴플라이언스 대기 시간 단축 보안

CRR: 동작 원리
버킷 B
리전 A 리전 B
버킷 A
• 새로운 PUT만 복제, 소스
버킷으로 업로드 되는 모든
새로운 내용 복제
• 전체 버킷 또는 접두사,
태그 기반
• 자동으로 복제
• SSL을 통한 안전한 전송
• 객체 ACL 및 태그를 포함한
정확한 복제본

CRR: 동작 원리
버킷 B
리전 A 리전 B
버킷 A
Tip: 소스 및 대상 버킷에
별도의 수명 주기 규칙 구성
• 새로운 PUT만 복제, 소스
버킷으로 업로드 되는 모든
새로운 내용 복제
• 전체 버킷 또는 접두사,
태그 기반
• 자동으로 복제
• SSL을 통한 안전한 전송
• 객체 ACL 및 태그를 포함한
정확한 복제본

CRR: 계정 간 복제
이유
• 악의적인 삭제를 방지하기
위한 복제된 데이터에 대한
추가 보호
소유권 덮어쓰기
• 복제된 데이터에 대상 계정
소유권 부여
• 원본과 대상 사이에 고유한
소유권 스택 유지
리전 A 리전 B
원본 계정
원본 계정 대상 계정

트리거 기반 워크플로우를 사용한 자동화
Amazon S3 event notification
• PUT, POST, Copy, Multipart
Upload를 통해 객체가 생성될 때,
또는 DELETE를 통해 객체가
삭제될 때 알림
• 접두사 및 접미사 필터링
• Amazon SNS, Amazon SQS, 및
AWS Lambda 기능을 사용한
워크플로우 트리거
Events
SNS topic
SQS
queue
Lambda
function

객체 암호화 상태
S3 인벤토리
보안 검사
AWS
Trusted Advisor
버킷 권한 확인
S3 콘솔
기본 암호화

Amazon S3 버킷 권한 확인

버킷 권한 확인

• Bucket name
• Key name
• Version ID
• IsLatest
• Size
• Last modified date
• ETag
• Storage class
• Multipart upload flag
• Delete marker
• Replication status
• Encryption Status
S3 인벤토리

기본 암호화
Amazon S3 bucket에 저장되는 모든 객체를
자동으로 암호화
• SSE-S3 또 SSE-KMS
• 규정 준수 요구 사항 충족

Central Storage
Secure, Cost Effective
Storage in S3
S3
Catalog & Search
Access & Search Metadata
DynamoDB Amazon ES
Access & User Interface
Give your users easy & secure access
API Gateway IAM Cognito
Protect & Secure
Use entitlements to ensure data is secure and users identities are verified
Security Token
Service
Cloudwatch Cloudtrail KMS
Athena Quicksight EMR Redshift
Processing & Analytics
Use predictive and prescriptive analytics
to gain better understanding
Firehose Direct Connect Snowball DMS
Data Ingestion
Get your data into S3 quickly and securely

AWS Summit 모바일 앱과 QR코드를
통해 강연 평가 및 설문 조사에 참여해
주시기 바랍니다.
내년 Summit을 만들 여러분의 소중한
의견 부탁 드립니다.
#AWSSummit 해시태그로 소셜 미디어에 여러분의 행사
소감을 올려주세요.
발표 자료 및 녹화 동영상은 AWS Korea 공식 소셜 채널로
공유될 예정입니다.
여러분의 피드백을 기다립니다!

Amazon S3 최신 업데이트 및 고급 활용 기법:: 박성훈:: AWS Summit Seoul 2018

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à Amazon S3 최신 업데이트 및 고급 활용 기법:: 박성훈:: AWS Summit Seoul 2018

Similaire à Amazon S3 최신 업데이트 및 고급 활용 기법:: 박성훈:: AWS Summit Seoul 2018 (20)

Plus de Amazon Web Services Korea

Plus de Amazon Web Services Korea (20)

Amazon S3 최신 업데이트 및 고급 활용 기법:: 박성훈:: AWS Summit Seoul 2018