LG 이노텍 - Amazon Redshift Serverless를 활용한 데이터 분석 플랫폼 혁신 과정 - 발표자: 유재상 선임, LG이노...
Media 서비스의 새로운 플랫폼, AWS :: 김기완 솔루션즈 아키텍트 :: AWS Media Day 2016
1. 미디어 서비스의 새로운 플랫폼, AWS
김기완 | 솔루션즈 아키텍트 | Amazon Web Services
2. Disruptive Innovation
“Disrupts an existing market and value network, displacing
established market leading firms, products and alliances”
- Wikipedia
3. 빠른 변화 속도
시장에 빠르게 접근
제약 조건들을 제거
비용 절감
자산 투자 감소
운영 비용 절감
불필요한 요소 제거
확장성, 안정성, 보안
새로운 비즈니스 창출에 집중
21세기 아키텍쳐를
위한 토대
Amazon Web Services Cloud
2006 시작…
5. ENTERPRISE
APPS
DEVELOPMENT & OPERATIONSMOBILE SERVICESAPP SERVICESANALYTICS
Data
Warehousing
Hadoop/
Spark
Streaming Data
Collection
Machine
Learning
Elastic
Search
Virtual De
sktops
Sharing & Co
llaboration
Corporate
Email
Backup
Queuing &
Notifications
Workflow
Search
Email
Transcoding
One-click App
Deployment
Identity
Sync
Single Integrated
Console
Push
Notifications
DevOps Resource
Management
Application Lifecycle
Management
Containers
Triggers
Resource
Templates
TECHNICAL &
BUSINESS SUP
PORT
Account Man
agement
Support
Professional
Services
Training &
Certification
Security
& Pricing
Reports
Partner Ec
osystem
Solutions
Architects
MARKETPLACE
Business
Apps
Business I
ntelligence
Databases
DevOps
Tools
NetworkingSecurity Storage
Regions
Availability Z
ones
Points of Pr
esence
INFRASTRUCTURE
CORE SERVICES
Compute
VMs, Auto-scaling,
& Load Balancing
Storage
Object, Blocks, Archival
, Import/Export
Databases
Relational, NoSQL,
Caching, Migration
Networking
VPC, DX, DNS
CDN
Access Contr
ol
Identity Mana
gement
Key Managem
ent & Storage
Monitoring
& Logs
Assessment an
d reporting
Resource & Us
age Auditing
SECURITY & COMPLIANCE
Configuration C
ompliance
Web application
firewall
HYBRID ARCHIT
ECTURE
Data Backups
Integrated Ap
p Deploymen
ts
Direct
Connect
Identity
Federation
Integrated
Resource Ma
nagement
Integrated
Networking
API Gate
way
IoT
Rules Eng
ine
Device Shad
ows
Device SD
Ks
Registry
Device G
ateway
Streaming Data
Analysis
Business Int
elligence
Mobile
Analytics
6. * As of 1 September 2016
2009
48
280
722
82
2011 2013 2015
AWS는 어떠한 종류의 workload도 처리할 수 있도록 지속적으로 서비스를 확장하고 있
으며, 현재 컴퓨팅, 스토리지, 네트워킹, 데이터베이스, 데이터 분석, 어플리케이션 서비
스, 배포, 관리 및 모바일 서비스 등 70여 가지의 서비스를 제공하고 있습니다. AWS는
2016년에 634개의 새로운 기능을 발표하였으며, 2006년 이래 2,529가지의 새로운 기능
을 발표해 왔습니다.
AWS 혁신의 속도
2016. Sep
634
8. Amazon Web Services
2006년 이래 클라우드 서비스를 구축하고 관리
모든 종류의 workload를 위한 70여 가지 서비스
고객 지향의 빠른 혁신의 속도
13 리젼, 35 가용 영역, 59 엣지 위치
52번의 자발적인 가격인하
수천 이상의 파트너; 2,600개 이상의 마켓플레이스 제품
오랜 경험
다양한 서비스
빠른 혁신
글로벌 서비스
가격 철학
협력 생태계
12. 새로운 고민
Content Growth
VR, 4K, HDR등 다양한 컨텐트
컴퓨팅, 스토리지 자원 요구
Peak Demand
필요에 따른 동적 자원 할당
서비스 무한 확장
Competitive Pressures
cord cutting, 새로운 경쟁
소비자들의 새로운 요구
Global Market
빠르게 글로벌 진출
새로운 기회
13. 4K = 5 x 1080p HD
4K가 최적의 표준 해상도인가?
4K 스크린 및 프로그램이 일반적인가?
4K 카메라로 촬영하는 것이 일반적인가?
우리는 2014년부터 2020년까지 엔터테인먼트 사업에서 필
요로 하는 디지털 스토리지의 양이 4.9배 늘어날 것이라고
예측하고 있으며, 해마다 대략 3.7배의 신규 스토리지가 도
입될 것으로 판단하고 있습니다. (18,050PB에서 66,291PB)
(Coughlin Report)
Content has Gravity and is getting heavier
15. AWS 클라우드를 사용하면 ……
Massive Infrastructure
제한없는 컴퓨팅, 스토리지 자원
분산, 병렬식 자원 활용 (4K, VR, …)
Stop guessing Capacity
손쉬운 스케일 업/다운
서비스 규모 제한 요소 제거
Speed & Agility
시장에 빠르게 접근
적은 실패 비용으로 새로운 서비스 개발
Go global in minutes
약정 없는 worldwide 자원 사용
13 리젼, 59 엣지 로케이션
16. 미디어 워크로드를 위한 AWS 서비스
Amazon
STORAGE
Amazon
DELIVERY
Amazon
COMPUTE
Amazon
PROCESSING
Amazon
INGEST
CloudFront – 전 세계에서 제공되는 다양한 기능의 CDN 서비스
S3 / Glacier – 안정성, 확장성 및 보안성이 뛰어난 비용 효율적인
오브젝트 스토리지
Elastic Transcoder; Elemental Technologies – 확장성 및 비
용 효율성이 뛰어난 미디어 처리 서비스
EC2 – 미디어 처리, 데이터 분석, 웹 서비스 등 다양하게 활용될 수
있는 컴퓨팅 자원 제공
Direct Connect; Snowball; S3 Transfer Acceleration – 다양
한 방법으로 컨텐트를 AWS로 이동
17. 미디어 워크로드를 위한 Elemental 서비스
Elemental
SERVER
Elemental
LIVE
Elemental
CONDUCTOR
Elemental
DELTA
Elemental
CLOUD
리얼 타임 비디오/오디오 인코딩
리얼 타임보다 빠른 파일 기반의 미디어 처리
비디오 배포 오리진 – 패키징, DRM, 배포, 광고삽입 등
통합운영 및 관리
AWS 상에서 작업 배포 및 관리
21. 컨텐트 제작 / 입수 / 관리
v
Acquisition
DAM & Archive
Media Supply Chain
Publishing
Playout & Distribution
Analytics
OT
T
VFX & NLE
22. 컨텐트 제작 / 입수 / 관리 – AWS 클라우드 이점
• 빠르게 필요한 컴퓨팅 자원을 할당 (클라우드 렌더링, 미디어 프로세싱)
• 대용량 스토리지를 손쉽게 사용 (라이프사이클, 암호화, 이벤트 처리)
• 빠르게 테스트 후 배포
• 용량 산정으로부터 해방 (고객 경험을 극대화)
• 원하는 어느 곳에서든 서비스 가능
23. c4
g2m3
High Capacity Egress
GPU Transcode
IngestEncoder
Broadcast
Decode
Low Bitrate
Proxy
HLS w/ Cloudfront CDN
MPEG-UDP w/FEC
Direct Connect
Multi Path 방송신호 배포
• 방송신호 배포
• 위성 사용 비용 절감
• AWS 글로벌 리전 활용
24. 클라우드 스케일의 VFX Rendering
• 애니메이션 스튜디오의 렌더링 작업
• Avere를 활용한 하이브리드 환경
• EFS를 활용한 클라우드 All-in 환경
• Spot Fleet을 사용한 비용 절감
• 40000 코어를 20분 이내 배포
25. 원격 어플리케이션 활용 – 모델링 / NLE
• 편집 툴의 원격 사용 (NLE)
• 컨텐트는 클라우드(S3)에 저장
• GPU 인스턴스 사용
Amazon S3
GPU
Content
Amazon
Appstream
Remote
Dumb Terminal
Amazon EC2
EFS
26. AWS Import/ Export
Snowball
S3 multi-part API
미디어 처리의 백엔드 스토리지로 S3 활용
Amazon Elastic
Transcoder
S3 Notification
람다 함수를 통한
트랜스코딩 작업
Ingest
S3 Notification
Signed URL 생성 및
미디어 파일 공유 설정
CMS 및 메타데이터
업데이트
클라우드 MAM / DAM
27. Long Term
Archive
API를 통한 접근
(모든 스토리지 티어)
비용 절감을 위해 입수된
시점을 기준으로 자동
LifeCycle 적용
Amazon S3
S3 Infrequent Access
Amazon Glacier
LifeCyclePolicies
Near-line
Storage
Frequently
Accessed
컨텐트 라이프사이클 관리
28. Infrastructure Management for the Media Supply Chain
Fox Broadcast Centre
Los Angeles
Content
Quality Check
Content
Normalization
Content
Captioning
Distribution-ready content
and BXF metadata
Future Distribution
Platforms
Single sign-on & 2-factor
authentication via
Bypass Path
Manual Upload
Video Content
(from suppliers)
Customer Portal
(content suppliers)
Content
Metadata
FOX의 디지털 컨텐트 공급망
30. 컨텐트 배포 / 전달 / 분석 – AWS 클라우드 이점
• 빠르게 필요한 서비스를 개발, 배포 (라이브 이벤트, 스포츠, 뉴스)
• 실패 비용을 낮추면서 빠르게 실험
• 할 수 있는 최대한의 규모로 실험
• 클라우드 All-in, Hybrid, DR 구조
31. HLS 라이브 스트리밍 - Elemental
Media Center
Live Encoder
AWS Region
Elemental Live Elemental Delta
RTMP
injection
DX (Optional)
Elemental Cloud
HLS Segmenting
DRM
CloudFront
32. HLS VoD 서비스 – Elemental 혹은 Amazon Elastic Transcoder
Media Center
Edit / Content
AWS Region
Elemental Server
External Sources
DX (Optional)
Elemental Cloud
DRM
CloudFront
Media Repository
Transcoding
Elastic Transcoder
33. • 비디오 팩토리가 라이브 방송을 캡춰한 후 클라우드 스토리지로 전송
• 입수된 컨텐트를 API를 통하여 Elemental Cloud로 알림
• 입수된 컨텐트의 양에 따라 동적으로 리소스 스케일 아웃
• 입수된 소스 컨텐트에서 여러 개의 H.264 ABR 아웃풋 생성
catch up TV Workflow - BBC
34
Live TV
SOURCE iPLAYER DISPLAY DEVICESCDNsELASTIC VIDEO PROCESSING
HLS Inputs
S3 STORAGEDATA TRANSFER
AWS Direct Connec
t
34. Live Streaming Workflow
35
• Rio에서 더블린까지 10Mbps Live HLS 인풋 스트림 전송
• Elemental Cloud 를 통해 48개의 동시 스트림 injection
• 각 스트림 당 9개의 ABR 출력, 2개의 썸네일, 1개의 RTMP 피드 생성
• CDN을 통하여 지역 방송사에서 컨텐트 전송
ELASTIC VIDEO PROCESSING
Live TV
STADIUMS FIBER
Accelerate
d
CDN
Delivery
GLOBA
L
Broadcaste
rs
DISPLAY DEVICES
HLS Inputs
S3 STORAGE
35. Live Linear Streaming Workflow
• Amazon Video Live Streaming 2015년 12월에 18개의 채널로 서비스 시작
• 채널 스트림은 IP (Showtime) 혹은 satellite (Starz) 로 수신
• Level3 Vyvx 네트워크를 통해 AWS로 전송
36. Sony DADC Stores More Than 800,000 Hours of Video on AWS
• 디지털 컨텐트 배포는 빠르게 성장하는 속도에
맞는 스케일이 필요
• AWS 클라우드에 All-In
• 월간 800,000 시간 이상의 비디오 컨텐트 배포
• 20PB의 미디어 레이크
• 수 개월 걸리던 데이터 분석을 수 일로 단축
• 매 5~7년마다 수백만 달러의 비용 절감