AWS에서 Kubernetes 실행하기 - 황경태 솔루션즈 아키텍트, AWS :: AWS Summit Seoul 2019

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.
AWS에서 Kubernetes 실행하기
황경태
솔루션즈 아키텍트
Amazon Web Services

목차
• Amazon EKS 아키텍처
• 글로벌 EKS 고객 사례
• Fidelity
• Snapchat
• State Street
• 데모: EKS와 함께하는 마이크로서비스 개발에서 분석
• MSA & 배포 & 로깅 & 부하테스트 & 모니터링 & 로그 분석

AWS 관리형 쿠버네티스(K8S)의 원칙
E L A S T I C CO N TA I N E R S E R V I C E F O R K U B E R N E T E S
EKS는 대규모 회사가 운영 수준의
작업 부하를 실행하는 플랫폼이다
EKS is a platform for enterprises to run production-grade workloads
EKS는 순수 쿠버네티스 및
업스트림 경험을 유지한다
EKS provides a native and upstream Kubernetes experience
EKS 고객이 다른 AWS 서비스를 사용할 때,
복잡하지 않고 매끄럽게 연계한다
If EKS customers want to use additional AWS services,
the integrations are seamless and eliminate undifferentiated heavy lifting
EKS 팀은 쿠버네티스 프로젝트에
적극적으로 기여한다
EKS team actively contributes to the Kubernetes project
TenetsAmazon EKS

Amazon EKS 사례 – Snapchat
"Snapchat은 매일 전세계 수백만명의 고객에게 서비스를 제공하고
있습니다. 저희는 지금 Amazon EKS을 현재 요구사항를 충족시키
는 핵심 컴퓨팅 서비스로 활용할 수 있어 기쁘게 생각합니다. 앞으
로 몇 달 동안 중요한 워크로드를 호스팅 할 계획인데,여기에도 사
용할 것 입니다."

Amazon EKS 사례 – STATE STREET
“Amazon EKS의 성능을 통해 초당 백만건 이상의 쿼리를 수행하는
대규모 데이터베이스를 효과적으로 관리할 수 있게 되었습니다.
또한, EKS는 클러스터 관리 및 확장성 과제에 도움을 주고 있습니다."

Amazon EKS 사례 - Fidelity
“대규모 엔터프라이즈 워크로드를 위해 EKS를 사용하여 차세대
PaaS를 구축하였으며, 수천 개의 응용 프로그램을 관리하고 수백
개의 DevOps 팀을 운영하고 있습니다. "

Amazon EKS 아키텍처
mycluster.eks.amazonaws.com
EKS 워커노드
kubectl
AZ 1 AZ 2 AZ 3
사용자의 AWS 계정
VPC

EKS 컨트롤 플레인
고 가용성을 내재한 단일 테넌트
인프라스트럭처
전체 “순수 AWS” 서비스
NLB을 활용한 부하분산
컨트롤 플레인 로그(new)
• API 서버, Audit, Controller
Manager, Authenticator,
Scheduler
VPC
etcd (오토스케일링)
AZ-2AZ-1 AZ-3
NLB
ELB
Instances
Instances
API Server (오토스케일링)

Private subnet
EKS 데이터 플레인
다양한 인스턴스유형 및 가격정책 적용
• p2, p3 GPU, i3.metal, 스팟 또는 조합
AI/ML용 Amazon EKS
• EKS에 최적화된 GPU 지원 AMI
EKS AMI 빌드 스크립트
워크로드 특성에 적합한 인스턴스 적용
• Snapchat은 최신 세대의 c5 EC2 인스
턴스를 적용하여, c4 대비 최대 25 % 향
상된 가격대비 성능 달성
VPC
AZ-1 AZ-2 AZ-3
Internal ELB
Instances Instances 사용자
AMI
Public subnet
CLB or NLB or ALB
Internet gateway
Instances

교차 계정(Cross account) ENI
EKS VPC사용자 VPC
워커 노드
EKS 전담
ENI
Kubernetes
API 호출
Exec, Logs,
Proxy
Internet
Private Access

EKS와 함께 구성한 K8S 컴포넌트
EKS 마스터
엔드포인트
ALB/NLB
클러스터
연결
모니터링/
매트릭스
Amazon EKS 노드
스토리지 & 정책
(Amazon EBS / EFS 스토리지 클래스 )
컴퓨트 & 정책
(오토 스케일링)
네트워크 & 정책 ( Calico )

Amazon EKS 보안 - 인증 & 권한 (A&A)
• K8S는 RBAC 사용
• Role & RoleBinding
• ClusterRole & ClusterRoleBinding
• AWS IAM Authenticator – IAM과
RBAC 연결
• K8S 보안 메커니즘
• Namespaces
• Service accounts
• User accounts
AWS Identity and Access
Management (IAM)

AWS Identity and Access Management (IAM) 인증
kubectl
3) AWS Identity에 RBAC 권한 부여
K8s API
1) AWS identity
2) AWS identity 검증
4) K8S action 허용 또는
거부
AWS IAM
인증

AWS / Amazon EKS 네트워크 제어
• VPC 보안그룹
• VPC 서브넷 NACL
• Pod레벨에서 네트워크 정책 구현
• 네트워크 세그먼테이션
• 테넌트 분리
• K8S의 네트워크 정책
• AWS 보안그룹과 유사함
• Selector 조건에 해당하는 POD에
선택적으로 적용(레이블 활용)
Amazon VPC Amazon EKS

Amazon EKS - 네트워크 레이어
• K8S에 있는 3개의 IP 주소 계층:
• K8S 클러스터 레벨
• K8S POD 레벨
• AWS VPC 계층
• Amazon VPC CNI for EKS 플러그인
• L-IPAM 데몬은 ENI에 IP 주소 연결/할당/관리 및 IP 주소 “웜 풀” 관리
• 호스트의 네트워크 연결 및 POD의 namespace에 올바른 인터페이스 추가를 관리
• ‘aws-node’ 데몬이 각 노드에 배포
• 노드의 Amazon EC2 인스턴스 유형에 맞춰 IP 주소들을 제공

Amazon VPC CNI 플러그인
ENI
Secondary IPs:
10.0.0.1
10.0.0.2
10.0.0.1
10.0.0.2
ENI
10.0.0.20
10.0.0.22
Secondary IPs:
10.0.0.20
10.0.0.22
ec2.associateaddress()
VPC Subnet –
10.0.0.0/24
Instance 1 Instance 2
VPC

AWS / EKS – 지속적 통합과 배포 (CI/CD)
• AWS CodeCommit
• AWS CodeBuild
• AWS CodeDeploy
• Amazon ECR
• AWS CodePipeline
• K8S Helm 패키지 관리
• Helm charts를 이용한 어플 관리
• 구성요소: Helm(클라이언트),
Tiller(Server), Charts
• 작성/버전/공유/배포 지원
• 오픈소스 / 파트너 솔루션 검색
• 예) coreos/clair
개발도구 & 레지스트리

CodePipeline를 활용한 지속적 배포
CodeBuildCodeCommit Lambda
CodePipeline
개발자
git push
ECR EKS
파라미터 저장소
(AWS System Manager)
token
가져오기

가시화 & 모니터링
• CloudWatch 매트릭스
• VPC / ALB / Amazon EC2 / ASG /
Amazon EKS 컨트롤 플레인
• 사용자 정의 매트릭스
• CloudWatch 로그
• VPC / ALB /Amazon EC2 / ASG /
Amazon EKS 컨트롤 플레인
• AWS CloudTrail
• K8s 스케일링 매트릭스
• HPA(Horizontal Pod Scaler)
• Cluster 오토 스케일러
• Cluster 수준의 매트릭스
Amazon CloudWatch

EKS 워커
pod
fluentd
daemonset
EFK & CloudWatch를 활용한 로깅

EKS 워커
pod
fluentd
daemonset
EFK를 활용한 EKS 로깅

EKS 로드맵
Kubernetes 1.12 사용가능
EKS은 3개 버전의 K8S 지원
특정 버전이 “Deprecation”되면 그
버전의 새 클러스터 작성할 수 없음
github에 로드맵이 공개되어 있으며
계획 및 진행상태 확인 가능
2019/4/12 기준

비용 절감
가동률 대비 비용 효과
차별화되지 않는 기능 개발 절제
출시 시기 단축
인프라 준비 및 관리
대신 업무 본질과
비즈니스 가치에 중점
혁신
혁신적인 클라우드 기능
을 활용하여 신제품 출
시
디지털 API 시장에서 신
규 비즈니스 기회 창출
온디멘드의 탄력적인
컴퓨트
이중화 및 HA를 위한 다
중 가용성 영역 및 데이
터 센터
자원 사용, 접근, 자산,
배포, 문제점에 대한 완
벽한 투명성 및 추적성
PaaS 비즈니스 목표
Native 클라우드 전략은 디지털 비즈니스에서 경쟁력을 확보하는데 매우 중요합니다. 조직은 Cloud Journey 진행함에
따라, 위험과 복잡성간 균형을 유지하며 비즈니스 가치 극대화 방법을 고민하게 됩니다.

Native 클라우드 전략은 디지털 비즈니스에서 경쟁력을 확보하는데 매우 중요합니다. 조직은 Cloud Journey 진행함에
따라, 위험과 복잡성간 균형을 유지하며 비즈니스 가치 극대화 방법을 고민하게 됩니다.
오픈소스 기술 활용
관리형 CSP 서비스
멀티 테넌트
공통의 배포 파이프라인
을 활용하여 보안 제어
및 정책을 시행
공통 표준, 제어, 정책의
집합
.
혁신을 위한 원칙(Tenet)

플랫폼 개요
IaaS
어플리케이션
DevOps 보안 통찰
Business
Insight
Monitor
Logging
Cloud
Analytic
Traces
IaaS Health
Certificate
Vulnerability
Auth
Secret
DDoS
Encryption
CI/CD
Config Mgmt
App Registry
IDE
Code
Repo
Software
Store
API
Routing LB Content
UX Mobile IoT
Service Mesh Microservice
ServerlessContainers
ComputeStorageGlobal Network
데이터
Databases Documents Key/ValueAnalytic
AI &ML
공통
서비스
Batch Services
Cache
Services
Search
Messaging
Bot Services
Cognitive
Services
ML
Services

Amazon EKS 플랫폼
28
Tools
관리형
서비스
Apps
라우팅
Amazon
EKS 컨트롤
플레인
Ingress
Connect
Telemetry
Amazon EKS 노드
CI/CD
Infrastructure as code
스토리지 & 정책 ( EBS 스토리지 클래스 )
컴퓨트 & 정책 (오토 스케일링)
네트워크 & 정책 (Calico)
SRE
사용자
팀 or
이해 관계자
엔지니어링
영역
SRE
EKS Admin
DevOps

Amazon EKS
Control Plane
Ingress
Connect
Telemetry
Amazon EKS 노드
CICD
Storage & Policy ( Amazon EBS storage classes )
스토리지 컴퓨터 & 정책 ( 오토 스케일링 )
SRESRE
사용자
DevOps
어플리케이션 관리
지속적
배포카리리
/ 블루
그린
배포구성
관리비밀
데이터(Secret) 관리
안정성
원격측정
시스템
레벨
로깅
어플리케이션
레벨
로깅
성능
지표
계정
관리
클러스터
관리
자원
관리
네임스페이스
관리
Ingress
보안 세션 및 캐쉬 관리
운영 관리
EKS Admin
플랫폼에 관련 조직/사용자

플랫폼 체계
플랫폼
클러스터 1
네임스페이스
그룹 X
네임스페이스
A
PODs PODs PODs
네임스페이스
B
네임스페이스
그룹 Y
네임스페이스
C
네임스페이스
D
네임스페이스
그룹 Z
네임스페이스
C
네임스페이스
D
Admin
네임스페이스
Daemonsets Tools
클러스터 2 클러스터 3 .... 클러스터 N
팀의 접근 위치
어플리케이션
관리자의 접근 위치

클러스터 액세스
EKS Cluster
Worker Node
AWS IAM
Roles
GRP
A
GRP
B
GRP
C
GRP
ADM
CD/Helm
DeploymentSecretmanagement
Ingress
Storageclasses
NetworkPolicy
EKS RBAC
GRP A
GRP B
GRP C
GRP
ADM
Namespace Access level Cluster Access level
IAM
CredentialsMgmt
NamespaceMgmt
Worker NodeWorker Node
Namespace 1
Namespace 2
Cluster Management Namespace
Namespace 3
Namespace
GroupX
AD

EKS Cluster
Availability
Zone 1
클러스터 아키텍처
EKS Node 1
CNIKubletEngine
Availability
Zone 2
Availability
Zone 3
EKS Node 2
CNIKubletEngine
EKS Node 3
CNIKubletEngine
Cluster Mgmt. Name Space
Name Space A
Name Space B
External
DNS
Ingress
controller
Helm-tiller
Certificate
Mgmt
Network
policy
Monitor
daemon set
Bootstrap
Controller
Helm-tiller
Service
Mesh
Vault
Injection
Horizontal
AutoScaler
Kube Bench Serverless
ALB
Kube Ark
Future
Service
Core Service
PODs PODs PODs PODs
Helm-tiller PODs PODs PODs PODs
AWS IAMAWS IAMAWS IAM
Node Level
Service
PODs
PODs
PODs
PODs
PODs
PODs
PODs
PODs

플랫폼 빌드
33
Cluster
YAML
CLI
클러스터 부트스트랩핑
• IAM 역할 구성
• 보안그룹 구성
• 컨트롤 플레인 작성
• 클러스터 노드 작성
• Admin group, AWS IAM 와 RBAC 구성
관리용 네임스페이스
부트스트래핑
• Ingress Controller 구성
• Namespace Bootstrap controller 구성
• Secret Management Controller 구성
• AWS IAM Controller 구성
apiVersion: eksManager.fidelity.com
kind: Cluster
metadata:
name: <Cluster1>
description: ”reinvent Cluster"
labels:
key: value
spec:
cloudId: AWS
envType: dev
appOwner: <userA>
appEmail: <userA>@ourplatfrom.com
rbac:
- accessLevel:
adgroup: <…>
iamRole: <..>
members:
- ”<userB>"
- ”<userC>"
nodes:
………
secrets:
………
monitor:
…….
EKS Manager
EKS
마스터
Router
Connect
Telemetry
Amazon EKS 노드
CI/C/D
EKS
Admin

플랫폼 온보딩
Cluster
YAML
CLI
• AD 그룹 , AWS IAM roles 와 RBAC 구성
• Namespace(s) 작성
• Helm-Teller 작성
• Ingress controller 구성
apiVersion: nsbootstrapoperator.fidelity.com
kind: nsgroup
metadata:
name: <GroupX>
description: ”Name Space Group X"
namespace: default
labels:
key: value
spec:
cloudId: AWS
envType: dev
appOwner: <userA>
appEmail: <userA>@ourplatfrom.com
rbac:
- accessLevel:
adgroup: <…>
iamRole: <..>
members:
- ”<userB>"
- ”<userC>"
- accessLevel: readonly
adgroup:<…>
iamRole: <..>
members:
- "<userC>"
- "<userD>"
namespaces:
- name: <Cluster>_<NamespaceGroup>_<namespace>_<UI>
- name: <Cluster>_<NamespaceGroup>_<namespace>_<API>
- name:
<Cluster>_<NamespaceGroup>_<namespace>_<BACKEND>
………
EKS
마스터
Router
Connect
Telemetry
Amazon EKS 노드
CI/C/D
EKS
Admin

플랫폼 액세스
EKSConnect
Kubectl
aws-iam-
authenticator
IAM
EKS Master
API server
authenticato
r server
Kubernetes
RBAC
ETCD
1
2
3
4
5
8
9,10
6
7
EKSConnect
Config
Helm
Authorization and
Authentication
Secure kubectl
Helm
Access
0
Retrieve
Token
JWT
Token
인증
Invoke
Pull
Secret
EKS Connect
EKS 마스터
Router
Connect
Telemetry
EKS 노드
CICD
DevOps

Interfaces
어플리케이션 라이프 사이클 EKS 마스터
Router
Connect
Telemetry
EKS 노드
CICD
DevOps
Security Service
4
5 7
1
2
3
Audit
8
9
6
10
Development
Security
Scan
Build
Secret
Promote
Images
Deploy
Helm
Replicate
ECR
Deploy
Helm
Pull
images
Configure
R53
Pull
Secret

컨테이너 모니터링 EKS 마스터
Router
Connect
Telemetry
EKS 노드
CICD
SRE
인프라스트럭처
•컴퓨트
•네트워크
•스토리지
관리 티어
•이벤트
•자원 사용량
이벤트
•가용성
•헬스 체크
•오토스케일링
이벤트
어플리케이션 •응답시간
•어플리케이션 로그
•성능지표
메트릭스
로그
헬스상태
데이터메시지
성능
대시보드
어플리케이션
분석
운영상
경보
자동화된 복구 조치
AIOps(복구/조치관리자)

데모 어플리케이션 아키텍처
가상의 이커머스 몰 (Sock-shop)
마이크로서비스 모범사례 적용
지속적인 통합 및 배포의 장점 제시
DevOps와 마이크로서비스의 연계
실제 어플리케이션 수준의 구현을 통한
테스트
java go Node.js
front-end
orders payment user catalogue carts
shipping
queue-
master
RabbitMQ
소스: https://github.com/microservices-demo

데모 EKS 클러스터
EKS Cluster
Availability
Zone 1
EKS Node 1
CNIkubelet
Availability
Zone 2 Availability
Zone 3
EKS Node 2
CNIkubelet
EKS Node 3
CNIkubelet
Namespace:
mgmt
Namespace:
sock-shop
metrics-server
Horizontal
AutoScaler
weave-scope-
app
weave-scope-
agent
weave-scope-
agent
weave-scope-
agent
fluentd-
cloudwatch
fluentd-
cloudwatch
fluentd-
cloudwatch
kube2iam kube2iam kube2iam
Core Service
Node Level
Service
alb-ingress -
controller
External DNS
orders-db carts-db user user-db
shipping
queue-
master
payment
carts
rabbitmq
front-end
catalogue
orders
catalogue-
db
VPC Subnet –
192.168.0.0/16

EKS 컨트롤 플레인
마이크로서비스 개발에서 운영
EKS 워커 클러스터
AZ 1 AZ 2 AZ 3
VPC
사용자
부하 테스트 서버군
Auto Scaling
group
Load testing
Slaves
부하테스트
부하 생성용
서버 작성S/W,QA
DevOps
엔지니어
Load
testing
Master
개발
배포
S/W,QA
DevOps
엔지니어
Log
Kibana
로깅, 모니터링 & 분석
K8S
monitor
Namespace:
sock-shop
orders-db carts-db
user user-db
shipping
queue-
master
paymentcarts
rabbitmq
front-end
catalogue
orders
catalogue-
db
Namespace:
mgmt
weave-
scope-app
alb-ingress
-controller
metrics-
server
Horizontal
AutoScaler
weave-scope-
agent
fluentd kube2iam
Route53 ALB
Certificate Manager

Next Step
EKS 교육 및 실습
• https://eksworkshop.com/
re:Invent 2018 – 주요 EKS 세션 및 고객 사례
• https://www.slideshare.net/AmazonWebServices/building-paas-with-amazon-eks-for-the-largescale-
highly-regulated-enterprise-con309r1-aws-reinvent-2018
• https://www.slideshare.net/AmazonWebServices/mastering-kubernetes-on-aws-con301r1-aws-reinvent-
2018?qid=b2667fa8-5d71-45ee-a730-7ebfc5fc256b&v=&b=&from_search=1
• https://www.slideshare.net/AmazonWebServices/running-a-highperformance-kubernetes-cluster-with-
amazon-eks-con318r1-aws-reinvent-2018
AWS Container 로드맵(ECS & EKS 포함)
• https://github.com/aws/containers-roadmap/projects/1
Amazon EKS CI/CD Workshop
• https://github.com/awslabs/aws-devops-essential/tree/master/eks-cicd-lab
데모 어플리케이션 소스
• https://microservices-demo.github.io/docs/quickstart.html

감사합니다!

AWS에서 Kubernetes 실행하기 - 황경태 솔루션즈 아키텍트, AWS :: AWS Summit Seoul 2019

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à AWS에서 Kubernetes 실행하기 - 황경태 솔루션즈 아키텍트, AWS :: AWS Summit Seoul 2019

Similaire à AWS에서 Kubernetes 실행하기 - 황경태 솔루션즈 아키텍트, AWS :: AWS Summit Seoul 2019 (20)

Plus de Amazon Web Services Korea

Plus de Amazon Web Services Korea (20)

AWS에서 Kubernetes 실행하기 - 황경태 솔루션즈 아키텍트, AWS :: AWS Summit Seoul 2019