A technical overview of kubernetes (in spanish). We, at Restorando, are running it in production for 6+ months. This was presented at the AWS meet up, with some other guys talking about other options to run Docker in production on AWS. We talked about kubernetes (what we are using :)) Some animations are not correctly shown here, sorry about that.

1. Kubernetes
Technical overview y nuestra experiencia en Restorando

2. Agenda
● Intro
● Kubernetes concepts
● K8s en la práctica
○ Demo!
● K8s Features
● No free meal
● Links útiles

3. Intro

4. La idea es desacoplar
● Desacoplar apps de servers
○ Así los podemos tratar como ganado y no como mascotas
○ Más uptime y fácil escalar
○ Aprovechar mejor los recursos (varias apps en un server)
○ La gente de infra se encarga de la infra, la gente de la app se encarga de su app
● Linux desacopla software de las arquitecturas de HW (x86, arm, etc.)
○ Kubernetes la aplicación de la infraestructura
● Provee una capa sobre la que las aplicaciones corren
○ No importa el cloud provider (AWS, Azure, etc.) ni si es bare-metal
○ La aplicación no se entera de lo que hay debajo
○ Puede correr federado entre distintos cloud providers y bare-metal

5. Node
Kubelet
Pod Pod Pod
Container Container Container
Node
Kubelet
Pod Pod Pod
Container Container Container
Kubernetes basic architecture
Node
Kubelet
Pod Pod Pod
Container Container Container
Kubernetes
Master

6. Solo importa el desired state
Desired State Current State
Reconciliation loop
Container A y B corriendo
Container A, B y C corriendo
Borrar C

7. ¿Qué es un Pod?
● (no es así realmente, ya veremos bien)
● Pensemos en un pod como un container al que le definimos cosas
● Al que le definimos:
○ La imagen de docker y versión a correr
○ La memoria que puede usar
○ El CPU que tiene disponible
○ El usuario que lo va a correr, etc.

8. Deployments
● Se usa en lugar de pods
● Encargado de que haya la cantidad que queremos
○ Si un nodo muere, levanta el container en otro
○ Si un nodo levanta con ese pod corriendo, lo matará
● Sabe cuándo los “pods” están listos
○ Hay checkeos “standard” que vamos a ver para esto
● Nos maneja los deploy sin downtime
○ Ya vemos a ver cómo
● Desired state: típicamente se especifica en un yaml/json

9. - name: nginx
image: <registry>/nginx:v1.0
readinessProbe:
initialDelaySeconds: 5
httpGet:
path: /health
port: 80
livenessProbe:
initialDelaySeconds: 5
httpGet:
path: /health
port: 80
lifecycle:
preStop:
exec:
command: ["nginx", "-s", "quit"]
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
name: wido-web
spec:
replicas: 1
template:
metadata:
labels:
project: wido
role: web
containers:
- name: app
image: <registry>/wido:1.0
Ejemplo de deployment

10. Hacer un deploy
● Se baja un pod viejo
● Se levanta un pod nuevo
● No se sigue hasta que está listo para recibir tráfico. Cuando está listo, se
repite hasta N
● El nodo lo elige k8s automáticamente, se pueden poner restricciones
○ O hasta crear nuestro propio scheduler y usarlo en su lugar!

11. Servicios: exponer los pods
● Selecciona en base a labels, los pods que se van a exponer
○ Todos los pods con label “project: myapp”
● Se crea entonces (generalmente):
○ Una IP estática que apuntará a los pods que correspondan (load balancing)
○ Un nombre de dns para service discovery
○ Crea load balancer del cloud provider si queremos también
○ Solo se exponen pods que pasen el readiness check
● Comunicación intra-cluster puede ver una IP estática
○ Atrás se hace load balancing y deploys sin downtime fácilmente
○ Los pods se pueden mover de un nodo a otro Y el servicio re-routea
○ Es decir, desacopla

12. Servicios y deploy
my-app
Ver: 0.1
Labels:
project: my-app
my-app
Ver: 0.1
Labels:
project: my-app
Deployment: My app
version=0.1, replicas=2
Service: My app
matchLabels: project:myapp

13. Servicios y deploy
my-app
Ver: 0.1
Labels:
project: my-app
my-app
Ver: 0.1
Labels:
project: my-app
Deployment: My app
version=0.2, replicas=2
Service: My app
matchLabels: project:myapp
my-app
Ver: 0.2
Labels:
project: my-app
my-app
Ver: 0.2
Labels:
project: my-app

14. ¿Qué son los pods realmente?
● Conjunto de 1 o más containers, mínima unidad de deployment
● Modela grupo de apps que se corren en un host
○ SIEMPRE en un mismo nodo
○ Misma IP, namespace de red, IPC entre ellos, etc.
● Idea: desacoplar
○ Tambien separation of concerns, reusable, != CPU/mem limits, monitoreo preciso
● Ejemplos
○ File puller + web server: comparten volumen para los archivos
○ Mysql + adapter de phometheus
○ App + interfaz con “el mundo exterior”
○ En Restorando: nginx, heka y app

15. Demo

17. Kubernetes features
● Automatic binpacking
● Horizontal autoscaling
● Cluster autoscaling
● Automated rollouts and rollbacks
● Storage orchestration
○ Dynamic volume provisioning
● Self-healing
● Service discovery and load balancing
● Secret and configuration management
● Batch and scheduled execution
● Canary deployments
● Container runtime independant
○ Docker, Rocket, Hyper, etc.
● Run Stateful and stateless apps
● Federated
● Extensible (3rd party API)
● Operators (recién anunciados por CoreOS)
● Hosted on Google cloud and Azure
● Minikube para correr local
● Partners y enterprise support
○ Training, certification and KMSP program
● Kubernetes on kubernetes (kaboom!)
● Viene con UI!
● Integraciones con todo lo que
necesitamos nosotros
○ SignalFX, Samson, AWS, etc.

18. No free meal
● Un layer de abstracción más
○ Hay que entenderlo, etc.
● Containers (docker o cualquiera) se meten mucho con el OS
○ Problemas en esa capa probablemente implican lidiar con el kernel
○ Todo bien cuando funcionan, pero cuando no? No es tan fácil
● Resolver el monitoreo
○ Prometheus, Integraciones con servicios hosted. Viene con cadvisor
○ Más cosas para monitorear: hosts, containers, kubernetes, cantidad de pods app X, etc.
● Cambia, quizás, la forma de deploy
○ Nosotros usabamos una interfaz web, open source, que agregó soporte
○ En general MUCHAS cosas tienen soporte para k8s

19. Links interesantes
● Borg, Omega, and Kubernetes: Lessons learned from three
container-management systems over a decade
○ http://queue.acm.org/detail.cfm?id=2898444
● Curso online (muy básico, pero simple y rápido de hacer)
○ https://www.udacity.com/course/scalable-microservices-with-kubernetes--ud615
○ https://training.linuxfoundation.org/linux-courses/system-administration-training/kuberne
tes-fundamentals
● Operators
○ https://coreos.com/blog/introducing-operators.html
○ https://coreos.com/blog/introducing-the-etcd-operator.html
● KubeCon EU 2016 (viejo ya, tipo 3 releases desde eso)
○ https://www.youtube.com/watch?v=Wyl4O3CHzV0

20. ¿Preguntas?
¡Gracias!
Nos encantaría compartir experiencias con kubernetes:
Rodrigo Campos: rodrigo.campos@restorando.com, rodrigo@sdfg.com.ar
Juan Barreneche: jbarreneche@restorando.com

21. Una última cosa...
We are hiring!
https://engineering.restorando.com