Apresentação na TDC SP em 2017 na trilha de Data Science. Apresentando arquitetura e a cultura de dado presentes na globo.com

1. BIG DATA E A GLOBO.COM

2. ENGENHEIRO DE
DADOS NA
GLOBO.COM
@renan_oliveira

4. Como aprendemos
os interesses dos
usuários dado a sua
navegação.

5. EVENTOS
3 Bilhões de eventos diários
2 milhões de conexões simultâneas
50 milhões de usuários únicos por mês
100 mil novos conteúdos por mês

7. O QUE FAZEMOS?
➤ Recomendação
➤ Personalização
➤ Machine Learning
➤ Publicidade segmentada
➤ Análise de consumo
➤ Análise de comportamento
➤ Experimentos
➤ Testes A/B
➤ Data Driven Organization

8. SOPA DE LETRINHAS
para manter um dos maiores cases do Brasil

10. event tracker by globo.com

11. ARQUITETURA - LAMBDA

12. REAL TIME
➤ Consumimos do Kafka
➤ Usamos Spark Streaming
➤ Usamos Scala ou Java
➤ Salvamos os dados brutos em
formato Parquet - "usuário fez
algo em algum lugar”
➤ Algoritmos de decisão em
tempo real
➤ Atualização dos modelos
➤ Sumarização usando o
conceito de janela

13. BATCH
➤ Consumimos de muitos
bancos de dados
➤ Usamos Spark + MLib
➤ Usamos Scala, Python ou R
➤ Usamos o Airflow para
disparar o Job
➤ Bom pra ler os Parquets,
muitos dados demoram para
serem processados
➤ A maioria dos algoritmos
usam essa estratégia

14. PLATAFORMA DE EXPERIMENTOS
testes a/b

15. THERE IS NO
INNOVATION
WITHOUT
EXPERIMENTATION

18. TESTES A/B
➤ Método de avaliação de
desempenho entre grupos
➤ Sempre temos um cenário que
conhecemos, chamamos ele de
controle
➤ Ajuda a dizer se um "botão" é
melhor que outro ou se um
algoritmo vence na maioria
das vezes
➤ Método científico
➤ + de 100 testes rodando
HOJE

20. 80% da audiência 20% da audiência
vs

21. 80% da audiência 20% da audiência
vs

22. 80% da audiência 20% da audiência
vs
+X%
conversão

23. JUPYTER
➤ Interface web para programar
em Julia, Python, R (e outras
linguagens)
➤ Usamos para validar futuros
algoritmos por sua
simplicidade
➤ É usado para os estudos sobre
o comportamento dos usuários
➤ Ótimo para compartilhar
➤ O GitHub fez um renderizador
➤ Tem suporte a Spark
(framework de processamento
de grandes dados)

25. SUPERSET
➤ Criado pelo Airbnb em 2015
➤ Democrático, não precisa
saber programar para usar
➤ Explorador de dados
➤ Gerador de dashboard
➤ Gráficos para
acompanhamento dos
acontecimentos
➤ Facilidade de integração com
muitos bancos de dados

27. RECOMENDAÇÃO
+ growth

28. NÚMEROS
➤ 100 mil recomendações por
minuto
➤ 15 ms de tempo de resposta
(p50)
➤ +500 testes A/B
➤ +20 algoritmos diferentes
➤ Presente em todos os
produtos da globo.com (G1,
GloboEsportes, GShow,
TechTudo, GloboPlay)
➤ Time de Growth focados na
melhoria em cada produto

29. COLLABORATIVE
FILTERING
CONTENT
BASED
TOP

30. COLLABORATIVE FILTERING CONTENT BASED TOP

31. COLLABORATIVE FILTERING CONTENT BASED TOP

32. COLLABORATIVE FILTERING CONTENT BASED TOP
surf
medina
peniche
prancha
mundial de
surf john john
mineirinho
pipeline
futebol
guerrero
flamengo
STJD
copa do brasil
fluminense henrique
brasileirão

33. COLLABORATIVE
FILTERING
CONTENT
BASED
TOP

34. RESULTADOS - GLOBO PLAY
+X%

35. RESULTADOS - GLOBOESPORTE
+X%

36. RESULTADOS - G1
+25%+X%

37. RESULTADOS - GSHOW
+25%+X%

38. GROWTH É A
FUSÃO DO
CONHECIMENTO
DO PRODUTO COM
OS DADOS DE BIG
DATA
desde 2017

39. DATA SCIENTIST
DATA ENGINEER
DESENVOLVEDOR
POUX

40. CULTURA DE DADOS
não existe uma fórmula pra isso

41. O maior desafio é
mudar a cultura

43. O caminho é encontrar
valor nos dados

45. Use ferramentas que
facilitem a integração

47. Crie sua
data university!

49. IF YOU WANT TO CONVINCE ME
of somethings…

50. SHOW ME NUMBERS

51. OBRIGADO!
@renan_oliveira
www.renanoliveira.net