Data Lakes - EBC on the road Brazil Edition [Portuguese]

© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
Renato Da Paz
Business Development Manager
Data Lakes and Analytics on AWS
Sessão de Big Data

Utilizando dados para transformar o mercado

Organizações são bem sucedidas na
geração de valor ao negócio com
seus dados, irão superar seus pares.
Uma pesquisa da Aberdeen percebeu
que organizações que implementaram
um Data Lake superaram empresas
similares em 9% no crescimento
orgânico de faturamento.*
24%
15%
Líderes Seguidores
Crescimento Organico de Faturamento
*Aberdeen: Angling for Insight in Today’s Data Lake, Michael Lock, SVP Analytics and Business Intelligence
Para ser líder, o conhecimento precisa ser seu diferenciador

Para transformer o dado em um diferencial, clientes
precisam conseguir…
• Capturar e armazenar novos dados não
relacionais em escala (PB) e tempo real
• Novos tipos de analíticos que irão além de
processos de relatórios batch para
incorporar predição em tempo real, voz, e
reconhecimento de imagem
• Democratizar acesso ao dado de forma
segura e com governança
Novos tipos de analíticos
Paineis Preditivo Reconhecimento
de Imagem
VozTempo Real
Novos tipos de dados

Tradicionalmente, esses são os modelos analíticos
OLTP ERP CRM LOB
DataWarehouse
Inteligência de Negócios • Dados Relacionais
• EscalabilidadeTB-PB
• Modelos/Esquema previamente definido
• Relatórios Operacionais e Ad-Hoc
• Alto CAPEX inicial + $10k-$50k/TB/Ano

Data Lakes extenderam a abordagem tradicional
Data Warehouse
Inteligência de Negócios
OLTP ERP CRM LOB
• Dados relacionais e não relacionais
• EscalabilidadeTB-EBs
• Diversos motores analíticos
• Baixo custo de armazenamento e analítico
Portáteis Web Sensores Mídia
Social
Processamento Big Data,
Tempo Real, e
Machine Learning
Data Lake

Big Data com a AWS
Eficiente em Custos
Escalável e Durável
Seguro
Aberto e AbrangenteAnalíticosAprendizado de
Máquina
Dados em
Tempo Real
Dados
On-premises
Data Lake
on AWS

Amazon S3
Amazon Glacie r
AWS Glue
Armazenar dados no format desejado
Aberto e Abrangente
• Armazenar dados no formado desejado:
• Arquivos texto como CSV
• Colunar comoApache Parquet, e Apache ORC
• Logstash como Grok
• JSON (simples, nested),AVRO
• e mais…
CSV
ORC
Grok
Avro
Parquet
JSON

Várias Opções para Transferir Dados ao Data Lake
Aberto e Abrangente
• Movimentação de dados de On-Premise
• Conexão de rede dedicada
• Apliances Seguros
• Container para movimentação massiva
• Migração de Banco de Dados
• Gateway que permite escrita na nuvem
• Movimentação de dados em tempo real
• Conectar dispositivos na AWS
• Streams de dados em tempo real
• Streams de vídeos em tempo real
AWS Direct Connect
AWS Snowball
AWS Snowmobile
AWS Database Migration Service
AWS Storage Gateway
AWS IoT Core
Amazon Kinesis Data Firehose
Amazon Kinesis Data Streams
Amazon Kinesis Video Streams
Dados em
Tempo Real
Dados
On-Premise
Amazon S3
Amazon Glacie r
AWS Glue

Analises com mais amplo portifílio analítico
Aberto e Abrangente
• Analisar dados com uma grande variedade de
ferramentas analíticas
• Data warehousing
• Consultas SQL interativas
• Processamento Big Data
• Analíticos em Tempo Real
• Visualizações e Painéis
• Aprendizado de Máquina
• Consulta no lugar sem movimentação para um
ambiente analítico separado
• Até 400% mais rápido com S3 Select e Glacier
Select
• Maior ecosistema de integração com ISVs
• Maior capacidade para atender casos de uso
atuais e futuros minimizando riscos
Amazon SageMaker
AWS Deep Learning AMIs
Amazon Rekognition
Amazon Lex
AWS DeepLens
Amazon Comprehend
Amazon Translate
Amazon Transcribe
Amazon Polly
Amazon Athena
Amazon EMR
Amazon Redshift
Amazon Elasticsearch service
Amazon Kinesis
Amazon QuickSight
Analíticos
Aprendizado de
Máquina
Amazon S3
Amazon Glacier
AWS Glue

Big Data com a AWS
Data Lake
on AWS
Eficiente em Custo
Seguro
Máquina
Dados em
Tempo Real
Dados
On-premises

AWS Provê os Mais Altos Níveis de Segurança
Seguro
Governança
AWS Artifact
Amazon Inspector
Amazon Cloud HSM
Amazon Cognito
AWS CloudTrail
Segurança
Amazon GuardDuty
AWS Shield
AWS WAF
Amazon Macie
VPC
Criptografia
AWS Certification Manager
AWS Key Management Service
Encryption at rest
Encryption in transit
Bring your own keys, HSM
support
Identidade
AWS IAM
AWS SSO
Amazon Cloud Directory
AWS Directory Service
AWS Organizations
Clientes precisam ter múltiplos níveis de segurança, gestão de identidade de acesso,
criptografia, e governança para proteger seu data lake

Segurança: Utilizando Aprendizado de Máquina
Seguro
• Aprendizado de máquina para descobrir, classificar e
proteger o dado
• Monitoramento contínuo de anomalias no acesso aos
dados
• Gera alertas quando detectado acesso não autorizado
• Reconhece PII ou propriedade intelectualAmazon Macie

Criptografia: Dados Armazenados e em Movimento
Seguro
• Única cloud que oferece três formas de criptografia
• Criptografia do lado do servidor
• Criptografia com chaves gerenciadas pelo
AWS Key Management Service
• Criptografia com chaves gerenciadas pelo cliente
• Única cloud que criptografa dados em trânsito quando
replicando entre regiões
• Movimento de dados podem utilizar a mesma chave do
Amazon Key Management Service
• Endpoints SSL

Governança: Auditoria e log das atividades AWS
Seguro
• Log e monitoramento contínuo de
todas as atividades da conta e
chamadas deAPIs com CloudTrail
• Aumenta visibilidade das
atividades do usuário e recursos
• Disponibiliza governança,
compliance, operações e riscos de
auditoria
Store data in S3 Account event occurs
generating API activity
CloudTrail captures
and records the
API activity
A log of API calls
is delivered to
S3 bucket and
optionally delivered to
CloudWatch Logs and
CloudWatch Events

Compliance: Atende várias Agências Reguladoras
CSA
Cloud Security
Alliance Controls
ISO 9001
Global Quality
Standard
ISO 27001
Security Management
Controls
ISO 27017
Cloud Specific
Controls
ISO 27018
Personal Data
Protection
PCI DSS Level 1
Payment Card
Standards
SOC 1
Audit Controls
Report
SOC 2
Security, Availability, &
Confidentiality Report
SOC 3
General Controls
Report
Global United States
CJIS
Criminal Justice
Information Services
DoD SRG
DoD Data
Processing
FedRAMP
Government Data
Standards
FERPA
Educational
Privacy Act
FIPS
Government Security
Standards
FISMA
Federal Information
Security Management
GxP
Quality Guidelines
and Regulations
ISO FFIEC
Financial Institutions
Regulation
HIPPA
Protected Health
Information
ITAR
International Arms
Regulations
MPAA
Protected Media
Content
NIST
National Institute of
Standards and Technology
SEC Rule 17a-4(f)
Financial Data
Standards
VPAT/Section 508
Accountability
Standards
Asia Pacific
FISC [Japan]
Financial Industry
Information Systems
IRAP [Australia]
Australian Security
Standards
K-ISMS [Korea]
Korean Information
Security
MTCS Tier 3 [Singapore]
Multi-Tier Cloud
Security Standard
My Number Act [Japan]
Personal Information
Protection
Europe
C5 [Germany]
Operational Security
Attestation
Cyber Essentials
Plus [UK]
Cyber Threat
Protection
G-Cloud [UK]
UK Government
Standards
IT-Grundschutz
[Germany]
Baseline Protection
Methodology
X P
G

Por exemplo, o Amazon S3 armazena trilhões de objetos e
regularmente recebe milhões de solicitações por segundo
TEMPO
DadosdeClientes
“…the scale at which AWS operates its public
cloud storage services dwarfs the other vendors
in this Magic Quadrant.”
- Gartner Magic Quadrant for Public Cloud Storage Services, Worldwide
Raj Bala, Arun Chandrasekaran, John McArthur, July 24, 2017
AWS possui a maior infraestrutura de Cloud Global

Qualquer Escala
Escalável e durável
• S3 possui trilhões de objetos e EB de dados
• Construído para armazenar qualquer volume de
dados
• Executa motores analíticos em grande escala
qualquer quantidade de recursos computacionais
minutos
• Mantém a maior infraestrutura global de cloud do
mundo

Durabilidade e Disponibilidade inigualáveis
• Desenhado para entregar 99.999999999% de
durabilidade
• Redundância geográfica e replicação automática
• Armazena dados em múltiplos dada center através de
através de 3 AZ em uma única região.
• Replica dados entre regiões de forma simples

Data Lakes com a AWS
Data Lake
on AWS
Eficiente em Custo
Seguro
Máquina
Dados em
Tempo Real
Dados
On-premises

Armazenamento Otimizado Preço/Desempenho
Eficiente em Custo
• Armazenamento otimizado Preço/Desempenho
• S3 Standard
• S3 Standard—Infrequent Access
• S3 One Zone—Infrequent Access
• Amazon Glacier
• Migração entre camadas com políticas de ILM
• Armazenar dados a partir de $0.023/GB/Mês com
o Amazon S3 e a partir de $0.004/GB/Mês com o
Amazon Glacier
S3
Standard
S3 Standard
Infrequent Access
S3 One Zone-IA
Glacier

Pagamento sob Demanda de acordo com o uso
Eficiente em Custo
• Pay-as-you-go para os recursos utilizados
• A partir de $0.05/GB escaneado com o Athena
• EMR e Athena podem automaticamente reduzir
consumo de recursos no final do processamento
reduzindo custos
• Compromisso de consumo permite economizar
em até 75% com instâncias reservadas
• Execute em capacidade ociosa com o EMR e
tenha economia de até 90% com SPOT
Abordagem tradicional apresenta desperdício
Traditional: Rigid
AWS: Elastic
Capacity
Demand
Demand
Servers
Unmet demand
upset players
missed revenue
Excess capacity
wasted $$$
AbordagemAWS com o pay-as-you-go

Menor Custo Total de Propriedade (TCO)
Eficiente em Custo
• Menos tempo para
gerenciar e suportar
• Sem custos iniciais,
aquisição, e instalação
de servidores
• Economizar em custos
operacionais, espaço no
data center, energia e AC
• Valor ao Negócio: time to
market, diferenciais
competitivos, redução de
riscos com governança,
etc...
Taxa de Licenciamento
Custos de Suporte
Taxa de Assinatura
Custos de Suporte
On-premises AWS
Servidores
Hardware—Server, Rack, Chassis,
PDUs, Tor Switches (+Maintenance)
Software—OS, Virtualization Licenses
(+Maintenance)
Rede
Network Hardware—LAN Switches,
Load Balancer Bandwidth costs
Software—Network Monitoring
Operação
Server admin, virtualization admin,
storage admin, network admin,
support team
Adicionais
Project planning, advisors, legal,
contractors, managed services, training,
cost of capital

Muito Obrigado!

Data Lakes - EBC on the road Brazil Edition [Portuguese]

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à Data Lakes - EBC on the road Brazil Edition [Portuguese]

Similaire à Data Lakes - EBC on the road Brazil Edition [Portuguese] (20)

Plus de Amazon Web Services

Plus de Amazon Web Services (20)

Data Lakes - EBC on the road Brazil Edition [Portuguese]