データ活用を加速するAWS分析サービスのご紹介

© 2021, Amazon Web Services, Inc. or its Aﬃliates.
Amazon Web Services Japan K.K.
2021/06/08
データ活⽤を加速する AWS 分析サービス
のご紹介

データはあらゆる組織に取って戦略的資産である
世界で最も価値あるリソ
ースはもはや⽯油ではな
く、データである
*Copyright: The Economist, 2017, David Parkins
“
”

アジェンダ
l データレイク
l 分析サービス紹介
l まとめ

データレイク

課題
データを分析し、インサイトを
⾒つけてビジネスチャンスを特定
し、ビジネスパフォーマンスを
評価する必要があった
Oracle DW はスケールできず、
保守が難しく、多⼤なコストが
かかっていた
解決策
Amazon S3 でデータレイクをデプロ
イし、Amazon Redshift、Amazon
Redshift Spectrum、および Amazon
EMR で分析を実現
結果
保存データが 2 倍になり (100 PB)、
コストが低下し、早くインサイトが
得られるようになった
事例︓amazon.com
AWS 上のデータレイクで実現したローコストかつ迅速なインサイト
50 PB + のデータ、600,000 分析ジョブ/⽇

amazon.com における AWS Data Lake の活⽤
S3
DynamoDB
リレーショナルストア
⾮リレーショナルストア
S3
Kinesis
データレイクのウェ
ブインターフェイス
データレイク API
ワークフロー
サービス
検出サービス
データの
取り込み
サブスク
リプション
サービス
データセキュリティとガバナンス
EMR
Redshift
Redshift Spectrum
その他の
コンピューティング
ソースシステムビッグデータマーケットプレイス分析
100 PB
データ品質/
キュレーション
A Look Under the Hood – How Amazon.com Uses
AWS Services for Analytics at Massive Scale (ABD329)
https://www.youtube.com/watch?v=lWK96BNx3Qk

お客さまの共通課題︓データ活⽤による更なる価値の創出
⾶躍的な
データの増加
新たな
情報源
多様性の
増加
更に多くの
ユーザが利⽤
複数の
アプリケーションを
利⽤した分析

これまでの意思決定...
OLTP
ERP CRM
LOB
エンタープライズ
データウェアハウス
ビジネス
インテリジェンス
エンタープライズデータウェアハウス中⼼

データはそのモデルにフィットしない
* IDC, Data Age 2025: The Evolution of Data to Life-Critical: Don’t Focus on Big Data, Focus on the Data That’s Big, April 2017.
データ
想像を超えるデータ量
データプラットフォーム
より多様なデータ
5年毎
15年
運⽤期間
1,000倍
スケール
10倍以上
成⻑率

より幅広いワークロード
アナリスト
ビジネスユーザー
アプリケーション
機械学習 SQL分析
科学技術計算
リアルタイム
ストリーミング
データ
サイエンティスト
より多くのユーザーが
データにアクセスする
それぞれ異なる⽅法で
分析する

データの⺠主化とガバナンス
データの⺠主化
ガバナンス
ガバナンスの要件に合わせて
どのようにデータを管理するか
どのようにデータを
⺠主化するか

データの
サイロ化 to
OLTP ERP CRM LOB
DW Silo 1
ビジネス
デバイスウェブセンサーソーシャル
DW Silo 2
ビジネス
機械学習
BI +
アナリティ
クス
データウェア
ハウス
データ
レイク
オープンフォーマット
セントラルカタログ
スケーラビリティ︓従来のデータ分析基盤における課題

解決策︓データレイクアーキテクチャへの移⾏
データウェアハウスアナリティクス機械学習
データレイク
コンピュートとストレージの分離
あらゆるフォーマットのデータを蓄積
⾼い耐久性と可⽤性、エクサバイト規模の
スケール
適切なセキュリティ & コンプライアンス、
監査
多岐にわたる分析・機械学習サービスとの
連携

分析サービス紹介

AWS のアナリティクスポートフォリオ
マイグレーションおよびストリーミングサービス
インフラデータカタログ
とETL
セキュリティと
管理
データウェアハ
ウス
ビッグデータ
処理
インタラク
ティブクエリ
オペレーション
分析
リアルタイム
分析
サーバレス
データ処理
データの移動
アナリティクス
データレイクのインフラと管理
ダッシュボード予測分析
データ、可視化、エンゲージメント、機械学習
デジタルユーザー
エンゲージメント
データ

データの移動
AWS のアナリティクスポートフォリオ
+ many more
Redshift
EMR (Spark &
Hadoop)
Athena
Elasticsearch
Service
Kinesis Data
Analytics
AWS Glue
(Spark &
Python)
S3/Glacier AWS Glue
Lake
Formation
QuickSight SageMaker Comprehend Lex Polly Rekognition Translate
Database Migration Service | Snowball | Snowmobile | Kinesis Data Firehose | Kinesis Data Streams | Managed Streaming for Apache Kafka
Pinpoint
Data
Exchange

S3/Glacier AWS Glue
Lake
Formation
インフラデータカタログと ETL
セキュリティと管理

データレイクを⽀える堅牢なインフラ
データレイクの
インフラと管理
従来のデータウェアハウスのアーキテクチャを拡張
（コンピューティングとストレージの分離）
あらゆるフォーマットのデータを蓄積
⾼い耐久性と可⽤性、エクサバイト規模のスケール
適切なセキュリティ & コンプライアンス、監査
（オブジェクトレベルの詳細なアクセス権限制御）
多岐にわたる分析・機械学習サービスとの連携
データウェアハウスアナリティクス機械学習
データレイク

堅牢なインフラの基盤となるストレージ
Amazon S3 を使⽤
Amazon S3
⽐類ない耐久性、
可⽤性、スケーラビリティオブジェクトレベルの
アクセスコントロール
コストを最適化しながら
簡単に使える
インテリジェントな階層
セキュリティ、コンプライアンス、
および、監査機能
データを取り込む
ハブの役割
分析ツールに関する
最も幅広いポートフォリオ
コールドストレージとアーカイブ機能

堅牢なインフラの基盤となるストレージ
Amazon S3 ストレージクラス
ホットデータコールドデータ
• Active, frequently
accessed data
• Milliseconds access
• > 3 AZ
• $0.0250/GB
• Data with changing
access patterns
• > 3 AZ
• $0.0250 to $0.0190
/GB
• Infrequently
accessed data
• > 3 AZ
• $0.0190/GB
• Re-creatable, less
accessed data
• 1 AZ
• $0.0152/GB
• Archive data
• Minutes or hours access
• > 3 AZ
• $0.0050/GB
S3 Standard S3 Standard-IA S3 One Zone-IA S3 Glacier
S3 Intelligent-
Tiering
S3 Glacier
Deep Archive
• Archive data
• Hours to access
• > 3 AZ
• $0.0020/GB

AWS Glue
カタログ・ETL・およびデータ前処理
データストアをクロールし、データフォー
マットの識別とスキーマをサジェストの
上、マネージドなカタログリポジトリで管
理
Apache Spark / Python で ETL ジョブを
実⾏するサーバーレスエンジン
ETL ジョブのビルド、実⾏の作業を⾃動化
ジョブに使⽤されたリソースの料⾦のみの
⽀払い
AWS Glue
Data
catalog
Serverless
Engine
Orchestration
AWS Glue

AWS Glue
カタログ・ETL・およびデータ前処理
データストアをクロールし、データフォー
マットの識別とスキーマをサジェストの
上、マネージドなカタログリポジトリで管
理
Apache Spark / Python で ETL ジョブを
実⾏するサーバーレスエンジン
ETL ジョブのビルド、実⾏の作業を⾃動化
ジョブに使⽤されたリソースの料⾦のみの
⽀払い
AWS Cloud:: Data Lake Account
AWS Glue
ETL
AWS Glue
data catalog
/raw
Corporate
data center
Bucket policy
Crawler
転送サーバ
データレイク
/trusted
/refined
S3 Bucket

AWS Glue Studio
Easily author, run, and monitor AWS Glue ETL jobs
ビジュアルオーサリング
コードを書くことなくETLジョブを作成可能
サーバレス
ビッグデータ処理能⼒を利⽤可能
シンプルビュー
単⼀画⾯でジョブを管理可能
カスタマイズ可能
任意のコード(Python、Scala、Java)で ETL を
⾼度化可能

AWS Glue DataBrew
Visual data preparation for analytics and machine learning
分析や処理を開始する前に必要となるデータの
前処理(クリーニングや正規化等)を迅速に実施
するための新しいビジュアルツール
250以上の構築済み変換処理を⽤意。これらを
利⽤して効率的に異常値の排除やフォーマット
の整理を⾏い、分析処理や学習処理に注⼒する
ことができる
ノンコーディングで視覚的にデータの前処理を
実施することができるため、データ分析者や
サイエンティストが容易に利⽤可能
https://aws.amazon.com/jp/blogs/news/announcing-aws-glue-databrew-a-visual-
data-preparation-tool-that-helps-you-clean-and-normalize-data-faster/

データレイクを安全なものにするための課題
典型的なデータレイク構築の流れ
データの移⾏
2 データを加⼯整形
してカタログ化
3
セキュリティとコンプライアンス
ポリシーを設定および適⽤
4
データを分析可能に
5
ストレージを
セットアップ
1
Data
Engineer
Data
Steward
Data
Analyst

AWS Lake Formation
短期間でセキュアなデータレイクを構築
Amazon S3 data lake storage
AWS Lake Formation
簡便なインジェストとクリーニングに
より、データエンジニアはより迅速な
構築が可能
複数のサービス間で
セキュリティポリシーを適⽤
データをより迅速に移⾏、保存、
カタログ化、そしてクレンジング
AWS Glue Blueprints
&
Glue Blueprints
(Preview)
ML
Transforms
Data
catalog
Access
control
DBMS 形式のパーミッション制御
(Grant/Revoke)に基づく中央集権的
アクセスコントロール

AWS Lake Formation
中央集権コントロール
Amazon S3
データレイク
ストレージ
データ
カタログ
AWS Glue
Amazon
Athena
Amazon
QuickSight
Amazon
Redshift
Amazon
SageMaker
Amazon
EMR
データ
カタログ
ガバナンス要件を満たすには
⼀度設定したパーミッションを
すべてのサービスやツールで
横断的に適⽤したい
アクセス
制御
データ
カタログ
AWS Lake Formation

AWS Lake Formation
新機能: Governed Tables
⾏レベルセキュリティ S3 に保存された
データを⾃動的に
コンパクション
Atomic, consistent, isolated,
and durable (ACID)
トランザクション機能を提供
ACID
信頼性安全性性能
Preview released
in 2021
https://www.youtube.com/watch?v=r5F0hvuq9kY

アナリティクスサービス
データ
ウェアハウス
ビッグデータ
処理
インタラクティブ
クエリー
オペレーション
分析
リアルタイム
分析
サーバレス
データ処理

Amazon EMR
Hadoop クラスタを数分で⽴ち上げ、API コールで簡単にスケール
S3 上のデータを読み込んでジョブを実⾏し、結果を S3 に出⼒
Spark、Hive、Presto、HBase などのミドルウェアを利⽤可能
低コスト
EC2スポットとリザーブドインスタ
ンスでコストを50〜80%削減
フレキシブルな秒単位の課⾦
ワークロードをより迅速
かつコスト効率よく実⾏
Apache Spark 3.0 よりも 40 % の
コストで 1.7 倍速く、オープン
ソースの Presto 0.238 よりも 80%
のコストで 2.6 倍⾼速
Graviton2 インスタンスを利
⽤するだけで、コ
ストパフォーマンスが向上
最新バージョン
30⽇以内に最新のオープンソース
フレームワークに更新
フルマネージド
クラスタのセットアップ、
ノードのプロビジョニング、
クラスタのチューニングは不要
簡単

Amazon EMR
コンピューティングとストレージの分離
永続的なクラスター
(Spark Streaming | Hbase)
⼀時的なクラスター : バッチジョブ
(毎晩 N 時間稼働、ノードの⾜し引き可能)
AWS Glue Data Catalog
as External Metastore
特定処理に特化したクラスター
(必要なキャパやバージョンが異なる)
Amazon S3

FINRA のレガシーシステムは 1 ⽇
750 億イベントを処理できるよう
スケールすることはできなかっ
た。FINRA では 20 PB 以上のデー
タに対して、複雑な監視クエリを
実⾏する必要があった
FINRA はビッグデータアプライア
ンスを S3 データレイクに移⾏し
て EMR を使ってデータの取り込
みと処理をしている

Amazon Redshift
最もポピュラーかつ⾼速なクラウドのデータウェアハウス
Analytics
最も⾼速な
パフォーマンス
とスケーラビリティ
他のクラウドDWに⽐べて、
最⼤ 3 倍⾼い
価格パフォーマンス
低コスト
コンピュートとストレージを
分離、コスト最適化された
ワークロード
他のクラウドDWHと⽐較して
最⼤50%のコスト削減および
予測可能なコスト
データレイクと
AWSサービスとの
統合
データウェアハウス、
データレイク、オペレーショナル
データベースにまたがる
膨⼤なデータに対する分析
様々なデータサービスへの
フェデーレテッドクエリー
を利⽤可能
セキュア
AWSグレードのセキュリティ機能
(eg. VPC, encryption with KMS,
CloudTrail)
全ての主要な認証を取得済み
（SOC, PCI, DSS, ISO,
FedRAMP, HIPPA）

Amazon Redshift
継続的にイノベーションを提供
Analytics
Analyze all your
data
Lake House with
AWS integration
Federated
query
AQUA
RA3 nodes &
managed
storage
Automatic
workload
manager
Low cost & best
value
Predictable costs
Performance &
scale
Fast and self-tuning
Automated
perf. tuning
NEW!
Data lake
export
Amazon
Redshift
Spectrum +
Lake Formation
Concurrency
scaling
Pause and
resume
Built-in
security
features
Cost controls
On-
demand
and RIs
Materialized
views
NEW!
Amazon
Redshift ML
Data sharing
NEW!
Cross-AZ cluster
recovery
NEW!

ペタバイト級のデータ分析基盤を構築
「ペタバイト級のデータを安全にハンドリングしつつ、
拡張性に富む業務分析システムを実現できました」
安全性を担保するために、NTT ドコモで構築する
業務系システム等は、⾼い情報セキュリティ基準
をクリアすることが前提となっています。
以前ではオンプレミス以外ではこの基準をクリア
することは厳しいと考えていましたが、
• セキュリティ機能の充実
• アクセス制御・統制
• ユーザ管理・統制
といった AWS の機能追加により、これらの基準を
クリアするシステム構築が可能になりました。

Amazon Managed Streaming for Apache Kafka
Fully managed, highly available, and secure Apache Kafka service
Analytics
セキュア
VPC ネットワークの分離
、保存時および転送中の
暗号化など、複数のレベ
ルのセキュリティでデー
タを保護
⾼可⽤
AWS リージョン内で
マルチ AZ レプリケー
ションを利⽤
弾⼒性のある
ストリーム処理
データストリームを処理
するために伸縮⾃在に
スケーリングする SQL、
Java、または Scala で
記述された Apache Flink
アプリケーションを実⾏
フルマネージド
Apache Kafka環境を
管理せず、アプリケ
ーション開発に注⼒
可能
完全互換
ソースコードを変更せず
に AWS で既存の Apache
Kafka アプリケーション
を実⾏可能

New Relic 社事例:
Apache Kafka クラスターを
Amazon MSK に移⾏
Challenge
受信データを単⼀のモノリシックなオンプレ Apache Kafka クラス
ターで処理した結果、最⼩限の障害切り分け、スケーラビリティ、
⼤きな変更を安全に実施することの難しさなどの課題に直⾯
Solution
AWS に移⾏し、クラウド上で新しいセルラーアーキテクチャを
作成・管理に Amazon MSK を使⽤
Result
• 迅速に新しいイノベーションを提供可能に
• インシデントの影響範囲を制御可能に
• 実験のリスクを低減
• オートスケール可能にEnables scaling
Amazon Managed Streaming for Kafka

Amazon Athena
サーバレス、インタラクティブ・クエリーサービス
クエリーごとの
課⾦
クエリー単位のデータスキャン量
に応じた課⾦体系
スキャン対象となるデータの圧縮
により、クエリ単位のコストを
30〜90%削減可能
ストレージはS3
ANSI 準拠の SQL
JDBC/ODBC ドライバー
複数のフォーマット、
圧縮タイプ、データタイプ、
複雑な結合処理などを
利⽤可能
SQL
サーバレス: インフラストラク
チャーおよびアドミンは不要
Amazon QuickSight とも統合
簡単
即時にクエリー
セットアップ費⽤ゼロ
S3 をポイントしてクエリを開始

Amazon Athena Federated Queries
https://github.com/awslabs/aws-athena-query-federation
https://aws.amazon.com/jp/blogs/news/query-any-data-source-with-amazon-athenas-new-federated-query/
https://aws.amazon.com/jp/blogs/news/athena-federated-query-dynamodb-quicksight/
l リレーショナル、⾮リレーショナル、
オブジェクト、またはカスタムデータ
ソース間でクエリを実⾏する
l オンプレミスまたはクラウドデータ
ソース間でクエリを実⾏する
l アドホックな調査、複雑なパイプライ
ン、アプリケーションに使⽤可能
l データソースコネクターを利⽤して
Athena クエリエンジンを拡張できる

位置情報、移動軌跡、経路検索情報などのログを分析する基盤にサーバーレスのクエリサービス
Amazon Athena を採⽤。他社クラウドのビッグデータクエリサービスから乗り換えたことで、
Amazon S3 に蓄積していたログを転送する必要がなくなり、インフラコストを 75 ％削減しました。
また、同時にセキュリティ強化と運⽤負荷軽減も実現しました。
IT インフラのクラウド化により、リソース調達のリードタイムの短縮やオートスケールが可能にな
り、降雪時などアクセスが集中するタイミングでの対応⼒の向上、チャレンジコストの最⼩化、サー
ビスごとの利⽤コストの可視化などを実現しています。
出所︓https://aws.amazon.com/jp/solutions/case-studies/navitime/

データ、可視化、エンゲージメント、
および機械学習サービス
ダッシュボード予測分析
デジタルユーザエンゲージメント
データ

Amazon QuickSight
クラウド向けに構築された初のBIサービス、セッションごとの料⾦設定
と機械学習機能（MLインサイト）を搭載
伸縮性のある
スケーリング
サーバやソフトウェアを導⼊、
管理、運⽤は不要。スモールス
タートし、10,000以上にスケー
ル可能。
使った分だけのお⽀払い
事前コスト不要
利⽤しないユーザのコスト不要
サーバレス
ダッシュボードを
数分で作成可能
単⼀のサーバーをプロ
ビジョニングせずに、
グローバルに展開
AWSとフル・インテ
グレーション
AWSデータへのセキュアで
プライベートなアクセス
AWS IAMによるS3データレイク
のパーミッションの統合
APIサポート
プログラムでユーザーをオンボー
ドし、コンテンツを管理
アプリに簡単に埋め込み可能
データ、可視化、エン
ゲージメント、機械学習

Amazon QuickSight
機械学習機ベースのインサイト
専⾨家不要で使える
インサイト（洞察）機能を提供
1. MLベースの異常検知
⾃動的に異常値を発⾒し、報告
2. MLベースの予測
過去の値から将来を予測
3. ⾃動ナラティブ
分かりやすい⽂章で分析結果を提供
4. ML予測
SageMaker のモデルと連動

Amazon QuickSight Q
ML-powered natural language capability in Amazon QuickSight
検索バーにビジネス上の質問を⼊⼒し、
数秒で回答が得られる
(現在、⽶英語のみのサポート)
決まった質問に限らず、⾃由に質問可能
⾃動的に意味や関係を理解するデータモデルを
⽣成するために深層学習・機械学習を利⽤
N E W
P R E V I E W

Amazon QuickSight
QuickSight ギャラリー
https://aws.amazon.com/jp/quicksight/gallery/

まとめ

AWS 分析サービス
さまざまな種類のデータ処理・分析処理に利⽤可能
• データレイクに活⽤可能なデータを準備するための、多段 ETL
• 可視化 / 他サービス連携のための、SQL ベースのデータマート作成
• アクセスログに基づいたレコメンド
• アナリストのためのインタラクティブなデータ分析
• 離脱可能性の⾼いユーザー予測に基づくキャンペーンメール送信

ユースケースに応じた最適なツールの選択
なんでも完璧にできる、唯⼀の万能なツールは存在しない
Swiss Army Knife Vector: https://www.freevector.com/swiss-army-knife-vector

Thank you.

データ活用を加速するAWS分析サービスのご紹介

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à データ活用を加速するAWS分析サービスのご紹介

Similaire à データ活用を加速するAWS分析サービスのご紹介 (20)

Plus de Amazon Web Services Japan

Plus de Amazon Web Services Japan (20)

データ活用を加速するAWS分析サービスのご紹介