https://jawsug-sysad.connpass.com/event/216961/ AWS Systems Manager Incident Manager モニタリング・運用系 AWSサービス 説明 アマゾン ウェブ サービス ジャパン 大村幸敬

1. © 2021, Amazon Web Services, Inc. or its Affiliates.
1
AWS Systems Manager
Incident Manager
- モニタリング・運用系 AWSサービス 説明
アマゾン ウェブ サービス ジャパン株式会社
ソリューションアーキテクト 大村 幸敬
2021/06/25

2. © 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
大村 幸敬 (おおむら ゆきたか)
Twitter: yktko@
Manager, Solutions Architect
• これからクラウドを使いはじめる
エンタープライズ企業をサポート
• 運用系サービス & DevOps系サービス
好きなAWSのサービス：
AWS CLI,
AWS CDK (Cloud Development Kit),
AWS SSM Incident Manager

3. © 2021, Amazon Web Services, Inc. or its Affiliates.
3
本資料では2021年6月25日時点のサービス内容および価格についてご説明しています。
最新の情報はAWS公式ウェブサイト(http://aws.amazon.com)にてご確認ください。
資料作成には十分注意しておりますが、資料内の価格とAWS公式ウェブサイト記載の
価格に相違があった場合、AWS公式ウェブサイトの価格を優先とさせていただきます。
内容について
AWS does not offer binding price quotes. AWS pricing is publicly available and is subject to change in
accordance with the AWS Customer Agreement available at http://aws.amazon.com/agreement/. Any
pricing information included in this document is provided only as an estimate of usage charges for AWS
services based on certain information that you have provided. Monthly charges will be based on your actual
use of AWS services.
価格は税抜表記となっています。日本居住者のお客様がサービスを使用する場合、
別途消費税をご請求させていただきます。

4. © 2021, Amazon Web Services, Inc. or its Affiliates.
4
AWS Systems Manager 全体像
AWS および オンプレミス のサーバー群を管理する多機能なツールセット
スケジューリング
構成検証・監査
オペレーション(操作)
ログ/メトリクス
CloudWatch
SSM
Maintenance
Window
CloudWatch
Events
SSM
State Manager
SSM
Inventory
SSM
Patch Manager
SSM
Session Manager
SSM
RunCommand
SSM
Automation
SSM
Distributor
対話型アクセス
Logs Metrics
ランブック実行 スクリプト実行
パッケージ配布
EC2インスタンス群
SSM
Change
Calendar
設定/ドキュメント
SSM OpsCenter
Dashboard/作業管理
SSM
Parameter
Store
SSM
Document
要対応作業
確認
インベントリ
情報
OS
パッチ
適用
定期
Automation
実行
SSM Agent
(SSMマネージド
インスタンス化の前提)
SSM Explorer
マネージド
ノード概観
SSM
Compliance
Compliance
準拠情報
SSM
Fleet Manager
SSM
Change
Manager
OS内
情報
管理された
変更操作
エンジニア
インシデント管理
SSM
Incident Manager
インシデント
対応

5. © 2021, Amazon Web Services, Inc. or its Affiliates.
5
AWS Systems Manager
Incident Manager

6. © 2021, Amazon Web Services, Inc. or its Affiliates.
6
“Incident” とは?
“Incident”
インシデントとは、サービスにおける
計画外の中断 や サービス品質の低下 をもたらすもの

7. © 2021, Amazon Web Services, Inc. or its Affiliates.
7
インシデント対応
 IT エンジニアは、アプリケーションやインフラストラクチャを構築する自らの能力と配慮に誇りを持っています。しかし、
私たちの誰もが、どれほど認めることを嫌がったとしても、100% のアップタイムのようなものは存在しません。ものは、
いつしか故障します。そして、その故障が最悪の瞬間に重なることもよくあります。その結果、1 日の終わりや誕生日パー
ティー、果ては結婚式が台無しになる (ご興味があれば詳しくお話しましょう) ことも多々あります。
 静けさを切り裂くポケットベルの音に、当番のエンジニアはサービスを復旧させるため急行します。1 分、1 秒も無駄にでき
ません。たとえば、エンジニアは大量の監視アラートを迅速にフィルタリングし、インシデントの根本原因を特定できなく
てはなりません。そんな一刻を争うとき、インシデントの解決に必要な用途別のランブックや手順を探し回って無駄な時間
を費やす余裕などありません。午前 3 時、津波のように次から次へと押し寄せる真っ赤なアラートを前に、「どこかに書い
ておいたはずの」魔法のコマンドを必死に探しているところを想像してみてください。 これは決して心地よいものではあり
ません。
 深刻な問題では、エスカレーションが必要な場合もよくあります。チームメンバーの助けが得らることは素晴らしいことで
すが、コラボレーションと迅速な解決には、効率的なコミュニケーションが欠かせません。それがなければ、まとまりのな
い行動は、状況を混乱させたり、悪化させたりする要因になりかねません。
 最後にもう 1 つ、インシデントとその対応方法を文書化することも同様に重要です。インシデントが解決され、全員がしっ
かりと睡眠をとったあと、その状況をもう一度見直し、プラットフォームとインシデント対応手順を継続的に改善します。
Systems Managerのリリースブログより
https://aws.amazon.com/jp/blogs/news/resolve-it-incidents-faster-with-incident-manager-a-new-capability-of-aws-systems-manager/
インシデントは、いつかは分からないが必ず発生し、
いざというときに迅速かつ高度な対応が求められる

8. © 2021, Amazon Web Services, Inc. or its Affiliates.
8
なぜ AWS が SSM Incident Managerを？
 1995 年に Amazon.com を立ち上げて以来、Amazon チームはサー
ビスのインシデント対応を担ってきた
 長年にわたり、大規模なアプリケーションとインフラストラクチャの
問題への多様な経験を積み重ねてきた
 Amazon の Major Incident Management (主要インシデント管理)
チームは、これらの長年の経験を活かして、すべての AWS のお客様
がインシデントの準備と解決を迅速化できるように Incident
Manager を設計
Systems Managerのリリースブログより
https://aws.amazon.com/jp/blogs/news/resolve-it-incidents-faster-with-incident-manager-a-new-capability-of-aws-systems-manager/
Amazonのインシデント管理の経験をお客様へ

9. © 2021, Amazon Web Services, Inc. or its Affiliates.
9
Correction of Errors (COE)
 致命的な根本原因に対して、文書を作り、レビューし、対応する
一連の手順を定義し、標準化する
• Well-Architected Concept – Correction of Error
https://wa.aws.amazon.com/wat.concept.coe.en.html
 AmazonのCOE活動の例
• AWS re:Invent 2019 (DOP208-R1)
Amazon’s approach to failing successfully
https://www.youtube.com/watch?v=yQiRli2ZPxU
• Incident Postmortem Template
https://medium.com/the-cloud-architect/incident-postmortem-template-7b0e0a04f7a8
課題について、ドキュメントを作り、対応することで
ITシステムの品質を改善していくAmazon社内のプロセス

10. © 2021, Amazon Web Services, Inc. or its Affiliates.
10
ITシステムにおける “Incident” の ハンドリング
インシデントのハンドリングは、多くの関係者が関与する活動で、
一般に「検知」→「対応」→「原因分析&アクション」で時間軸が推移
!
運用担当者(検知者) インシデント指揮官(司令塔)
オンコール対応者
& SME
Stage Stage Stage
オンコール対応
呼び出し役
書記官
チャットツール
(Slackなど)
対応ログ
(ホワイトボード
etc...)
事象
インシデント検知 トリアージ・対応 原因分析/アクション
原因の分析 アクション
アクション
…
インシデント対応
(トリアージ)
外部通信役
(外部リエゾン)
書込み
全体俯瞰
メールや電話など

11. © 2021, Amazon Web Services, Inc. or its Affiliates.
11
SSM Incident Manager とは?
“Incident Manager”
Incident Manager は、インデント解決までの時間を短縮するための
コラボレーションのためのツールを提供
重大なインシデントの解決までの
時間を短縮すること
目的
関連する情報を表示しお客様のサービスを復旧
にむけたツールを提供する
Runbookによる対応の自働化 / インシデント担当者のエ
ンゲージメントとエスカレーション / AWS Chatbotとの
統合を通じたコラボレーション / インシデント分析機能
何を提供するか

12. © 2021, Amazon Web Services, Inc. or its Affiliates.
12
Incident Manager
インシデント
OpsCenter
SSM Incident Manager - 概観
インシデントハンドリング(オンコール呼び出し、トリアージ対応、事後分析)
を総合的に管理・支援するフルマネージドサービス (※UIはAWS管理コンソール)
運用担当者
対応プランを
手動開始
EventBridge
(ルールターゲット)
対応プラン
開始
n分後 n分後
事象
メトリクス
アラーム
マニュアル
対応
対応プラン
インシデント詳細
自動作成
(親)
OpsItem
対応プランを
自動呼び出し
エンゲージ先
ランブック参照先
SSM Automation
インシデント作成時
に指定ランブック
を自動実行
連絡先 or エスカレーションプラン
メール SMS 電話
Chatbot
Chime
Slack
Chatチャネル
自動作成
参照
AWS Chatbotへ
インシデント発生通知
Stage:1 Stage:2 Stage:3
タイムライン 関連メトリクス
関連項目
CloudWatch
(Metrics)
!
インシデント作成後、
指定時間の経過に応じて順次連絡
(手段：メール/SMS/電話)
CloudWatch
(Alarmアクション)
(SNSトピック経由)
影響/状態
分析(解決後)
参照
オンコール対応者
& SME

13. © 2021, Amazon Web Services, Inc. or its Affiliates.
13
SSM Incident Manager - インシデント (1/2)
あるインシデントの発生から解決状態までのタイムライン(イベント履歴)
や関連項目(ARN)のリンクを保持するオブジェクト
インシデント
[影響]
重大/高/中/低/
影響なしから選択
[概要]
Markdown形式で入力可能
(随時更新可能)
[期間]
インシデントOpenから現在 or
解決済みへ変更されるまでの経過時間
[状態]
OPEN or RESOLVED

14. © 2021, Amazon Web Services, Inc. or its Affiliates.
14
SSM Incident Manager - インシデント (2/2)
「タイムライン」タブでインシデントの対応状況
(問題判別・トリアージ・etc...) を ステークホルダー間 で共有可能
Incident Managerが自動登録するタイムライン
イベント以外に、手動で進捗状況などを日時とと
もに「カスタムイベント」として追加・編集可能

15. © 2021, Amazon Web Services, Inc. or its Affiliates.
15
連絡先 (Foo)
SSM Incident Manager - 連絡先*
1つの「連絡先」にEメール/SMS/音声(電話)の各連絡チャネルを複数定義可能
(※エンゲージメント開始からの経過時間に応じた時差通知設定も可能)
連絡先 (Fooさん)
チャネル1 / 種類:メール
チャネル2 / 種類:メール
チャネル3 / 種類:SMS
チャネル4 / 種類:音声
チャネル5 / 種類:音声
1つの連絡先には複数の
チャネル*を登録可能
※登録には各手段で送信される6桁の
アクティベーションコードの
入力確認が必要
インシデント開始時
対応プランに基づき「エンゲージ」が開始
(手動追加も可)
エンゲージメント時間:0分
エンゲージメント時間:0分
エンゲージメント時間:30分
エンゲージメント時間:10分
エンゲージメント時間:5分
Fooさん
時間経過
foo@example.com
foo-sub@example.com
+81-90-0000-0000
+81-3-1111-1111
+81-3-9999-9999
SMS
通知メッセージは
いずれも英語にのみ対応
インシデント
※エンゲージメント時間は 最小0〜最大120分
※エンゲージが開始したら以降は指定に基づき順次連絡が行われる
(インシデントの解決や、各チャネルへCLI/APIによる受信通知(AcceptPage API)有無は関知されない)
*連絡先=Contacts
*チャネル=Channel

16. © 2021, Amazon Web Services, Inc. or its Affiliates.
16
エスカレーションプラン
ステージ1
SSM Incident Manager - エスカレーションプラン*
複数の「連絡先」を“ステージ“でグループ化するコンテナ用定義
(エンゲージメント先として「連絡先」と同様に指定可能)
連絡先A
連絡先B
連絡先C
ステージ2
連絡先D
連絡先E
連絡先F
ステージ5
連絡先X
連絡先Y
連絡先Z
…
待機時間(分) 待機時間(分)
連絡先チャネル毎にackが
API/CLIにより返された
際に次ステージへの
エスカレーションを停止す
るかどうかの指定が可能
※各ステージの待機時間は 最小0〜最大120分
※ステージ数は 最大5
インシデント
後続ステージに移行するま
での待機時間を各ステージ
に指定可能
最終ステージには
待機時間指定なし
※ACKを返す(=AcceptPage API)操作
はAWS管理コンソールUIで提供なし
インシデント開始時
対応プランに基づき「エンゲージ」が開始
(手動追加も可)
*エスカレーションプラン=Escalation Plan

17. © 2021, Amazon Web Services, Inc. or its Affiliates.
17
補足：SSM Incident Manager - 通知メッセージ
「連絡先」への通知メッセージは英語にのみ対応。通知内容は基本的に
「SSM Incident Managerからの通知であること」のみ
Subject: You have been engaged into Incident: <インシデントタイトル>
From : no-reply@ssm-contacts.<region>.amazonaws.com
Please go to the Console to view detailed information
AWS Systems Manager Incident Manager
From: Incident Manager.
You have been engaged into Incident: <インシデントタイトル>: Please visit the Incident
Manager Console to view detailed information
メール 通知メッセージ例
SMS 通知メッセージ例
※通知メッセージ内容のカスタマイズには未対応
※メール/SMS/音声いずれも発信元について明記された仕様はないため、受信許可リストへの登録は困難 (特にSMS/音声)
いずれもインシデントの詳
細確認は、チャットツール
やAWS管理コンソールでの
確認が前提
(英語音声で、“AWS Systems Manager Incident Managerからの通知であること”、”インシデントタ
イトル(英数字部分のみ読み上げ)”、”AWSアカウントID“、”詳細はAWS管理コンソールで確認するこ
と”などを含む内容が 2回告げられた後、自動切断される。何らかの理由で受電しなかった or できな
かった場合でも、再度の架電はされない)
音声(電話 通知メッセージ例

18. © 2021, Amazon Web Services, Inc. or its Affiliates.
18
分析
インシデント
SSM Incident Manager - 分析 (1/2)
解決済みのインシデントに対して「分析」を作成可能
→ その後のアクション項目と各完了状況もまとめて管理
インシデント
インシデント
状態:RESOLVED
参照 状態
(OPEN/RESOLVED)
名前
※現状では「分析」に関するAWS CLIやAPIは提供されていません (AWS管理コンソール上の機能)
インシデント質問
(振返り と Lessons & Learned のための記入内容)
SSM Document
(AWSIncidents-PostIncidentAnalysisTemplate)
※この内容をコピーして、
質問項目をカスタム定義可能
1つの「分析」内に
アクション項目や関連項目を
複数追加可能
内容テンプレート
として参照
関連項目
アクション項目
状態
(進行中 or 完了)
優先度
サイズ
タイトル
説明
作成時刻
参照先タイプ 参照先ARN
タイムライン
(参照先インシデントのもの)
CloudWatch
(Metrics)
参照を追加
メトリクス

19. © 2021, Amazon Web Services, Inc. or its Affiliates.
19
SSM Incident Manager - 分析 (2/2)
「インシデントの質問」のデフォルトテンプレートでは “Detection”,
“Diagnosis”, “Mitigation”, “Prevention” の4セクションで設問が用意
セクション デフォルトテンプレートの設問 (抄訳)
Detection
(検知)
ID1. どうしたら検知時間を改善できますか? 半分にするには?
ID2. 検知に用いるメトリクスを調整するとしたら?
ID3. 検知に用いるアラームを調整するとしたら?
診断
(Diagnosis)
DN1. どうしたら診断時間を改善できますか? 半分にするには?
DN2. 正しい連絡先に素早く連絡するには何を更新しますか?
緩和
(Mitigation)
MT1. どうしたら緩和時間を改善できますか? 半分にするには?
MT2. インシデント用ランブックを改善できますか? 不要なス
テップや役立つ手順の不足がありましたか?
予防
(Prevention)
IP1. 「5つのなぜ」 - 問題の調査
何が起きましたか? → それはなぜ?(1回目) → それはなぜ?(2回
目) → … それはなぜ?(5回目) とそれからの学び
IP2. 追加の学び (オプション)

20. © 2021, Amazon Web Services, Inc. or its Affiliates.
20
SSM Incident Manager - クロスアカウント構成(1)
Resource Access Manager (RAM) の共有リソースとして別アカウントに
「対応プラン」と「連絡先 & エスカレーションプラン」を共有可能
対応プラン
連絡先/
エスカレーションプラン
通知集約用
アカウントA
Resource
Access Manager
(共有された)
対応プラン
(共有された)
連絡先/エスカレーションプラン
共有対象の
アカウントB
(共有された)
対応プラン
(共有された)
連絡先/エスカレーションプラン
共有対象の
アカウントC
共有リソース
登録

21. © 2021, Amazon Web Services, Inc. or its Affiliates.
21
SSM Incident Manager - クロスアカウント構成(2)
EventBridgeイベントバスを利用し、クロスアカウントでのイベント送信
→ 集約管理アカウントで対応プランの開始が可能
インシデント集約管理
アカウント
連携元
アカウント1
連携元
アカウント2 イベントバス
イベントバス
イベント
イベント
イベントバス
Incident Manager
対応プラン インシデント
ターゲット
作成
ルール
ルール
ルール
!
!
事象
事象
運用担当者
(手動での
対応プラン開始)
別アカウントからの
受信を許可

22. © 2021, Amazon Web Services, Inc. or its Affiliates.
22
SSM Incident Manager - クロスリージョン構成
アカウントにおけるクロスリージョン構成を実現可能
(レプリケーションセットに複数のリージョンを指定することで実現)
東京
(ap-northeast-1)
バージニア北部
(us-east-1)
シンガポール
(ap-southeast-1)
サービス設定で
リージョンを1つ以上指定
レプリケーションセット
別リージョンの管理コンソール
でも「インシデント」等の
表示や編集が可能(随時同期)
設定元のリージョン
対象リージョン1 対象リージョン2
(※「分析」は対象外)

23. © 2021, Amazon Web Services, Inc. or its Affiliates.
23
SSM Incident Manager - 料金
「①アクティブな対応プランの数」+「②発生したSMS/音声メッセージ数」
に応じた従量課金
①アクティブな対応プランの数
7.0 USD/数/月
(アクティブな数) + +
②SMS/音声メッセージ料金 (③関連サービス料金)
SSM OpsCenter 料金
[宛先国別の料金]
日本国内向けの場合：
- SMS：0.10 USD/msg
- 音声：0.18 USD/分/msg
(※毎月100msgまで無料)
SSM Incident Manager 料金
SSM Automation 料金
CloudWatch 料金
+
+
+
…
詳細は こちら を参照
https://aws.amazon.com/systems-manager/pricing/#Incident_Manager

24. © 2021, Amazon Web Services, Inc. or its Affiliates.
24
エスカレーション機能の制約 (2021/06/25時点)
 エスカレーションで通知される内容が英語のみ
 エスカレーション時の承認(Acknowledge)方式が限定的
• 電話→ “1” をプッシュすると承認
• SMS→日本の電話番号は2-way SMSに対応しておらず承認できない
• メール→承認機能なし
 承認するには
• API/CLIで承認する（マネジメントコンソールに承認機能がない）
• メールを使った場合でエスカレーションを止めたい場合は
StopEngagement API を使う

25. © 2021, Amazon Web Services, Inc. or its Affiliates.
25
DiveDeep: IncidentManagerの情報構造
 コマンドは ssm-incidents と ssm-contacts （SSMとはエンドポイントが違う）
Engagement
発生したIncidentと
（通常）1:1で作られる通知
Contact
連絡先。Type=
PERSONAL(連絡先) or
ESCALATION(エスカレーションプラン)
• ListPageByEngagement
• ListPageByContact
1:n
1:n
（Type=PERSONALの場合は
Plan.Stage[]にContactChannelが入る）
1:n
(Type=ESCALATIOINの場合は
Plan.Stages[]にContactが入る）
Page
特定Engagement(=Incident)における
特定Contactの状態(Start/Stop)
Incident
インシデント
1:1
Contact
ContactChannel
具体的な連絡方式
Type=VOICE/SMS/EMAIL
• ListEngagement
Receipts
Page中の特定
ContactChannelの状態
(SENT/READ
1:n 1:n
• ListPageReceipts
• ListIncidentRecords
これだけ ssm-incidents
他は ssm-contacts
• ListContacts
• ListContactChannels
Contact関係
Engagement関係

26. © 2021, Amazon Web Services, Inc. or its Affiliates.
26
参考情報：SSM Incident Manager
• リリースニュース(What‘s new) 2021/5/10
• https://aws.amazon.com/jp/about-aws/whats-new/2021/05/introducing-incident-manager-aws-systems-manager/
• Blog記事
• https://aws.amazon.com/jp/blogs/aws/resolve-it-incidents-faster-with-incident-manager-a-new-capability-of-aws-systems-manager/
• ドキュメント
• https://docs.aws.amazon.com/incident-manager/latest/userguide/what-is-incident-manager.html
• AWS Systems Manager Incident Managerで
連絡先、エスカレーションプラン、対応プランを作成する
• https://aws.amazon.com/jp/blogs/news/creating-contacts-escalation-plans-response-plans-aws-systems-manager-incident-manager/
• AWS Systems Manager Incident ManagerとAmazon CloudWatchの統合
• https://aws.amazon.com/jp/blogs/news/aws-systems-manager-incident-manager-integration-amazon-cloudwatch/
• 参考: Systems Manager Automation Runbook でスクリプトを活用する
• https://aws.amazon.com/jp/blogs/news/use-script-steps-in-your-systems-manager-automation-runbooks/

27. © 2021, Amazon Web Services, Inc. or its Affiliates.
27