『逆転オセロニア』における、機械学習モデルを用いたデッキのアーキタイプ抽出とゲーム運用への活用

Copyright (C) 2019 DeNA Co.,Ltd. All Rights Reserved.Copyright (C) 2019 DeNA Co.,Ltd. All Rights Reserved.
1
『逆転オセロニア』における、機械学習モデルを用いた 
デッキのアーキタイプ抽出とゲーム運用への活用 
CEDEC 2019
Sep. 5, 2019
安達涼 / 岩城惇
DeNA Co., Ltd.

Copyright (C) 2019 DeNA Co.,Ltd. All Rights Reserved.
自己紹介 
❏ 安達　涼 
　- DeNA ゲーム事業部分析部 
 
❏ 行動・脳データから、人間の意思決定を研究 (PhD@Caltech) 
 
❏ 2018年4月 DeNA入社 
❏ ゲームデータを統計・機械学習手法を用いて分析 
❏ プレイサイクル分析 
❏ ネットワーク分析 
 
❏ Metal Gear Solid、Splinter Cell、FIFA、Falloutが好き 
2

DeNA ゲーム事業部分析部について 
■ 分析組織としては2011年から継続しており、現在はゲーム事業に 
100％コミットしている 
 
■ 各ゲームタイトルに専属アナリストをアサインする体制 
参考：CEDEC 2017「一周年で爆発した「逆転オセロニア」における、 
ゲーム分析の貢献事例〜開発・運営の意思決定を全力でサポートする、DeNAのゲーム分析体制〜」 
https://www.youtube.com/watch?v=bcCiRqmvR2o 
 
■ 行動ログ分析、ユーザー調査等、様々な分析手法を用いて分析に 
取り組んでいる 
 
■ 新たな分析手法や、機械学習等の高度な技術を活用したR&Dにも 
トライしており、今回の発表はその文脈での実践例 
 
3

自己紹介 
❏ 岩城　惇 
　- DeNA ゲーム事業部企画部 
 
 
❏ 『逆転オセロニア』プランナー 
 
❏ 2018年11月 DeNA入社 
❏ 分析ツールを用いて、キャラクター設計バランス調整 
 
❏ Call of Duty、F1、Winning Post、Dominion、Splender 
4

逆転オセロニアにおけるAI・機械学習の活用 
 
● ゲーム内での活用 
対戦AI、デッキのレコメンデーション  
https://www.slideshare.net/juneokumura/cedec2018ai (CEDEC 2018) 
https://www.slideshare.net/juneokumura/applying-ai-in-games-gdc2019 (GDC 2019) 
 
● ゲーム外 (運営) での活用  
デッキのアーキタイプ抽出、and more... 
5

本講演のながれ 
● 話すこと 
○ 逆転オセロニアの紹介と運用上の問題点 
○ これまでの取り組みと既存手法の限界 
○ 機械学習アルゴリズムの概要 
○ 結果の可視化手法とツールの紹介 
○ 運用上の問題点の解決にツールが貢献している具体例 
 
● 話さないこと 
○ 機械学習アルゴリズムの実装や、可視化ツールのシステムの詳細 
○ 採用手法と他手法との精度比較 
○ 売上・DAUといったKPIへの貢献度 
6

アジェンダ 
1. 逆転オセロニアとデッキアーキタイプ 
 
2. 運用上の問題点と既存手法の限界 
 
3. 機械学習モデルの概要 
 
4. 可視化ツールの紹介 
 
5. ゲーム運用への活用 
 
6. まとめと展望 
7

逆転オセロニアの紹介 
● オセロのルールに基づいた対戦型スマホゲームアプリ 
○ キャラクター (駒) のスキル・コンボによる高い戦略性 
○ 劣勢からでも、「ドラマチック」に逆転できるのが特徴 
 
 
● 2016年2月にリリース後、継続的に成長 
○ 2,500万ダウンロード (2019年8月時点) 
○ 日本、台湾などで配信中 
8※ オセロ・Othelloは登録商標です。 TM&© Othello,Co. and MegaHouse © 2016 DeNA Co.,Ltd.

 
● キャラクター (駒) から、プレイヤーが構築した「デッキ」で対戦 
 
● PvP (プレイヤー間対戦) がメインである 
○ 対戦回数の大部分がPvP 
○ 「クラスマッチ」が最もプレイされている 
逆転オセロニアのゲームプレイコンテンツ 
9
カップ戦 
コンテンツ別バトル回数割合  PvPコンテンツ内の対戦回数割合 
クラスマッチ 
PvP 
PvE  
(対CPU) 
コロシアム

10
● 月例で開催されるメインPvPコンテンツ 
● 勝敗によりランキングが変動する「本気の」対戦コンテンツ 
クラスマッチとは 
10
ブロンズ 
シルバー 
ゴールド 
プラチナ 
ダイヤモンド 勝つ
=
ランク上昇
負ける
=
ランク下降
クラスマッチのランク

11
 
● 3つの属性: 神 (黄)、魔 (紫)、竜 (赤),　属性間の優劣はない 
● 「属性補正」によって、定期的に (毎日) 環境が変化 
クラスマッチの属性補正 
11
神 
魔 
竜 
神デッキ 
12/1  12/2 
魔デッキ 
神 
魔 
竜

デッキ構築とデッキアーキタイプ 
● デッキ構築 
○ 16個の駒から構成 (1駒をリーダーに指定)　 
○ 駒は3,500種類以上 (2019年8月時点) 
○ 駒固有のスキル・ステータスによる駒同士のシナジー 
 
● デッキアーキタイプ 
○ 戦い方を考慮した、おおまかなデッキ構成のこと 
○ TCGでは一般的な概念 
○ さまざまなデッキアーキタイプが存在 
■ 20種類前後のアーキタイプ 
■ 例：貫通速攻、混合、神殴り、… 
■ リーダー駒とアーキタイプは必ずしも紐づいていない 
12
スキル 
ステータス

デッキアーキタイプの例 
● 貫通速攻 
○ 竜属性 (赤) の駒のみで構成されるアーキタイプ 
○ 高い攻撃力と強力なコンボスキルで 
大ダメージを与え、短いターンで決着を狙う 
⇒ (+) 決着ターンの長いアーキタイプ 
⇒ (−) ATKを減少させるアーキタイプ 
 
● 混合 
○ 神(黄)、魔(紫)、竜(赤)の３属性の駒で構成されたアーキタイプ 
○ 3属性の特性をバランスよく取り入れ、他のアーキタイプに対し、  
強い・弱いのバランスが取れている 
⇒ どのアーキタイプにもバランスよく戦える 
13
混合
貫通速攻 
各アーキタイプのデッキ例

デッキアーキタイプ把握の重要性 
14
A 
B  C
対戦環境 
 
● アーキタイプの相互関係は 
対戦環境に大きな影響を及ぼす 
 
● アーキタイプバランスを保つことが大切

 
● アーキタイプの相互関係は 
対戦環境に大きな影響を及ぼす 
 
● アーキタイプバランスが崩れると... 
○ プレイヤー体験に影響  
(e.g. 特定のアーキタイプが強すぎてつまらない) 
○ 中長期の継続率に大きな影響 
 
● バランスの把握＆メンテナンスが重要 
デッキアーキタイプ把握の重要性 
15
A
B
C
対戦環境

アジェンダ 
 
 
 
 
 
16

ゲーム運用上の問題点と解決の方針 
17
● 運用上の問題点 
 
○ 特定のアーキタイプが強すぎる 
○ アーキタイプの優劣が固定化されている 
 
● 問題点を解決したい 
○ 対戦環境を平均化・ダイナミックにすることでプレイヤー体験を向上したい 
○ 運用上のポリシー 
■ 禁止駒のグランドルールはない 
○ プランニングのアクション 
■ 駒の追加 
■ 属性補正の追加

定性情報に基づいたプランニングとその問題点 
18
A 
B  C
対戦環境 
？ 
？ 
● 定性 = 人力 
○ プランナーがクラスマッチを徹底的にプレイ＋プレイヤーの声 
○ 蓄積した定性意見を元にプランニング 
 
 
プランナー

19
A 
B  C
対戦環境 
？ 
？ 
 
  問題点１ 
 
プレイング 
習熟まで時間が 
必要 
定性情報に基づいたプランニングとその問題点

20
A 
B  C
対戦環境 
？ 
？ 
 
  問題点１ 
 
プレイング 
必要 
問題点2 
 
客観的に判断を 
する難易度が高い

21
A 
B  C
対戦環境 
？ 
？ 
 
  問題点１ 
 
プレイング 
必要 
問題点3 
 
増え続ける 
アーキタイプ数への 
対応が難しい 
問題点2 
 
客観的に判断を 
する難易度が高い

22
A 
B  C
対戦環境 
？ 
？ 
○ プランナーがクラスマッチを徹底的にプレイ + プレイヤーの声 
 
  問題点１ 
 
プレイング 
必要 
問題点2 
 
客観的に判断をす
る難易度が高い 
問題点3 
 
増え続ける 
アーキタイプ数への 
定量的に対戦環境を把握することが必要不可欠

これまでの定量分析とその問題点 
 
● ログデータから分析 
○ リーダー駒の編成率 
○ リーダー駒ごとの勝率 
 
 
● これらの分析の課題点 
○ デッキアーキタイプという抽象度でデータを解釈することが難しい 
■ 意図せず対戦環境のバランスを崩してしまう可能性 
 
 
23

24
リーダーa 
勝率: 35% 
リーダーb 
勝率: 50% 
デッキ  デッキ 
※ 数値は仮のものです

25
リーダーa 
勝率: 35% 
リーダーb 
駒を追加 
勝率: 50% 
デッキ デッキ 

26
リーダーa  リーダーb 
勝率: 50%  勝率: 65% 
??? 

27
アーキタイプA 
リーダーa  リーダーb 
勝率: 50%  勝率: 65% 
アーキタイプレベルでのプランニングが重要 

 
● ログデータからアドホックに分析 
○ リーダー駒の編成率 
○ リーダー駒ごとの勝率 
 
● これらの分析の課題点 
○ デッキアーキタイプという抽象度でデータを解釈することができない 
■ 意図せず対戦環境のバランスを崩してしまう可能性 
■ ルールベース (定義に基づいた分類) では対応できない 
● 大量の駒 
● 同じリーダーでも異なるアーキタイプに属する 
 
○ 新しいアーキタイプが抽出できない 
 
● 機械学習によるデッキのアーキタイプ抽出 
  28

ここまでのまとめ 
● 対戦環境まわりの問題が顕在化 
○ アーキタイプの優劣が固定化 
○ 特定のアーキタイプが強すぎる 
 
● 対戦環境改善により、ユーザー体験を向上したい 
○ 対戦環境を平均化したい 
○ 対戦環境をダイナミックにしたい 
 
● これまでトライしてきた方法では問題点が多い... 
○ 客観的な判断が難しい、増加してきたアーキタイプ数に対応できないなど 
○ アーキタイプという抽象度の高い概念 
 
● 機械学習によるデッキのアーキタイプ抽出 
29

アジェンダ 
 
 
 
 
 
30

機械学習に使用するデータ 
● クラスマッチダイヤモンド帯のデッキデータ 
○ ユーザーのリテラシーが高く、デッキのアーキタイプが成立している 
 
 
● 週次データ 
○ バトル数: 数十万 
○ ユニークなデッキ数: 数十万 
 
 
● 月次データで属性補正ごと 
○ 属性補正の種類 (e.g. 1ヶ月で5種類前後) 
○ バトル数: 数十万 
○ ユニークなデッキ数: 数十万 
31
ブロンズ 
シルバー 
ゴールド 
プラチナ 
ダイヤモンド 
クラスマッチのランク

機械学習を用いたデッキアーキタイプ抽出の概要 
32
機械学習モデル 
 
トピックモデル (LDA: Latent Dirichlet Allocation)

パラメータ 
データ 
33
大量のデッキデータ (100,000) 
抽出するアーキタイプ数 = 7

34
 
抽出するアーキタイプ数 = 7 
 
駒1 
駒2 
駒99 
0.5 
0.01 
0.2 
... 
... 
駒1 
駒21 
駒99 
0.01 
0.3 
0.2 
... 
... 
アーキタイプB 
駒1 
駒77 
駒99 
0.01 
0.4 
0.2 
... 
... 
アーキタイプG 
... 
... 
... 
アーキタイプの解釈はプランナーが行う 
各アーキタイプの組成 (A~Gの7つ) 
... 
...

確率 
デッキ100,000 デッキ1 
35
... 
 
抽出するアーキタイプ数 = 7 
 
駒1 
駒2 
駒99 
0.5 
0.01 
0.2 
... 
... 
駒1 
駒21 
駒99 
0.01 
0.3 
0.2 
... 
... 
駒1 
駒77 
駒99 
0.01 
0.4 
0.2 
... 
... 
... 
... 
... 
各デッキが属するアーキタイプ 
... 
...

LDA: Latent Dirichlet Allocation の紹介 
36
ドキュメント内の単語数  ドキュメント数  トピック数 
トピック  ドキュメント 
トピック上の分布 
割り当て 
d 
● トピック＝全単語上の確率分布 
 
● ドキュメント＝トピック上の確率分布 
 
引用: Blei, CACM, 2012

LDA: Latent Dirichlet Allocation の紹介 
37
引用: Blei, CACM, 2012 
トピック  ドキュメント 
トピック上の分布 
割り当て 
ドキュメント内の単語数  ドキュメント数  トピック数 
d 
● トピック＝全単語上の確率分布 
 
● ドキュメント＝トピック上の確率分布 
 
● 事前分布にDirichlet分布を仮定 
 
● Bayesian inference (事後分布)

トピックモデルを用いたデッキアーキタイプ抽出 
38
駒1 
駒2 
駒99 
0.5 
0.01 
0.2 
... 
... 
3) トピック＝アーキタイプ 
　　　　　　=駒上の確率分布 
駒1 
駒21 
駒99 
0.01 
0.6 
0.02 
... 
... 
... 
... 
2) ドキュメント＝デッキ＝アーキタイプ上の確率分布 
駒1 
駒77 
駒99 
0.01 
0.1 
0.7 
... 
... 
... 
... 
... 
... 
... 
A  B  G 
アーキタイプ 
割り当て 
1) ドキュメント内の単語＝デッキ内の駒

トピックモデルの利点 
● 実装が簡単 (pythonパッケージあり: gensim) 
● 新しいアーキタイプを抽出可能 
● 時系列でのアーキタイプの紐付けが容易 (確率分布間の類似度) 
● パフォーマンスが良い (駒が複数アーキタイプに共有される悪条件) 
39

デッキアーキタイプの抽出フロー 
40
アーキタイプA, 
アーキタイプB,... 
週 T 
既存のアーキタイプと比較  
Raw対戦ログ 
(デッキ, 勝敗, ターン数 etc.)  
アーキタイプ抽出処理  
... 
Raw対戦ログ 
前処理 
週 T+1 
... 
アーキタイプB

41
週 T 
Raw対戦ログ 
... 
Raw対戦ログ 
前処理 
週 T+1 
... 
ルールベース抽出 
アーキタイプ1, 
アーキタイプ2,...

42
週 T 
Raw対戦ログ 
... 
Raw対戦ログ 
前処理 
週 T+1 
... 
アーキタイプ2,... 
LDA 
アーキタイプx, 
アーキタイプy,... 
... 
アーキタイプx 
... 
アーキタイプy 
...

43
週 T 
Raw対戦ログ 
Raw対戦ログ 
前処理 
アーキタイプ2,... 
LDA 
アーキタイプx, 
アーキタイプy,... 
(New) アーキタイプF  
アーキタイプB, 
アーキタイプD,... 
週 T+1 
... 
... 
... 
アーキタイプx 
アーキタイプB

アジェンダ 
 
 
 
 
 
44

可視化の要件 
目標: 対戦環境改善により、プレイヤー体験向上を実現する 
 
● 現状把握と運営のアクションの効果確認が容易にできる 
○ アーキタイプに関する統計量 (e.g. 使用率、勝率など) が一目でわかる 
○ これらの統計量が時系列で比較できる 
○ 内製のBIツールでは自由度が低く、実現できない 
 
 
● 運営チームの誰もが、対戦環境を意識できる状況をつくりだす 
○ 誰でも対戦環境をツールで確認できるようになった  
○ プランナーだけでなく、チーム全員で目標を意識 
○ ローカルで結果が見られるだけでは不十分 
 
45

Dashを用いたデッキアーキタイプの可視化 
46
● Dash: Python製のWebアプリケーションのフレームワーク 
 
● インタラクティブなダッシュボード作成 
○ オープンソース 
○ Pythonで完結 (JSの知識不要) 
○ 高い自由度  
○ 豊富な具体例とソースコード 
 
● 対戦環境把握の標準化 
○ Google Cloud Platform上でデプロイ  
○ Webブラウザから閲覧可能 
https://dash-gallery.plotly.host/

可視化ツールの紹介 (週次) 
47
● 週次のクラスマッチからの抽出結果 
○ 月〜日曜日のデータを元に、月曜日更新 
○ 最新のアーキタイプトレンドを把握することに使用

○ 最新のアーキタイプトレンドを把握することに使用 
 
 
48
アーキタイプ名 
プレイヤー数関連 
時系列情報 
勝率関連 
ターン数関連 
デッキ情報 
該当週 
※ 数値は乱数に置き換えてあります

○ 最新のアーキタイプトレンドを把握することに使用 
 
 
49
アーキタイプ名  時系列情報 
勝率関連 
デッキ情報 
該当週 

50
対戦表  プレイヤー数分布 
先攻後攻切り替え 

可視化ツールの紹介 (月次) 
 
● 月次のクラスマッチの補正ごとの抽出結果 
○ 月初更新 
○ より詳細な対戦環境情報の把握、プランニングのPDCAサイクルに利用 
 
 
 
 
51
アーキタイプ名 
補正名 
クラス別 
デッキ情報 
勝率関連 
該当月 

アジェンダ 
 
 
 
 
 
52

オセロニアの運用課題/分析ツール導入前
53
運用上の問題点1 
アーキタイプの 
優劣が固定化
特定のアーキタイプが
強すぎる
定性意見中心

54
客観的に 
判断をする 
難易度が高い 
増え続ける 
アーキタイプ数の
プレイング 
必要 
新しい 
アーキタイプを 
検知しづらい 
優劣が固定化
強すぎる
定性意見中心

55
客観的に 
判断をする 
難易度が高い 
増え続ける 
アーキタイプ数の
プレイング 
必要 
新しい 
検知しづらい 
優劣が固定化
強すぎる
正確で網羅的な現状把握が難しい改善結果が正確に評価しづらい 
現実的でない対応スピード遅
定性意見中心
難易度が高い

オセロニアの運用課題/分析ツール導入後
56
優劣が固定化
強すぎる
定性+ツール

57
客観的に 
正しいか 
判断しやすい 
多数の 
増加に対応できる 
属人化の改善 
新しい 
検知できる 
優劣が固定化
強すぎる
定性+ツール

58
客観的に 
正しいか 
判断しやすい 
多数の 
増加に対応できる 
属人化の改善 
新しい 
検知できる 
優劣が固定化
強すぎる
正確に網羅的な現状把握に改善し、改善アクションがスムーズになった 
定性+ツール
難易度が改善実現可能対応スピード速

改善アクション1〜対戦環境のバランス平均化 
運用上の課題：特定のアーキタイプが強すぎる 
● アーキタイプの強さが偏重すると、ゲームが単調になる 
59
A 
B  C 
D 
F 
E 
理想 
アーキタイプ同士の 
相性が拮抗していることで、 
選択肢が多様な状態

発生した事例 
Aが一強であることで、 
ほとんどのユーザーがAに流れて
しまい対戦環境が固定化する 
60
A D A 
B  C 
F 
E 
D 
F 
E 
B  C 
理想 

61
A D A 
B  C 
F 
E 
D 
F 
E 
B  C 
理想 
選択肢が多様な状態 
Aが一強であることで、 
ほとんどのユーザーがAに流れて
しまい対戦環境が固定化する 
同じ相手とばかり
当たる = 飽き 
中長期継続率に悪影響
プレイヤー

● 実際に、アーキタイプ分析ツールで突出したアーキタイプがあることを確認した 
62
OLDツール
各アーキタイプ勝率グラフ
クラス：＊
月：2019/03
補正：魔H1.1 A0.9 竜H1.1 A0.9
OLDツール
各アーキタイプ対戦表
クラス：＊
月：2019/03
補正：魔H1.1 A0.9 竜H1.1 A0.9
対戦表 勝率

アクション：適切な抑止力の選定と対戦環境への配慮 
● プランニングプロセス 
63
OLDツール
アーキタイプ間の勝率％（対戦表）
クラス：＊
月：2019/03
補正：神H1.1 A0.9 竜H1.1 A0.9
ラニトップと貫通速攻と魔バランス
OLDツール
ユニークなデッキ数分布（グラフ）
クラス：＊
月：2019/03
補正：神H1.1 A0.9 竜H1.1 A0.9
A 
B 
C 
Aに相性の良いBを選出 
Bに相性の良いCを選出 
A 
B  C 
A 
A 
C 
B 
C B 
対戦成績の比較  アーキタイプ使用率の比較

アクション：適切な抑止力の選定と対戦環境への配慮 
OLDツール
アーキタイプ間の勝率％（対戦表）
クラス：＊
月：2019/03
補正：神H1.1 A0.9 竜H1.1 A0.9
A 
A 
C 
B 
C B  OLDツール
ユニークなデッキ数分布（グラフ）
クラス：＊
月：2019/03
補正：神H1.1 A0.9 竜H1.1 A0.9
A 
B  C 
64
対戦成績の比較  アーキタイプ使用率の比較 
A 
B 
C 
Aに相性の良いBを選出 
Bに相性の良いCを選出 
強化 
使用率が低い 
アーキタイプに 
駒追加 
全ての勝率が 
拮抗する属性補正

結果：突出したアーキタイプのバランスを対戦環境を配慮しつつ行えた 
適切な属性補正を特定し、スムーズに調整を行えた 
抑止力となるアーキタイプの選定がピンポイントに行えた 
 
65
OLDツール
クラス：＊
月：2019/03
補正：魔H1.1 A0.9 竜H1.1 A0.9
NEWツール
クラス：ダイマス
月：2019/06
補正：竜H1.2 魔H1.2 竜H1.2
魔バランス、貫通速攻、代償が 1,2,3のグラフ
勝率（アクション後） 
A B C A 
勝率（アクション前） 
3ヶ月後 
B

改善アクション2〜勝てるアーキタイプの選択肢を増やす 
66
運用上の課題：アーキタイプ間の優劣が固定化 
● 対戦環境の放置は、ゲームの「単調さ」につながる 
A 
B  C 
D 
F 
E 
理想 

67
A 
B  C 
D A 
B  C 
F 
E 
D 
F 
E 
理想 
A、B、Cの関係が徐々に突出し
て、選択肢が少なくなる状態

68
A 
B  C 
D A 
B  C 
F 
E 
D 
F 
E 
理想 
A、B、Cの関係が徐々に突出し
て、選択肢が少なくなる状態 
選択肢が少ない =
飽き 
中長期継続率に悪影響
プレイヤー

● 実際に、アーキタイプ分析ツールでアーキタイプ間の優劣
が固定化していることを確認した 
69
OLDツール
クラス：＊
月：2018/12
補正：all 1.0
OLDツール
月：2019/03
補正：all 1.0
3ヶ月後 
上位の序列に大きな 
変化がない 
A B C  A B  C D E F  F D E

OLDツール
アーキタイプ間の勝率（対戦表）
クラス：＊
月：2019/02
補正：all HP1.1
アクション：分析を用いた強化対象アーキタイプ掘り起こしと適切な追加 
70
OLDツール
代表駒と使用率
アーキタイプ：代償
クラス：＊
月：2019/02
補正：all 1.1
使用率の比較 
E 
A 
B  C 
勝率は悪くないが、 
使用率の低いEを選出 
E 
E 
勝率（対戦成績）の比較

E 
アクション：分析を用いた強化対象アーキタイプ掘り起こしと適切な追加 
71
OLDツール
アーキタイプ間の勝率（対戦表）
クラス：＊
月：2019/02
補正：all HP1.2
勝率は悪くないが、 
使用率の低いEを選出 
E 
A 
B  C 
強化/普及 
必要な駒の普及 
できるガチャ 
E 
勝率の高くなる属
性補正を追加 
勝率（対戦成績）の比較 
デッキの核となる駒
の追加 
使用率の比較

結果：ユーザーがよりアーキタイプを選択するようになった 
ピンポイントでキャラクターの設計ができた 
アーキタイプ追加に比較して1/5以下のキャラクター追加数で対応できた 
 
OLDツール
ユニークなデッキ数分布
クラス：＊
月：2019/02
補正：all 1.0
72
NEWツール
ユニークなデッキ数分布
クラス：＊
月：2019/05
補正：神H1.1 A0.9 魔H0.9 A1.1 竜H0.9
A1.1
3ヶ月後 
E 
使用率（アクション前） 
E 
使用率（アクション後）

改善アクション3〜新しいアーキタイプの検知と使用率向上 
73
● 運営で想定していないアーキタイプが生まれることがある 
A 
B  C 
D 
E 
NEW 
想定外の 
アーキタイプ

● 実際に、アーキタイプ分析ツールで新たなアーキタイプ「NEW」を検知 
74
OLDツール
クラス：＊
月：2019/03
補正：all 1.0
NEW3
使用率 
NEW

OLDツール
使用率
月：2019/03
補正：神H1.1 A1.1 魔H1.1 A1.1 竜H1.1 A1.1
OLDツール
各アーキタイプの勝率％（対戦表）
クラス：＊
月：2019/03
補正：神H1.1 A1.1 魔H1.1 A1.1 竜H1.1 A1.1
アクション：アーキタイプ間の優劣が固定化 
75
A 
B  C 
新しいアーキタイプ 
「NEW」を検知 
NEW 
NEW 
NEW

アクション：アーキタイプ間の優劣が固定化 
OLDツール
各アーキタイプの勝率％（対戦表）
クラス：＊
月：2019/03
補正：神H1.1 A1.1 魔H1.1 A1.1 竜H1.1 A1.1
OLDツール
各アーキタイプの勝率％（グラフ）
クラス：＊
月：2019/03
補正：神H1.1 A1.1 魔H1.1 A1.1 竜H1.1 A1.1
76
A 
B  C 
新しいアーキタイプ 
「NEW」を検知 
アーキタイプ？の 
勝率が高い属性補正 
使用率向上 
NEW 
他のアーキタイプとの 
差分は何か 
NEW 
NEW

結果：新しいアーキタイプの使用率が向上する状態を生み出せた 
運営が想定していないアーキタイプの検知ができた 
想定していないアーキタイプの属性補正を適切に追加できた 
 
 
NEWツール
各アーキタイプ使用率グラフ
月：2019/06
補正：神A1.1 魔A1.1 竜A1.1
77
使用率（アクション後） 使用率（検知） 
２ヶ月
後 
1ヶ月
後 
使用率（アクションなし） 
検知せず再検知
NEW  NEW

アーキタイプ分析結果の活用先 
アーキタイプ分析ツールは、運用の施策の出発点として活かされている 
78
アーキタイプ 
分析ツール 
バトル定例 
 
結果をみる 
バトル開発 
クラスマッチ 
補正検討 
個別の結果共有 
 
イベントオーナー 
ガチャラインナップ 
検討 
アーキタイプの強化  
対戦環境保全 
アーキタイプの普及  
レベルデザイン 
新しい 
スキル考案 
ゲーム内 
施策

運用に今回の分析ツールを導入したことで。。。
79

80
『誰もが気軽に 
より客観的に』 
 
対戦環境の把握が改善されました！ 
運用に今回の分析ツールを導入したことで。。。

アジェンダ 
 
 
 
 
 
81

まとめと展望 
● 機械学習を用いた対戦環境改善を、ゲーム運営の現場で行なっているはなし 
○ トピックモデルを用いてデッキアーキタイプを抽出する手法 
○ デッキアーキタイプの可視化 
○ ゲーム運営への活用について 
 
 
● デッキ構築を必要とするゲームに汎用的に活用できる 
○ トピックモデルを用いたデッキアーキタイプ抽出 (弊社他タイトル) 
 
● 今後取り組みたいこと 
○ アーキタイプレベルでのデッキレコメンデーション 
○ 属性補正の最適化 
○ 対戦環境変化の予測 (e.g. 新キャラクター駒追加) 
82

83
ありがとうございました 
 
email: ryo.adachi@dena.jp

Appendix 
84
● 既存手法との定性比較

デッキアーキタイプの抽出手法の比較 
● トピックモデル (採用した手法) 
○ (+) 実装が簡単 (パッケージあり: gensim) 
○ (+) 新しいアーキタイプを抽出可能 
○ (+) 時系列でのアーキタイプの紐付けが容易 (確率分布の類似度) 
○ (+) パフォーマンスが良い (駒が複数アーキタイプに共有される悪条件) 
 
● ルールベース 
○ (+) 曖昧さがなく、精度が良い 
○ (−) カードの枚数が多ければ、ルールの策定が非常に複雑になる 
○ (−) ルールを指定するまで、新しいデッキアーキタイプを検出できない 
 
● k-meansなどのクラスタリング手法 
○ (+) 実装が簡単、新しいアーキタイプを抽出可能 
○ (−) 時系列でのアーキタイプの紐付けが容易ではない 
85

『逆転オセロニア』における、機械学習モデルを用いたデッキのアーキタイプ抽出とゲーム運用への活用

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to 『逆転オセロニア』における、機械学習モデルを用いたデッキのアーキタイプ抽出とゲーム運用への活用

Similar to 『逆転オセロニア』における、機械学習モデルを用いたデッキのアーキタイプ抽出とゲーム運用への活用 (13)