CEDEC2017 VR180 3D live streaming camera at "SHOWROOM" case

Copyright (C) DeNA Co.,Ltd. All Rights Reserved.
アイドル、スポーツのラ
イブ配信プラットホーム
「SHOWROOM」のVRラ
イブ配信における3Dカメ
ラの仕組みと運用につい
て
2017/8/31
株式会社ディー・エヌ・エー
システム&デザイン本部技術開発室
小倉豪放 (Takeyuki Ogura)

資料掲載にあたっての変更点
 P11, P12, P13, P39, P54, P58, P60, P64, P73、P76, P77, P90に講演の際の
文言を追加
 P67, P74のまとめを挿入

About me：小倉豪放 (Takeyuki Ogura)
 Senior Engineer
⁃ プロトタイプ制作（アプリ、デバイス接続）
⁃ 専門分野：CG、GPU Computing
 Company
⁃ SEGA -> Microsoft -> Startup ->DeNA
 趣味
⁃ 読書
⁃ 旅行
⁃ 電子工作
 Hometown
⁃ 東京
3

Created game titles（ support / prototyping 含まない）
 Virtua Fighter 2 (Arcade)
⁃ User interface / advertizing
 Virtua Fighter 4 (Arcade)
⁃ 3D character motion library
⁃ Rendering effects
 Virtua Cop 2 (Arcade、Saturn)
⁃ Breakable obstacles
⁃ Physics engine
 Sonic the Fighters （Arcade）
⁃ Real-time character morphing
 Naomi Library (Dream Cast)
 Shenmue Ⅰ (Dream Cast)
 Shenmue Ⅱ (Dream Cast)
⁃ Motion library
⁃ Rendering library
⁃ Effects
 Ninety Nine Nights（Xbox360）
⁃ Optimization
 Aqua Forest（iOS）
 PHYZIOS Studio（iOS, PC）
 PHYZIOS Sculptor（iOS）
⁃ Rendering、UI
4
Credit Name:
Takeyuki Ogura or Goho Ogura

コミュニティ貢献活動
 CEDEC（Computer Entertainment Developers Conference）
⁃ コンピューター・エンターテイメント系カンファレンス
 CEDEC運営委員
• 業界ロードマップの提示
• 招待講演の手配
• 公募講演の審査員
• イベント企画例：CEDEC CHALLENGE, VRNow!
 Host : CESA（Computer Entertainment Supplier’s Association）
⁃ 経産省系列の一般社団法人
規模 2016 2015 2014
セッション数 210 224 236
参加者総数 6768 6373 6564

360度3D動画の仕組み

360度動画の仕組み
7
丸めて中に入る

DEMO：360度動画の仕組み
実機デモ

長方形を球へ変形させて、その中心部へ入る。
（球の外側の映像は反転していることに注意）

球を回転させると360度動画になる。

360度動画の仕組み
左目右目
HMDのレンズ向けのディス
トーションが入る
360度
左右で同じ
映像では視
差がないた
め、立体に
見えない。

360度3D動画の仕組み：Equirecangular Top & Bottom
左目
右目
HMDのレンズ
向けのディス
トーションが
入る
左右で視差
のある映像
を用意する
ことで、立
体に見える。

360度3D動画の仕組み：Equirecangular Side by Side
左目
右目
180度
HMDのレンズ
向けのディス
トーションが
入る
左右で視差
のある映像
を用意する
ことで、立
体に見える。

PCでVRライブ配信カメラシステムを組む意味

PCでVRライブ配信カメラシステムを組む意味
 All in oneの3Dライブ配信対応カメラの選択肢は少ない
 コンテンツに適した機材へと組み替えられる
 標準フォーマットが使える
 別なアルゴリズムを挟める

①All in oneの3Dライブ配信対応カメラの選択肢は少ない
 プロフェッショナル（映画）
⁃ Jaunt ONE
⁃ Google Yi Halo
⁃ NOKIA OZO
 プロシューマー〜個人（動画、ライブ配信）
⁃ Insta360 Pro, Z CAM S1
 個人（動画、ライブ配信、静止画）
⁃ Insta360 One/Air/Nano, Giroptic iO, ION360 U
⁃ 360Fly 4K Pro
⁃ NIKON KeyMission 360, KODAK 4KVR360
⁃ RICOH THITA S, Sumsung Gear 360,
＊太字はライブ配信対応
200-500万円
50万円
5万円
価格

最新のAll in oneの3Dライブ配信対応カメラでも近距離はカバーできない
カメラから10cm カメラから50cm

グラビア番組はカメラから10cm以内まで接近
ミスFLASH2017 7/24

【脱線】視差のある状況でスティッチングをするためには深度情報が必要
 Optical Flow
⁃ Optical Flowを使ったDepth Estimationが主流になりつつある
⁃ リアルタイムスティッチングには適応されていない
 Sparse estimation
⁃ Facebook x24, x6
⁃ 今年の終わりにリリース
⁃ ポジショントラッキング対応
（頭を振る程度）
Facebook 360, Facebook update, 20 April 2017, viewed 22 August 2017,
https://www.facebook.com/Facebook360/posts/1913021515582981

②コンテンツに適した機材へと組み替えられる
360 4K 2D：
一般的な360度
ライブ配信用途
180 4K 3D：
グラビアなど近距離
のコンテンツ用途
＊本講演で話す範囲はこれ
360 4K 3D：
一般的な360度3D
ライブ配信用途
例：KODAK SP260 4K 複数台の組み替え
Back to Back Stereo Quad

③別なアルゴリズムを挟める
 映像は既にGPUにある
⁃ フィルタリング処理を適応しやすい
⁃ 方向別にマスクしたり、別の映像に切り替えることが可能
 ライブストリーミングの場合、後工程はエンコード
⁃ 重要でない方向の色数を減らし、圧縮効率を高めるなど

180度 4K 3D ライブ配信用カメラの制作方法

Pros/Cons
 Pros
⁃ 至近距離（10cm）でも3D映像の撮影、ライブ配信が可能
⁃ アクションカメラベースなので割と酷使に耐えうる
 Cons
⁃ 機材が大型
⁃ 暗いところではノイズが多い

KODAK SP360 4Kは酷使に耐える

SHOWROOM VRで使うVRカメラは？
数万円
数百万円
SHOWROOMはこっち寄り
Ricoh Company, Ltd. RICHO THETA S.
https://theta360.com/ja/about/theta/s.html. (accessed 2017-08-22)
NOKIA. OZO+ PROFESSIONAL VIRTUAL REALITY CAMERA.
https://ozo.nokia.com/eu/ozo-professional-vr-camera/. (accessed 2017-08-22)

データの流れ

データの流れ：ライブ配信全体
PC
引用：
http://gopro.com
http://www.kolor.com/
http://www.video-stitch.com/
Media server
スマートフォン（クライアントアプリ）
HDMI
HDMI
internet
internetカメラ１
カメラ２

データの流れ：PC内部
HDMI
HDMI PCIe
PCIe
PCIe
配信ソフトウェア
internet
PCIe
GPU
PC
カメラ２
カメラ１ HDMI
①カメラ→キャプチャーボード→GPU
②GPU内部の処理
③GPU→キャプチャーボード
④キャプチャーボード→キャプチャーボード
キャプチャーボード

システムの実装
HDMI
HDMI PCIe
PCIe
PCIe
internet
PCIe
GPU
PC
カメラ２
カメラ１ HDMI

 カメラ、全周魚眼レンズの組み合わせ具体例

【紹介】180度3D機材構成：定番
 カメラ：GoPro Hero 4 Black
 レンズ：iZugar MKX19
 リグ：よしみカメラ専用リグ
http://www.443c.com/

【紹介】180度3D機材構成：3D ステレオVR 完組みセット
http://www.entapano.com/jp/index.html
 カメラ：GoPro Hero 5
 リブケージ：Back-Bone M12
 レンズ：Entanya M12 220
 リグ：Entanya 3D Stereo Rig

【紹介】180度3D機材構成：4K MFT
 カメラ：Z Camera E1
 レンズ：iZugar MKX22
 リグ：よしみカメラ専用リグ
http://www.443c.com/

【紹介】180度3D機材構成：ハイエンド（年内リリース）
 カメラ：Sony α6500 - Panasonic
GH5
 マウント：E or MFT
 レンズ：Entaniya MFT 200
 リグ：Entaniya製リグ
http://www.entapano.com/jp/index.html

どんな機材を使っても明らかにすべきこと
 視野角
 射影方式
 解像度
 フレームレート
 ピクセルフォーマット

 キャプチャーボードのSDKで対応する解像度とフレームレートとピクセル
フォーマットを表示
Supported video input display modes:
525i59.94 NTSC 720 x 486 29.97 FPS 8-bit YUV 10-bit YUV ------ ------ ------ ------ ------ ------ ------
625i50 PAL 720 x 576 25 FPS 8-bit YUV 10-bit YUV ------ ------ ------ ------ ------ ------ ------
1080p23.98 1920 x 1080 23.976 FPS 8-bit YUV 10-bit YUV 8-bit ARGB 8-bit BGRA 10-bit RGB 12-bit RGB 12-bit RGBLE 10-bit RGBXLE 10-bit RGBX
1080p24 1920 x 1080 24 FPS 8-bit YUV 10-bit YUV 8-bit ARGB 8-bit BGRA 10-bit RGB 12-bit RGB 12-bit RGBLE 10-bit RGBXLE 10-bit RGBX
1080i50 1920 x 1080 25 FPS 8-bit YUV 10-bit YUV 8-bit ARGB 8-bit BGRA 10-bit RGB 12-bit RGB 12-bit RGBLE 10-bit RGBXLE 10-bit RGBX
1080i59.94 1920 x 1080 29.97 FPS 8-bit YUV 10-bit YUV 8-bit ARGB 8-bit BGRA 10-bit RGB 12-bit RGB 12-bit RGBLE 10-bit RGBXLE 10-bit RGBX
1080i60 1920 x 1080 30 FPS 8-bit YUV 10-bit YUV 8-bit ARGB 8-bit BGRA 10-bit RGB 12-bit RGB 12-bit RGBLE 10-bit RGBXLE 10-bit RGBX
720p50 1280 x 720 50 FPS 8-bit YUV 10-bit YUV 8-bit ARGB 8-bit BGRA 10-bit RGB ------ ------ 10-bit RGBXLE 10-bit RGBX
720p59.94 1280 x 720 59.9401 FPS 8-bit YUV 10-bit YUV 8-bit ARGB 8-bit BGRA 10-bit RGB ------ ------ 10-bit RGBXLE 10-bit RGBX
720p60 1280 x 720 60 FPS 8-bit YUV 10-bit YUV 8-bit ARGB 8-bit BGRA 10-bit RGB ------ ------ 10-bit RGBXLE 10-bit RGBX
2K DCI 23.98p 2048 x 1080 23.976 FPS 8-bit YUV 10-bit YUV 8-bit ARGB 8-bit BGRA 10-bit RGB 12-bit RGB 12-bit RGBLE 10-bit RGBXLE 10-bit RGBX
2K DCI 24p 2048 x 1080 24 FPS 8-bit YUV 10-bit YUV 8-bit ARGB 8-bit BGRA 10-bit RGB 12-bit RGB 12-bit RGBLE 10-bit RGBXLE 10-bit RGBX
4K DCI 23.98p 4096 x 2160 23.976 FPS 8-bit YUV 10-bit YUV 8-bit ARGB 8-bit BGRA 10-bit RGB 12-bit RGB 12-bit RGBLE 10-bit RGBXLE 10-bit RGBX

HDMI
HDMI PCIe
PCIe
internet
カメラ２
カメラ１
 カメラ→キャプチャーボード→配信ソフトウェアで映像が認識できることを確認

HDMI
HDMI PCIe
PCIe
PCIe
GPU
カメラ２
カメラ１
 キャプチャーボードのSDKを使用してOpenGLで映像を表示

 キャプチャーボードのSDKを使用してOpenGLで映像を表示
20FPS 30FPS
GeForce GTX960 Quadro P5000
いきなり落とし穴があります

NVIDIA GPU Direct for Video
NVIDA “NVIDIA GPU Direct for Video”. https://developer.nvidia.com/gpudirectforvideo#Developer (accessed 2017-08-19)

 NVIDIA GPU Direct for VideoをサポートするGPU
NVIDA “NVIDIA GPU Direct for Video”. https://developer.nvidia.com/gpudirectforvideo#Developer (accessed 2017-08-19)

 NVIDI GPU Direct for Videoをサポートするキャプチャーボード
OpenGL DIRECTX CUDA
AJA ◯ ◯
Blackmagic Design ◯ △
Bit flow ◯
Deltacast ◯
Delta Path ◯
DVS ◯
Matrox Active ◯ ◯ ◯
*自己調査

ピクセルフォーマット
 キャプチャーボードのSDKを経由して得られるピクセルは圧縮がかかった状態
引用：Blackmagic Decklink SDK.pdf P361

GPUに来たらShaderでYUV422を解凍する
 該当部分のGLSL Shaderコード
float Y, Cb, Cr, r, g, b;
int true_width = textureSize(sampler, 0).x * 2;
if (fract(floor(texcoord.x * true_width + 0.5) / 2.0) > 0.0)
Y = texture2D(sampler, texcoord).a; // odd:Y1
else
Y = texture2D(sampler, texcoord).g; // even:Y0
Cb = texture2D(sampler, texcoord).b;
Cr = texture2D(sampler, texcoord).r;
// Y: Re-scaling [16..235] to [0..1] range
// C: Re-scaling [16..240] to [-0.5 .. + 0.5] range
Y = (Y * 256.0 - 16.0) / 219.0;
Cb = (Cb * 256.0 - 16.0) / 224.0 - 0.5;
Cr = (Cr * 256.0 - 16.0) / 224.0 - 0.5;
// Convert to RGB using Rec.709 conversion matrix (see eq 26.7 in Poynton 2003)
r = Y + 1.5748 * Cr;
g = Y - 0.1873 * Cb - 0.4681 * Cr;
b = Y + 1.8556 * Cb;
return vec3(r, g, b);
参考：Rec.709：https://en.wikipedia.org/wiki/Rec._709

GL_NEAREST GL_LINEAR
Texture filterはポイントサンプリングを使う

まとめ：システムの実装：①カメラ→キャプチャーボード→GPU
 円周魚眼レンズで重要なこと、視野角、射影方式
 カメラで重要なこと、解像度、フレームレート、ピクセルフォーマット
 キャプチャーボード→PCIe→GPUの転送速度に注意して選定する
 圧縮されたテクスチャーのTexture filterはポイントサンプリングを使う

②GPU内部の処理
HDMI
HDMI PCIe
PCIe
PCIe
internet
PCIe
GPU
PC
カメラ２
カメラ１ HDMI

映像の流れ（登り）：カメラ→PC→インターネット→メディアサーバー
円周魚眼レンズの生の映像
internetPC Equirectangular Top & Bottom
Equirectangular Side by Side

映像の流れ（下り）：メディアサーバー→インターネット→クライアント
internet client
左目用の球右目用の球
Equirectangular Top & Bottom
Equirectangular Side by Side

魚眼レンズの射影
O
0°
結像面
10°
20°
30°
50°
60°
70°
80°
10°
20°
30°
50°
60°
70°
80°
像高：y＝ｆ（θ）
レンズを通した映像真横から見た図
地平線
空
渋谷の街
窓枠

魚眼レンズの射影方式
51
引用：http://fit-movingeye.jp/products/optics/consumer_optics/fi_series/fi_02.html

例：KODAK SP360 4K
 視野角： 206（EISあり）、235（EISなし）
 射影方式：立体射影
• 像高＝結像面でのレンズ中心からの（物理的な）距離
52
y = 2 f tan
q
2
（f：焦点距離）

映像（テクスチャー）の中の像高
ただし、我々が欲しいのは物理的
な像高ではなく、映像（テクス
チャー）の中心からのテクス
チャー座標における像高。つまり、
2f = 0.5 / tan( 103 / 2 )
とする
103°
1.0
0.5
y = 2 f tan
q
2
1.0

半球に視野角180度の情報を描いてゆく
y = 0.5 / tan( 103 / 2 ) tan
q
2
1.0
1.0
y
θ
正面からθ度に描くべきピクセルがテクスチャーのどこに
あるかわかるので、映像に歪みなく半球が描ける
上から見た図：

球のレンダリング
55
 該当部分のGLSL Shaderコード
float fTh = v_texcoord0.y * M_PI;
float fDe = v_texcoord0.x * 2.0 * M_PI;
float fR = sin( fTh );
vec3 vN;
vN.x = fR * sin( fDe );
vN.y = cos( fTh );
vN.z = fR * cos( fDe );
vec4 vN4 = u_mIT0 * vec4( vN, 1.0 );
vN = normalize( vN4.xyz );
// -Z -X to +X
float th2 = acos( vN.z );
vec3 vN0xy = vec3( vN.x, vN.y, 0.0 );
float lN0xy = length( vN0xy );
float ph2 = acos( vN.x / lN0xy );
if ( vN.y < 0.0 )
ph2 = 2.0 * M_PI - ph2;
float r_uv = u_fK * CAMERA_FUNC( ( M_PI - th2 )/CAMERA_FUNC_2 );
vec2 uv;
uv.x = 0.5 + r_uv / u_fAspctRatio * cos( -ph2 );
uv.y = 0.5 + r_uv * sin( -ph2 );
vec3 vRGB = texture2D( UYVYtex0, uv ).rgb;

Equirectangular 180度 Side by Side
 球を長方形に展開する（参考：P8, 9, 10）
 左右のレンズに対して同様の作業を行い、並べる

Equirectangular 180度 Side by Side

光軸のズレの対処
 実際のカメラはマウントのわずかな
ズレなどにより平行に正面を向いて
いるとは限らない
 映像がズレた状態のまま処理をされ
ないように、ソフトウェアで修正す
る
ズレをTexture Matrixで吸収

DEMO：光軸の調整
実機デモ

DEMO：光軸の調整
レンズ１緑、レンズ２赤で重ね合わせ、主に垂直方向のズレを修正するTexture Matrixを生成。

まとめ：システムの実装：②GPU内部の処理
 視野角、射影方式から計算して球にマッピングする。
 その球を展開してEquirectangularにする。
 光軸のズレはTexture matrixで修正する。

③GPU→キャプチャーボード
HDMI
HDMI PCIe
PCIe
PCIe
internet
PCIe
GPU
PC
カメラ２
カメラ１ HDMI

PCI-Express

PCI-Express
HDMI
HDMI PCIe
PCIe
PCIe
PCIe
GPU
カメラ２
カメラ１ HDMI
2160p30fps(YUV422)：3840x2160x2x30 ≒ 0.5 (GB/s)
0.5(GB/s)
0.5(GB/s)
0.5(GB/s)
1.0(GB/s)
0.5(GB/s)
PCIe Gen1.1 x4
2.0(GB/s)/1.0(GB/s)
PCIe Gen1.1 x4
2.0(GB/s)/1.0(GB/s)
0.5(GB/s) PCIe Gen1.1 x4
2.0(GB/s)/1.0(GB/s)
PCIe Gen3 x16
64.0(GB/s)/32.0(GB/s)
キャパシティ実際

【脱線】動画の場合の２台のカメラの映像の同期
 GenLock同期をせずに動画撮影している場合、ある程度時間が経過すると２台
のカメラの速度の差が蓄積するため、タイムラインが微妙にズレる。

２台のカメラの映像の同期
 キャプチャーボードSDKのコールバック関数
⁃ HRESULT PlayoutDelegate::ScheduledFrameCompleted
(IDeckLinkVideoFrame* completedFrame,
BMDOutputFrameCompletionResult result)
ライブ配信の場合、同期を取らなくても誤差は蓄積しない

まとめ：システムの実装：③GPU→キャプチャーボード
 PCI-Expressを流れるデータ量を計算し、マザーボードのPCI-Expressの仕様と
照らし合わせ、キャパシティ内であることを確認する。
 PCI-ExpressはFull duplexである。
 ライブ配信の場合、複数台あるカメラの誤差はそれぞれ蓄積しないため、カメラ
同士互いに同期を取らなくても大丈夫。OpenGLのレンダリングとそれぞれのカ
メラだけ同期させておく。

④キャプチャーボード→キャプチャーボード
HDMI
HDMI PCIe
PCIe
PCIe
internet
PCIe
GPU
PC
カメラ２
カメラ１ HDMI

データの流れ：PC内部
HDMI
HDMI PCIe
PCIe
PCIe
internet
PCIe
GPU
PC
カメラ２
カメラ１ HDMI

配信ソフトウェアによるキャプチャーボードの認識
 OBSなどの配信ソフトウェアは、キャプチャーボードのOutputからのストリー
ミングを認識しない。このため、次のどちらかを行う
⁃ PCのアプリがエンコードしてRTMPで話す
⁃ もう１枚キャプチャーボードを用意して、PCのアプリのOutputのストリー
ミングをInputへパススルーする
70

実際のPCの背面
HDMI
input
output

実際の配信ソフトウェアOBSの画面
 3枚目のキャプチャーボードの映像を
認識

今の話はPCを2台に分けると理解しやすい
HDMI
HDMI PCIe
PCIe
internet
PCIe
GPU
カメラシステム用PC
カメラ２
カメラ１
HDMI
外付け
キャプチャー
USB3.0
配信用PC
これ全体がカメラと思えば…

まとめ：システムの実装：④キャプチャーボード→キャプチャーボード
 Output用にキャプチャーボードをもう一枚使うか自分でエンコードする。
 配信ソフトウェアを使う場合は、Output用のキャプチャーボードの方で。

チート

上：これまで説明した方法下：レンズの映像をそのまま送る
76
PC
HDMI
HDMI
カメラ１
カメラ２ Media server
internet internet
PC
HDMI
HDMI
カメラ１
カメラ２ Media server
internet internet

レンズの映像をそのまま送る
Pro
 PCのGPUが要らなくなる
 PCのキャプチャーボードが１枚要らなく
なる
 コスト安い
Con
 光軸のズレが修正できない
 カメラの種類ごとにアプリ側でレンズの
計算ロジックを変更する必要がある
 コンテンツがプラットホーム依存になる

レンズの映像をそのまま送る：CEDiLに詳細な資料があります
 CEDEC 2016：360度動画の基礎知識：魚眼レンズの歪曲補正とリアルタイム・
イメージ・スティッチングについて
⁃ http://cedil.cesa.or.jp/cedil_sessions/view/1525

運用

SHOWROOM VRで使うVRカメラは？
数万円
数百万円
SHOWROOMはこっち寄り
個人がVRライブ配信をすることを考慮し、エントリーレベルを意識

SHOWROM VR 使用カメラ（360度2D）：RICOH Theta S

SHOWROM VR 使用カメラ（360度2D）：GoPro Hero 4 Black + Entaniya
Fisheye M12 280

SHOWROM VR 使用カメラ（180度3D）：KODAK SP360 4K

グラビア：目線合わせ１分
ミスFLASH2017

SHOWROM VR 使用カメラ（360度3D）：Insta360 Pro

SHOWROOMスタジオの構図と視聴環境
梅酒の休肝日 2017/8/25

同じコンテンツをSHOWROOM VRで見た状態

今後
 机が広いスタジオ、外部ロケ
⁃ Insta360 Pro
 グラビア
⁃ KODAK SP360 4K Stereo
 その他
⁃ GoPro Hero 4 Black + Entaniya Fisheye M12 280
⁃ RICOH Theta S

ありがとうございました

謝辞
 忍頂寺毅（知財）
 米山輝ー（ミスFLASH2017番組プロデューサー）
 ミスFLASH2017

CEDEC2017 VR180 3D live streaming camera at "SHOWROOM" case

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à CEDEC2017 VR180 3D live streaming camera at "SHOWROOM" case

Similaire à CEDEC2017 VR180 3D live streaming camera at "SHOWROOM" case (20)

CEDEC2017 VR180 3D live streaming camera at "SHOWROOM" case

Notes de l'éditeur