More Related Content Similar to DeNA TechCon2019 How to implement live streaming client using Unity (20) DeNA TechCon2019 How to implement live streaming client using Unity2. #denatechcon
資料掲載にあたっての変更点
• P11, P12, P15, P19, P20, P21, P25, P35, P68,
P70, P71, P78, P80に講演の際の文言を追加
• P82に募集要項を追加
4. #denatechcon
自己紹介:小倉豪放 (Takeyuki Ogura)
仕事
• Engineer
• 専門分野:CG、GPU Computing、ゲーム
• プロトタイピング、モデリング、3Dプリンター
• サービス
• カメラフィルター →Comm
• VRライブ配信システム →SHOWROOM VRライブ配信
• 経歴
• SEGA -> Microsoft -> … -> Startup ->DeNA
• 趣味
• 旅行
• 電子工作
5. #denatechcon
Created game titles( support / prototyping 含まない )
• Aqua Forest(iOS)
• PHYZIOS Studio(iOS, PC)
• PHYZIOS Sculptor(iOS)
• Rendering、UI
• Ninety Nine Nights(Xbox360)
• Optimization
• Shenmue Ⅰ (Dream Cast)
• Shenmue Ⅱ (Dream Cast)
• Motion library
• Rendering library
• Effects
• Sonic the Fighters (Arcade)
• Real-time character morphing
• Virtua Cop 2 (Arcade、Saturn)
• Breakable obstacles
• Physics engine
• Virtua Fighter 4 (Arcade)
• 3D character motion library
• Rendering effects
• Virtua Fighter 2 (Arcade)
• User interface / advertizing
Credit Name as
Takeyuki Ogura and
Goho Ogura
23. #denatechcon
Unityの豊富なAssetが使える:69,271点(2019/2/1)
Characters Animals Creatures Humanoids Robots Environments Dungeons Fantasy Historic Industrial Landscapes Roadways Sci-Fi Urban
Props
Clothing Electronics Exterior Food Furniture Guns Industrial Interior Tools Weapons Vegetation Flowers Plants SpeedTree Trees Vehicles Air
Land
Sea Space
3D
Characters Environments Fonts GUI Icons Textures&Materials Abstract Brick Building Concrete Fabric Floors Food Glass Metals Roads Sky
Stone
Water Wood
2D
Applications Machine Learning Services Analytics Billing
Add-Ons
Audio
Ambient Fantasy Nature Noise Sci-Fi Urban Music Electronic Orchestral Pop Rock World Sound FX Animals Creatures Foley Transportation
Voices
Weapons
Templates
Packs Systems Tutorials
Tools
AI Animation Audio Camera GUI Input Management Integration Level Design Localization Modeling Network Painting Particles&Effects Physics
Sprite Management Terrain Utilities Version Control Video Visual Scripting
VFX
Particles Environment Fire&Explosions Spells Shaders DirectX11 Fullscreen&Camera Effects Substances
引用:
https://assetstore.unity.com
37. #denatechcon
Unity - Low-level Native Plugin Interface
引用:https://docs.unity3d.com/ja/current/Manual/NativePluginInterface.html
〜中略〜
参考:https://bitbucket.org/Unity-
Technologies/graphicsdemos
53. #denatechcon
Unity - Native Audio Plugin SDK
参考:
https://docs.unity3d.com/ja/current/Manual/AudioMixerNativeAudioPlugin.html
参考:https://bitbucket.org/Unity-
Technologies/nativeaudioplugins
Unity
Native
Audio
Plugin SDK
float[]
float[]
inbuffe
r
outbuffe
r ProcessCallback()
source mixer
listene
r
Audio Mixerを通っているため、Unity内でイフェクトがかけられた音声
を取り出すこと、もしくはNativeでイフェクトをかけることが可能
UIなどの値
71. #denatechcon
NPU
• NVIDIA DLA
• Google Edge TPU
• Apple Neural Engine
• ARM ML
ハードウェアによるインファレンス側の強化
NVIDIA, Googleは目下IoT、自動車用途
Neural Engineは既にiPhone Xで使用されている
ARMも参入
Editor's Notes エンジニアの小倉と申します。
サービスから少し離れたところで
プロトを作ったり、何かを調査するといった仕事をしております。
コード書く以外に、3Dモデリング、3Dプリントしたり、モーションキャプチャー、VRカメラの撮影、など
〜のデータがないと先に進みませんの〜に該当する部分は、ほぼ一人でやると言った感じで
具体的なサービスとして表に出ることは少ないのですが、プロジェクトにかかりっきりになるような時があり、
SHOWROOMでVRでライブ配信(実写の方)などを
すごい昔になりますが、カメラフィルターなど
それ以前の仕事も実は、
プロダクト、サービスをつくるよりも、プロト、先行開発をキャリアとしてきました
あたらしいゲームハードが出る時はハードウェアそれそのものもプロトのときから触るようなこと
ライブラリ整備、ハードの限界性能を試す、そういうことが多かった
…
.
プロトタイプばかり制作しているが、制作もやっていて、制作したものがこれら。
23年ぐらい
うち半分がアーケード、ゲームコンソール
もう半分がスタートアップ、DeNA
CEDECというコンピューターエンターテイメントのカンファレンスの運営委員
Computer Entertainment Developers Conferenceの略
大小200のカンファレンス
展示
交流会
写真はポケモンGoのNianticの開発者、川島さん野田さん
毎年、現地に6000人以上参加
2017からオンライン講演枠により、2000人上乗せ
年々参加者が増加
GDCの1/3
参加者内訳
左にグラフ:
エンジニアが多いがエンジニアだけではない
アーティスト、プランナ、学生、ディレクタと続く
そもそも、ゲーム、エンターテインメント産業は、人種のるつぼ、
プログラム書く人、絵を描く人、企画作る人、作曲する人、など普通はこんな近くで一緒に仕事しない
それが起きるのがゲーム、エンターテインメント産業
職種に縛られずいろんな職種の講演を聴いているのがわかる
ダイバージェンスがある、そしてCEDECは国内最大規模である(世界最大はGDC25000人)
右のグラフ:
20年の歴史があるが、別にコンソールの古い人が来る場所ではない
主流は30代、20代、いまだと30代が減って10代が増える傾向にある
2019年は9/14日-16日までの3日間
募集期間:2019年2月1日(金)〜4月1日(月)
ちょうどいま募集中
主催はCESA
経産省系列の社団法人
CESAは他にもTGS、ゲーム白書など
なんでこんな話を先にするかというと
自分の講演はだいたい、30%、よくて半分ぐらいしかわからない、あるいは興味ない、と言われる
→だから先にしておきます
ライブサービスやると、単純にユーザーと言葉が使えない
https://support.google.com/youtube/contact/brand_request?hl=en
録画しますというのはある程度
①②③それぞれ興味をもつ人が違うものなので、違和感を強く感じると思う
→それが普通
①プランナー、プロデューサー
②エンジニア、アーティスト
③インベスター
半分興味あるが後は興味なし
どういうことかというと、 ①②③それぞれ興味をもつ人が違うものなので、違和感を強く感じると思う
→それが普通
①プランナー、プロデューサー
②エンジニア、アーティスト
③インベスター
半分興味あるが後は興味なし
どういうことかというと、 どうゆうユーザー体験に結びつくの?
提案ベースです
すでにやっていること、足らない部分
今後の提案
https://www.emstudio.jp/use/ レンダリングパワー食います https://qr.quel.jp/form_bsc_url.php 雑にタグだけ持ってきた どうゆうユーザー体験に結びつくの?
提案ベースです
大前提、配信者のITリテラシーは期待できない
そもそも両者が近かったら、ゲームエンジンでライブ配信という話がもっと早く出ていた
ゲーム実況やってる人ではないと思うけれど、
Vtuberはある程度こういう機材を持ってる人だけで進められたため、供給過剰になったのでは?
配信者 機材使い 違う
→配信者が自然に(自分のも追っている機材、お金ではない動機)
これが鍵を握る
5Gの恩恵はこちらの方が受けられる
配信者に依存する配信者の取り合い→事務所依存
書かないけど言っとこうと思うこと=資金決済法
事務所通さないといけないBtoB、
どんなに個々の人を支援するというビジョンをもっても中間搾取をされる。また、そうされやすい国である
スマホの50%以上
Switchの50%以上
どうゆうユーザー体験に結びつくの?
提案ベースです
それぞれ違う経路からデータを取り出す必要がある
マルプレクサ
コンテナに積む
librtmp(GPL)
マルプレクサ
コンテナに積む
librtmp(GPL)
基本的にネイティブからの入力を前提にしている
ここをネイティブへの出力に使う
プラグインのロード、アンロード、その他どう動かすかというところはbitbucketのコードを参考に
ネイティブOpenGLの方でBindするとこのTextureが使える
iOS5からある
具体的な使い方はいろんなところに出てるのでそこを参考に
これ、コンソールなどをやってる人から見ると
無駄なレンダリング
別にここから取り出せますとは言ってない
けれど、ここからインターセップトします
フローは単純
だけど落とし穴が多い
Best Latency
クオリティ犠牲でもレイテンシ優先 1秒間分
これをやらないと音がならない
モノラル
マルプレクサ
コンテナに積む
librtmp(GPL)
どうゆうユーザー体験に結びつくの?
提案ベースです
5Gはいま急いで進めなくてもいいんじゃないかという
インフラ投資が多くなる
→進める必要はないが、議論や実験はたくさんした方がいい
自分は中をよく開けます
モジュール1つ1つはそれこそ数百円というレベル
スマートフォンから映像をストリーミングするという点において影響ありそうなところを紹介
インカメラは生活くさい
アウトカメラは普通のデジタルカメラのような進化をしている
わざわざTrueDepthというのには理由がある
上2つは大きいので、IoT向け 主に車
下2つはモバイル向け
Neural Engineについてはあまり資料が出ていない「
通信速度
4G 1Gbps
5G 10Gbps~20Gbps程度
20倍以上
それに合わせ、通信容量も改善される。それは4Gと比較した場合、1000倍程度に引き上げることが目指されている。
遅延
4G 数十ミリ秒程度
5G 1ミリ秒以下
自動運転:100km
4G 危険察知→ブレーキ1.4m
5G 2.8cm
遠隔手術
金は広く浅く徴収される
ドコモ、レンタサイクルなど
まさにIoT
低遅延=レスポンスは地味に需要 ダイポール
やり型
eLTE 6G
28G 1.8
200mw
個人出力
2.4
28
1周波数が下がる
基地局のアンテナ20-30倍増やす
周波数が高い→光に近い性質→直進
周波数高い、回折(かいせつ)しづらい 歩きスマホは人類の黒歴史
カメラ、センサー類が充実
通信環境も充実
あいだにリアルタイム編集があると価値が出ると思うが、そこも強くなるとよい
と思う