Submit Search
Upload
WebRTCを利用した遠隔リアルタイム映像処理フレームワークの実装
•
Download as PPTX, PDF
•
9 likes
•
9,015 views
tnoho
Follow
WebRTCを利用して、Pythonで遠隔画像処理をおこなうことを可能にするフレームワークを開発しました。
Read less
Read more
Engineering
Slideshow view
Report
Share
Slideshow view
Report
Share
1 of 16
Download now
Recommended
ネットワーク ゲームにおけるTCPとUDPの使い分け
ネットワーク ゲームにおけるTCPとUDPの使い分け
モノビット エンジン
オンラインゲームの仕組みと工夫
オンラインゲームの仕組みと工夫
Yuta Imai
目grep入門 +解説
目grep入門 +解説
murachue
実践イカパケット解析
実践イカパケット解析
Yuki Mizuno
インフラエンジニアの綺麗で優しい手順書の書き方
インフラエンジニアの綺麗で優しい手順書の書き方
Shohei Koyama
Unityネットワーク通信の基盤である「RPC」について、意外と知られていないボトルネックと、その対策法
Unityネットワーク通信の基盤である「RPC」について、意外と知られていないボトルネックと、その対策法
モノビット エンジン
40歳過ぎてもエンジニアでいるためにやっていること
40歳過ぎてもエンジニアでいるためにやっていること
onozaty
テスト文字列に「うんこ」と入れるな
テスト文字列に「うんこ」と入れるな
Kentaro Matsui
Recommended
ネットワーク ゲームにおけるTCPとUDPの使い分け
ネットワーク ゲームにおけるTCPとUDPの使い分け
モノビット エンジン
オンラインゲームの仕組みと工夫
オンラインゲームの仕組みと工夫
Yuta Imai
目grep入門 +解説
目grep入門 +解説
murachue
実践イカパケット解析
実践イカパケット解析
Yuki Mizuno
インフラエンジニアの綺麗で優しい手順書の書き方
インフラエンジニアの綺麗で優しい手順書の書き方
Shohei Koyama
Unityネットワーク通信の基盤である「RPC」について、意外と知られていないボトルネックと、その対策法
Unityネットワーク通信の基盤である「RPC」について、意外と知られていないボトルネックと、その対策法
モノビット エンジン
40歳過ぎてもエンジニアでいるためにやっていること
40歳過ぎてもエンジニアでいるためにやっていること
onozaty
テスト文字列に「うんこ」と入れるな
テスト文字列に「うんこ」と入れるな
Kentaro Matsui
チャットコミュニケーションの問題と心理的安全性の課題 #EOF2019
チャットコミュニケーションの問題と心理的安全性の課題 #EOF2019
Tokoroten Nakayama
「黒騎士と白の魔王」gRPCによるHTTP/2 - API, Streamingの実践
「黒騎士と白の魔王」gRPCによるHTTP/2 - API, Streamingの実践
Yoshifumi Kawai
MRU : Monobit Reliable UDP ~5G世代のモバイルゲームに最適な通信プロトコルを目指して~
MRU : Monobit Reliable UDP ~5G世代のモバイルゲームに最適な通信プロトコルを目指して~
モノビット エンジン
エンジニアの個人ブランディングと技術組織
エンジニアの個人ブランディングと技術組織
Takafumi ONAKA
アプリ起動時間高速化 ~推測するな、計測せよ~
アプリ起動時間高速化 ~推測するな、計測せよ~
gree_tech
FINAL FANTASY XVにおけるPhoton利用事例 - Photon運営事務局 GTMF 2018 OSAKA / TOKYO
FINAL FANTASY XVにおけるPhoton利用事例 - Photon運営事務局 GTMF 2018 OSAKA / TOKYO
Game Tools & Middleware Forum
xrmtg20210317
xrmtg20210317
takehitoyoshiki
WebSocket / WebRTCの技術紹介
WebSocket / WebRTCの技術紹介
Yasuhiro Mawarimichi
分散システムについて語らせてくれ
分散システムについて語らせてくれ
Kumazaki Hiroki
【Unite Tokyo 2018】さては非同期だなオメー!async/await完全に理解しよう
【Unite Tokyo 2018】さては非同期だなオメー!async/await完全に理解しよう
Unity Technologies Japan K.K.
【Unite Tokyo 2019】Unityだったら簡単!マルチプレイ用ゲームサーバ開発 ~実践編~
【Unite Tokyo 2019】Unityだったら簡単!マルチプレイ用ゲームサーバ開発 ~実践編~
UnityTechnologiesJapan002
MagicOnion入門
MagicOnion入門
torisoup
WebRTCの技術解説 公開版
WebRTCの技術解説 公開版
Contest Ntt-west
新入社員のための大規模ゲーム開発入門 サーバサイド編
新入社員のための大規模ゲーム開発入門 サーバサイド編
infinite_loop
マイクロサービスにおける非同期アーキテクチャ
マイクロサービスにおける非同期アーキテクチャ
ota42y
本当は恐ろしい分散システムの話
本当は恐ろしい分散システムの話
Kumazaki Hiroki
入門!Jenkins
入門!Jenkins
Shuntaro Saiba
Unityで始めるバージョン管理 Git LFS 入門編
Unityで始めるバージョン管理 Git LFS 入門編
NAKAOKU Takahiro
Redisの特徴と活用方法について
Redisの特徴と活用方法について
Yuji Otani
フロー効率性とリソース効率性について #xpjug
フロー効率性とリソース効率性について #xpjug
Itsuki Kuroda
SFUの話
SFUの話
tnoho
WebRTCとSFU
WebRTCとSFU
Saki Homma
More Related Content
What's hot
チャットコミュニケーションの問題と心理的安全性の課題 #EOF2019
チャットコミュニケーションの問題と心理的安全性の課題 #EOF2019
Tokoroten Nakayama
「黒騎士と白の魔王」gRPCによるHTTP/2 - API, Streamingの実践
「黒騎士と白の魔王」gRPCによるHTTP/2 - API, Streamingの実践
Yoshifumi Kawai
MRU : Monobit Reliable UDP ~5G世代のモバイルゲームに最適な通信プロトコルを目指して~
MRU : Monobit Reliable UDP ~5G世代のモバイルゲームに最適な通信プロトコルを目指して~
モノビット エンジン
エンジニアの個人ブランディングと技術組織
エンジニアの個人ブランディングと技術組織
Takafumi ONAKA
アプリ起動時間高速化 ~推測するな、計測せよ~
アプリ起動時間高速化 ~推測するな、計測せよ~
gree_tech
FINAL FANTASY XVにおけるPhoton利用事例 - Photon運営事務局 GTMF 2018 OSAKA / TOKYO
FINAL FANTASY XVにおけるPhoton利用事例 - Photon運営事務局 GTMF 2018 OSAKA / TOKYO
Game Tools & Middleware Forum
xrmtg20210317
xrmtg20210317
takehitoyoshiki
WebSocket / WebRTCの技術紹介
WebSocket / WebRTCの技術紹介
Yasuhiro Mawarimichi
分散システムについて語らせてくれ
分散システムについて語らせてくれ
Kumazaki Hiroki
【Unite Tokyo 2018】さては非同期だなオメー!async/await完全に理解しよう
【Unite Tokyo 2018】さては非同期だなオメー!async/await完全に理解しよう
Unity Technologies Japan K.K.
【Unite Tokyo 2019】Unityだったら簡単!マルチプレイ用ゲームサーバ開発 ~実践編~
【Unite Tokyo 2019】Unityだったら簡単!マルチプレイ用ゲームサーバ開発 ~実践編~
UnityTechnologiesJapan002
MagicOnion入門
MagicOnion入門
torisoup
WebRTCの技術解説 公開版
WebRTCの技術解説 公開版
Contest Ntt-west
新入社員のための大規模ゲーム開発入門 サーバサイド編
新入社員のための大規模ゲーム開発入門 サーバサイド編
infinite_loop
マイクロサービスにおける非同期アーキテクチャ
マイクロサービスにおける非同期アーキテクチャ
ota42y
本当は恐ろしい分散システムの話
本当は恐ろしい分散システムの話
Kumazaki Hiroki
入門!Jenkins
入門!Jenkins
Shuntaro Saiba
Unityで始めるバージョン管理 Git LFS 入門編
Unityで始めるバージョン管理 Git LFS 入門編
NAKAOKU Takahiro
Redisの特徴と活用方法について
Redisの特徴と活用方法について
Yuji Otani
フロー効率性とリソース効率性について #xpjug
フロー効率性とリソース効率性について #xpjug
Itsuki Kuroda
What's hot
(20)
チャットコミュニケーションの問題と心理的安全性の課題 #EOF2019
チャットコミュニケーションの問題と心理的安全性の課題 #EOF2019
「黒騎士と白の魔王」gRPCによるHTTP/2 - API, Streamingの実践
「黒騎士と白の魔王」gRPCによるHTTP/2 - API, Streamingの実践
MRU : Monobit Reliable UDP ~5G世代のモバイルゲームに最適な通信プロトコルを目指して~
MRU : Monobit Reliable UDP ~5G世代のモバイルゲームに最適な通信プロトコルを目指して~
エンジニアの個人ブランディングと技術組織
エンジニアの個人ブランディングと技術組織
アプリ起動時間高速化 ~推測するな、計測せよ~
アプリ起動時間高速化 ~推測するな、計測せよ~
FINAL FANTASY XVにおけるPhoton利用事例 - Photon運営事務局 GTMF 2018 OSAKA / TOKYO
FINAL FANTASY XVにおけるPhoton利用事例 - Photon運営事務局 GTMF 2018 OSAKA / TOKYO
xrmtg20210317
xrmtg20210317
WebSocket / WebRTCの技術紹介
WebSocket / WebRTCの技術紹介
分散システムについて語らせてくれ
分散システムについて語らせてくれ
【Unite Tokyo 2018】さては非同期だなオメー!async/await完全に理解しよう
【Unite Tokyo 2018】さては非同期だなオメー!async/await完全に理解しよう
【Unite Tokyo 2019】Unityだったら簡単!マルチプレイ用ゲームサーバ開発 ~実践編~
【Unite Tokyo 2019】Unityだったら簡単!マルチプレイ用ゲームサーバ開発 ~実践編~
MagicOnion入門
MagicOnion入門
WebRTCの技術解説 公開版
WebRTCの技術解説 公開版
新入社員のための大規模ゲーム開発入門 サーバサイド編
新入社員のための大規模ゲーム開発入門 サーバサイド編
マイクロサービスにおける非同期アーキテクチャ
マイクロサービスにおける非同期アーキテクチャ
本当は恐ろしい分散システムの話
本当は恐ろしい分散システムの話
入門!Jenkins
入門!Jenkins
Unityで始めるバージョン管理 Git LFS 入門編
Unityで始めるバージョン管理 Git LFS 入門編
Redisの特徴と活用方法について
Redisの特徴と活用方法について
フロー効率性とリソース効率性について #xpjug
フロー効率性とリソース効率性について #xpjug
Similar to WebRTCを利用した遠隔リアルタイム映像処理フレームワークの実装
SFUの話
SFUの話
tnoho
WebRTCとSFU
WebRTCとSFU
Saki Homma
Tizen web app について調べたよ
Tizen web app について調べたよ
Naruto TAKAHASHI
Webページが表示されるまで
Webページが表示されるまで
Masataka Suzuki
Windows Windows上に作るチーム開発環境
Windows Windows上に作るチーム開発環境
Tadahiro Ishisaka
AI分野におけるコンテナオーケストレーションとは
AI分野におけるコンテナオーケストレーションとは
Tetsurou Yano
タクシードライブレコーダーの動画処理MLパイプラインにkubernetesを使ってみた
タクシードライブレコーダーの動画処理MLパイプラインにkubernetesを使ってみた
Tetsutaro Watanabe
実践 WebRTC 〜最新事例と開発ノウハウの紹介〜
実践 WebRTC 〜最新事例と開発ノウハウの紹介〜
Yusuke Naka
HTML5によるリアルタイムコミュニケーション WebRTCの概説
HTML5によるリアルタイムコミュニケーション WebRTCの概説
You_Kinjoh
NIFcLab Tech Laboratoryはじめます(もうすぐ)
NIFcLab Tech Laboratoryはじめます(もうすぐ)
富士通クラウドテクノロジーズ株式会社
Storm×couchbase serverで作るリアルタイム解析基盤
Storm×couchbase serverで作るリアルタイム解析基盤
NTT Communications Technology Development
PreadNet
PreadNet
Junya Kuwada
コンテナ技術と普及がシステム・インテグレータに与える影響
コンテナ技術と普及がシステム・インテグレータに与える影響
Masahito Zembutsu
My portfolio
My portfolio
ssuserc2210b
201110 01 Polytech Center 1
201110 01 Polytech Center 1
openrtm
5分で分るWebRTCコーデックウォーズ
5分で分るWebRTCコーデックウォーズ
Yusuke Naka
「自動化...か、かっこいいタル」(憧れ)から始める自動化
「自動化...か、かっこいいタル」(憧れ)から始める自動化
Hirokazu Kutsu
WebRTCについて
WebRTCについて
BeMarble
Mithril
Mithril
Yoshiki Shibukawa
Infocom webrtc conference japan
Infocom webrtc conference japan
mganeko
Similar to WebRTCを利用した遠隔リアルタイム映像処理フレームワークの実装
(20)
SFUの話
SFUの話
WebRTCとSFU
WebRTCとSFU
Tizen web app について調べたよ
Tizen web app について調べたよ
Webページが表示されるまで
Webページが表示されるまで
Windows Windows上に作るチーム開発環境
Windows Windows上に作るチーム開発環境
AI分野におけるコンテナオーケストレーションとは
AI分野におけるコンテナオーケストレーションとは
タクシードライブレコーダーの動画処理MLパイプラインにkubernetesを使ってみた
タクシードライブレコーダーの動画処理MLパイプラインにkubernetesを使ってみた
実践 WebRTC 〜最新事例と開発ノウハウの紹介〜
実践 WebRTC 〜最新事例と開発ノウハウの紹介〜
HTML5によるリアルタイムコミュニケーション WebRTCの概説
HTML5によるリアルタイムコミュニケーション WebRTCの概説
NIFcLab Tech Laboratoryはじめます(もうすぐ)
NIFcLab Tech Laboratoryはじめます(もうすぐ)
Storm×couchbase serverで作るリアルタイム解析基盤
Storm×couchbase serverで作るリアルタイム解析基盤
PreadNet
PreadNet
コンテナ技術と普及がシステム・インテグレータに与える影響
コンテナ技術と普及がシステム・インテグレータに与える影響
My portfolio
My portfolio
201110 01 Polytech Center 1
201110 01 Polytech Center 1
5分で分るWebRTCコーデックウォーズ
5分で分るWebRTCコーデックウォーズ
「自動化...か、かっこいいタル」(憧れ)から始める自動化
「自動化...か、かっこいいタル」(憧れ)から始める自動化
WebRTCについて
WebRTCについて
Mithril
Mithril
Infocom webrtc conference japan
Infocom webrtc conference japan
More from tnoho
WebRTC と Native とそれから、それから。
WebRTC と Native とそれから、それから。
tnoho
WebRTC配信とハードウェアエンコーダ
WebRTC配信とハードウェアエンコーダ
tnoho
IoTをインターネット越しで見る
IoTをインターネット越しで見る
tnoho
Jitsi video bridge で遊んでみた
Jitsi video bridge で遊んでみた
tnoho
スマートフォン電子回路をつなごう
スマートフォン電子回路をつなごう
tnoho
mbedを用いたラピッドプロトタイピングのススメ
mbedを用いたラピッドプロトタイピングのススメ
tnoho
More from tnoho
(6)
WebRTC と Native とそれから、それから。
WebRTC と Native とそれから、それから。
WebRTC配信とハードウェアエンコーダ
WebRTC配信とハードウェアエンコーダ
IoTをインターネット越しで見る
IoTをインターネット越しで見る
Jitsi video bridge で遊んでみた
Jitsi video bridge で遊んでみた
スマートフォン電子回路をつなごう
スマートフォン電子回路をつなごう
mbedを用いたラピッドプロトタイピングのススメ
mbedを用いたラピッドプロトタイピングのススメ
WebRTCを利用した遠隔リアルタイム映像処理フレームワークの実装
1.
WebRTCを利用した 遠隔リアルタイム映像処理 フレームワークの実装 @tnoho
2.
自己紹介 @tnoho 通信屋で働くサラリーマン プログラミングと電子工作が趣味
WebRTC界隈の勉強会によくいます 今回は表記のものを開発したので、参加させて頂きました。
3.
深層学習のリアルタイム処理 Real-Time とか
Fast とか書いて、fpsが併記されていたりする 速度を気にする人は当然のごとく TITAN X で検証している 動くのを見ているとカメラを繋いで遊びたくなってくる
4.
カメラと繋いでリアルタイム処理検証 500W超の電源を持ち運ぶことになる エンジン発電機クラスが最低でも必要 一緒にATXのケースも… プリウスなら1500Wまで行ける!
5.
間口を広げたい 現状においては、ちょっと試すのが難しい 少ない研究者だけで用途を考えている状況 想定された用途と実際の用途は必ずしも一致しない 間口を広げ利用者を増やすのであれば、 最低でもスマートフォンで動いて欲しい!
6.
スマートフォンで動かすには Android, iOS
版の TensorFlow を利用する? ただリアルタイムのパフォーマンスは… スマートフォンではなく、 サーバに処理を任せられないか
7.
WebRTCとは Webブラウザでリアルタイムの映像/音声通信を行える規格 HangoutやSkypeなどでも使われている 特徴 ロイヤリティーフリー プラグインフリー
高速・低レイテンシ NAT越え標準搭載(ルーター設定不要) ほとんどのブラウザーが対応
8.
WebRTCで映像を送って解析する WebRTCを利用すれば、どこにでもあるブラウザから リアルタイムの映像を送ることができる GPUを搭載したサーバ側で、それを解析できるようにすれば、 どこからでも強力なGPUを利用した映像解析が可能になる
9.
デモ
10.
デモの構成 クライアントから送られてきた映像を TITAN X
の載ったデスクトップで YOLO (darknet) を用いて物体検出、結果の枠を合成して返送 WebRTC Client Desktop Computer 物体検出 結果合成 WebRTCModule TensorFlow TITANX WebRTC Internet
11.
pyrtcconductor クライアントと WebRTC 接続を行い、送られてきたフレームを OpenCV
形式で出力するPythonモジュール 機能 映像受信して、OpenCV 形式で出力 Python で加工したフレームを WebRTC で送信 WebRTC の DataChannel を利用したデータ通信 映像の自由なハンドリング
12.
簡単に移植できる 出力されるフレームは OpenCV 形式 imread
や imshow を使っているプログラムなら容易に移植することが可能 グレイスケール化と左右反転なら frame = imread(filename) flipped = cv2.flip(frame, 1) gray = cv2.cvtColor(frame, cv2.COLOR_RGB2GRAY) imshow(gray, gray) def onFrame(frame, timestamp): flipped = cv2.flip(frame, 1) gray = cv2.cvtColor(frame, cv2.COLOR_RGB2GRAY) effectedVideoSink.pushFrame(gray) リアルタイム処理化前 リアルタイム処理化後
13.
簡単に利用できる 煩雑なWebRTCの接続処理は全てモジュール内で実行 ユーザー記述は通常の1/10以下に削減 pyrtcconductor Webブラウザ User Program Javascript SDK Python User Program WebRTC signaling
14.
もっと広く/もっと簡単に pyrtcconductorと必要なサーバをまとめて提供 …
開発中 GitHubアカウントなどで誰でも、無償で、すぐに使えるように OSS化 … 頑張る 法務の壁が…実績がないと… 共同研究という名目での提供 お声がけください!
15.
用途の拡大 スマートフォンやパソコンだけでなく組み込みにも Raspberry
Pi WebRTC Clientの開発 … 開発中 Raspberry Pi Zero で動作 ハードウェア支援機能を利用 省電力化によるロボット、ラジコンの制御 監視カメラ、アクションカメラ、IoTなどへの拡大 1:1だけでなく配信にも WebRTC配信サーバとの接続 … 計画中
16.
EOF いらすとやさんのイラストでお送りしました。
Download now