2017年8月4日 ストリームデータ処理技術勉強会発表資料 株式会社ソラコム　ソリューションアーキテクト　今井 雄太

1. ビッグデータエンジニアのためのIoT入門
Yuta Imai
Solutions Architect, SORACOM, INC.
2017/8/4
〜デバイス、無線からクラウドまで〜

2. •今井雄太（いまいゆうた）
•株式会社ソラコム
•ソリューションアーキテクト
自己紹介

3. IoT?
ネットワーク クラウドモノ

4. 2015年9月30日発表
1日10円〜、モノ向けデータ通信サービス
SORACOM Air

5. SORACOMの仕組み
モノ
暗号化された
携帯無線
全国の
携帯基地局
データセンター
AWS、Azure
インターネット
閉じた
ネットワーク
SORACOM

6. Webから回線管理、速度変更、利用量把握、監視が可能

7. • タグ付けやグルーピング、速度変更や通信量モニタリン
グ。
• モニタリングのうえ、通信量がしきい値を超えたら
AWS Lambdaを発火も可能。
• 更にはSIM購入や契約解除もAPIで実行可能。
• クラウドやデータセンターとの接続ももちろんAPIで実
施可能。
SORACOMはAPIで管理できる回線サービス

8. SORACOMのグローバルなインフラ
120以上の国・地域で利用可能
ライブラリ & SDKs
CLI, Ruby, Swift
Web インターフェース
User Console
データ転送支援
SORACOM
Beam
クラウドアダプタ
SORACOM
Funnel
データ収集・蓄積
SORACOM
Harvest
プライベート接続
SORACOM
Canal
デバイスLAN
SORACOM
Gate
IoT向けデータ通信
SORACOM Air
Cellular (2G, 3G, LTE) / LPWA (LoRaWAN, Sigfox)
専用線接続
SORACOM
Direct
仮想専用線
SORACOM
Door
API
Web API, Sandbox
IoT通信プラットフォーム SORACOM
データ通信
ネットワーク
アプリケーション
インターフェース
認証サービス
SORACOM
Endorse
デバイス管理
SORACOM
Inventory
透過型
トラフィック処理
SORACOM
Junction

9. IoT + ストリーム処理？

10. •遠隔監視
•動態管理
IoTでよくあるアプリケーション

11. お客様事例: 大阪ガス様
ガス・電気のメーターに
外部デバイスを取付、10分毎に
SORACOMでデータ送信、お客
さまに使いすぎ等を通知
（協力パートナー：オージス総研）
ガス・電気の見える化
簡易データ計測サービス
「ekul（イークル）」

12. お客様事例: ローソン様
物流トラックにおける
動態管理
Ｍ２Ｍ通信により、トラックの現在地
の把握。車両に搭載された各センサー
により運転状況をリアルタイム管理
運転状況の可視化を実現し、配送品質
の向上に貢献。

13. IoTにおけるデータ処理
データをあつめる イベントを検出 対処
• センサーからデータ
を読み出す
• デバイスからデータ
をクラウドへ送信
• 生データとして記録
• しきい値オーバーや
外れ値、ある特定の
場所への到着などを
検出。
• イベントの発生を記
録
• アラートやデバイス
へのフィードバック
などを実行。

14. アーキテクチャ全体像はこんな感じ

15. IoT（Internet of Things）
モノ
Funnel
Beam
Stream
Batch
Amazon
Athena
Amazon
S3
AWS
Lambda
Amazon
Redshift
BigQuery
Feedback model
Pipeline
Processing
Time series DB
Machine Learning
Ad-hoc queries
Metrics
Inventory
Feedback
Event
リアルタイムな
イベント検出
ダッシュボード
BI
機械学習
データレイク
Feedback rule
デバイス側での
イベント検出
Google
Cloud Storage

16. だいたいいつも見てるやつですよね？
ラムダアーキテクチャ的な。

17. じゃあ、IoTならではの特異性は？

18. デバイス/ネットワークも
アプリケーションの一部

19. • デバイスそのものや、そのうえで動くプログラム、そしてネット
ワークまでアプリケーションの一部として設計する必要がある
デバイスもアプリケーションの一部
ネットワーク クラウドモノ
電源
電波状況
製造コスト
通信コスト
暗号化コスト
バージョン
アップ
回線管理
コンフィグ管
理

20. 1. モバイルネットワーク
2. デバイス
3. データ
IoTアプリケーション特有のポイント

21. 1. モバイルネットワーク
2. デバイス
3. データ
IoTアプリケーション特有のポイント
モバイルネットワークは切れる前提で
アプリケーション設計を

22. •電波状況や混雑状況でモバイルネットワークの品質
は常に変動する
•ネットワークが切れたら、デバイスは自動的に再接
続するようにしておく必要がある
モバイルネットワークが切れてもOKなように

23. •あとで再送するのか？破棄するのか？
•再送するならどのタイミングで？手動で？
•デバイスのバッファのキャパシティも考慮
切れている間に発生したデータはどうする？

24. •無線区間含めたネットワークにもボトルネックは発
生しうる
•大量のデバイスを取り扱う場合、処理の時間的分散
を組み込んでおく(ex.デバイスIDのmod取るとか)
•デバイスの増加などの原因による、時間的分散のた
めの設定を変更できるようにしておく必要もある
切れるだけではなく、速度低下も要考慮

25. 1. モバイルネットワーク
2. デバイス
3. データ
IoTアプリケーション特有のポイント
デバイスは用途/予算に合わせて
適切なものを

26. ソラコム認定デバイス – 80種類以上
ゲートウェイ ルーター 通信モジュール モバイル/ドングル
車載デバイス カメラ/特殊デバイス

27. デバイスに過度のインテリジェンスを求めない

28. •やれること vs. 消費電力/値段はトレードオフ
•HTTPS + JSONは高級品
• テキストプロトコルであること
•暗号化の計算量
• HTTPスタックやJSONパーサーの食う容量
• 抽象度や便利度の高いプロトコルほどオーバー
ヘッドが多い
デバイスに過度のインテリジェンスを求めない

29. SORACOM Beam – データ転送支援
専用線
インターネット サービス
サーバA
サーバB
クラウドの潤沢な
リソースで 暗号化・変換
転送
HTTP->HTTPS
MQTT->MQTTS
TCP -> TCPS/HTTP/HTTPS
UDP -> HTTP/HTTPS
…
交換局モノ 基地局

30. 通信量でバッテリーの消費量は変わる
HTTPS HTTP TCP UDP

31. SORACOM Funnel – クラウドアダプタ
専用線
交換局モノ 基地局
AWS API
Azure API
SORACOM
Funnel
エンドポイント
Amazon
Kinesis
Google
Cloud
PubSub
Microsoft
Azure
EventHubs
AWS API
AWS IoT
カスタムAPI パートナーの
クラウドサービス
Google API

32. リモートアップデート

33. •よくOTA(Over The Air) と呼ばれている
•OTAでよくあるケース
•ファームウェアのアップデート
• 設定ファイルの書き換え
リモートアップデート

34. • 前提として、デバイスは地理的に分散している
• GatewayやRasberry Piのようなリッチなデバイスならやり
ようはいろいろある(AnsibleやらFabricも使えるし、
resion.ioっていうDockerコンテナの配布サービスもある)
• そうでない場合、仕組みを考える必要がある(AWS IoTでい
うデバイスシャドウ)
• どうやってデバイスに情報を渡す？管理する？
OTAは難しい

35. Air SIM を使用するデバイス自身から、Air SIM の情
報を HTTP 経由で取得したり、更新のためにAPIを
簡単に呼び出すためのサービス。
SORACOM Air: メタデータサービス
回線情報で認証されるのでとても
簡単に利用できる
タグ、グルーピング、ユーザーデータ
自分につけられた情報を読み取って
プログラムの動作を決める
管理者
デバイス

36. $ curl http://metadata.soracom.io/v1/subscriber

37. メタデータを使えば外部からデバイスへ
簡単に情報を渡せます。
さらに。

38. •OMA LightweightM2M(LwM2M)をベースにした、デ
バイス管理のためのフレームワークを提供するサー
ビス
•デバイスの状態取得や設定更新、再起動などをリ
モートでAPIにて実行/管理できるように
SORACOM Inventory
Inventory
クライアント
Inventory
サーバ
LwM2M

39. 1. モバイルネットワーク
2. デバイス
3. データ
IoTアプリケーション特有のポイント
プリミティブなデータをどう扱うか

40. •IoTで扱うデータには、温度や湿度などの数値的な
もの、音声や映像などよりプリミティブで、連続的
なデータを取り扱うことが多い。
•Actionable(対処可能)なデータにするには、ここか
ら「イベント」を検出する必要がある
•イベント検出にはしきい値などのルール、機械学習
モデルによる推論などが必要になる。
プリミティブなデータの取扱い

41. デバイスとクラウドの役割分担

42. デバイスとクラウドの役割分担
デバイス クラウド
ネットワーク
計算リソースは豊富で安価
事象/現場から遠い
計算リソースは限られている
事象/現場に近い
帯域、距離、セキュリティ、料金

43. エッジヘビーコンピューティングにはモデルや
ルールの配布が必要
モノ
SORACOM
Funnel
AWS IoT
Amazon
Elastic MapReduce
Amazon S3
AWS Deep Learning AMI
Amazon S3
SORACOM
Inventory学習済みモデル
推論 学習
Amazon
Elastic MapReduce

44. 1. モバイルネットワーク
2. デバイス
3. データ
IoTアプリケーション特有のポイント
SORACOMを使うとIoTアプリケーションの
開発の面倒な部分をオフロードできます！

45. 《 株式会社ソラコムのビジョン 》
世界中のヒトとモノをつなげ
共鳴する社会へ