Soumettre la recherche
Mettre en ligne
HBaseとSparkでセンサーデータを有効活用 #hbasejp
•
Télécharger en tant que PPSX, PDF
•
13 j'aime
•
4,452 vues
F
FwardNetwork
Suivre
HBase Meetup Tokyo Summer 2015 で発表した資料です。
Lire moins
Lire la suite
Technologie
Affichage du diaporama
Signaler
Partager
Affichage du diaporama
Signaler
Partager
1 sur 25
Télécharger maintenant
Recommandé
Pythonで入門するApache Spark at PyCon2016
Pythonで入門するApache Spark at PyCon2016
Tatsuya Atsumi
ビッグデータ活用を加速する!分散SQLエンジン Spark SQL のご紹介 20161105 OSC Tokyo Fall
ビッグデータ活用を加速する!分散SQLエンジン Spark SQL のご紹介 20161105 OSC Tokyo Fall
YusukeKuramata
初めてのSpark streaming 〜kafka+sparkstreamingの紹介〜
初めてのSpark streaming 〜kafka+sparkstreamingの紹介〜
Tanaka Yuichi
Spark勉強会_ibm_20151014-公開版
Spark勉強会_ibm_20151014-公開版
Atsushi Tsuchiya
実動するIot&hadoopから学ぶ会_資料
実動するIot&hadoopから学ぶ会_資料
FwardNetwork
Pysparkで始めるデータ分析
Pysparkで始めるデータ分析
Tanaka Yuichi
QConTokyo2015「Sparkを用いたビッグデータ解析 〜後編〜」
QConTokyo2015「Sparkを用いたビッグデータ解析 〜後編〜」
Kazuki Taniguchi
Spark Streamingを活用したシステムの検証結果と設計時のノウハウ
Spark Streamingを活用したシステムの検証結果と設計時のノウハウ
Future Of Data Japan
Recommandé
Pythonで入門するApache Spark at PyCon2016
Pythonで入門するApache Spark at PyCon2016
Tatsuya Atsumi
ビッグデータ活用を加速する!分散SQLエンジン Spark SQL のご紹介 20161105 OSC Tokyo Fall
ビッグデータ活用を加速する!分散SQLエンジン Spark SQL のご紹介 20161105 OSC Tokyo Fall
YusukeKuramata
初めてのSpark streaming 〜kafka+sparkstreamingの紹介〜
初めてのSpark streaming 〜kafka+sparkstreamingの紹介〜
Tanaka Yuichi
Spark勉強会_ibm_20151014-公開版
Spark勉強会_ibm_20151014-公開版
Atsushi Tsuchiya
実動するIot&hadoopから学ぶ会_資料
実動するIot&hadoopから学ぶ会_資料
FwardNetwork
Pysparkで始めるデータ分析
Pysparkで始めるデータ分析
Tanaka Yuichi
QConTokyo2015「Sparkを用いたビッグデータ解析 〜後編〜」
QConTokyo2015「Sparkを用いたビッグデータ解析 〜後編〜」
Kazuki Taniguchi
Spark Streamingを活用したシステムの検証結果と設計時のノウハウ
Spark Streamingを活用したシステムの検証結果と設計時のノウハウ
Future Of Data Japan
データ活用をもっともっと円滑に!~データ処理・分析基盤編を少しだけ~
データ活用をもっともっと円滑に!~データ処理・分析基盤編を少しだけ~
NTT DATA OSS Professional Services
ちょっと理解に自信がないなという皆さまに贈るHadoop/Sparkのキホン (IBM Datapalooza Tokyo 2016講演資料)
ちょっと理解に自信がないなという皆さまに贈るHadoop/Sparkのキホン (IBM Datapalooza Tokyo 2016講演資料)
hamaken
Sparkを用いたビッグデータ解析 〜 前編 〜
Sparkを用いたビッグデータ解析 〜 前編 〜
x1 ichi
Hadoopエコシステムの最新動向とNTTデータの取り組み (OSC 2016 Tokyo/Spring 講演資料)
Hadoopエコシステムの最新動向とNTTデータの取り組み (OSC 2016 Tokyo/Spring 講演資料)
NTT DATA OSS Professional Services
Sparkのクエリ処理系と周辺の話題
Sparkのクエリ処理系と周辺の話題
Takeshi Yamamuro
Apache Spark超入門 (Hadoop / Spark Conference Japan 2016 講演資料)
Apache Spark超入門 (Hadoop / Spark Conference Japan 2016 講演資料)
NTT DATA OSS Professional Services
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
NTT DATA OSS Professional Services
Apache Sparkを使った感情極性分析
Apache Sparkを使った感情極性分析
Tanaka Yuichi
15.05.21_ビッグデータ分析基盤Sparkの最新動向とその活用-Spark SUMMIT EAST 2015-
15.05.21_ビッグデータ分析基盤Sparkの最新動向とその活用-Spark SUMMIT EAST 2015-
LINE Corp.
Apache Spark 1000 nodes NTT DATA
Apache Spark 1000 nodes NTT DATA
NTT DATA OSS Professional Services
Ansibleで構成管理始める人のモチベーションをあげたい! (Cloudera World Tokyo 2014LT講演資料)
Ansibleで構成管理始める人のモチベーションをあげたい! (Cloudera World Tokyo 2014LT講演資料)
NTT DATA OSS Professional Services
はやわかりHadoop
はやわかりHadoop
Shinpei Ohtani
Bluemixを使ったTwitter分析
Bluemixを使ったTwitter分析
Tanaka Yuichi
Big datauniversity
Big datauniversity
Tanaka Yuichi
リクルートテクノロジーズ における EMR の活用とコスト圧縮方法
リクルートテクノロジーズ における EMR の活用とコスト圧縮方法
Tetsutaro Watanabe
SparkとJupyterNotebookを使った分析処理 [Html5 conference]
SparkとJupyterNotebookを使った分析処理 [Html5 conference]
Tanaka Yuichi
Hadoop ecosystem NTTDATA osc15tk
Hadoop ecosystem NTTDATA osc15tk
NTT DATA OSS Professional Services
SparkとCassandraの美味しい関係
SparkとCassandraの美味しい関係
datastaxjp
Sparkによる GISデータを題材とした時系列データ処理 (Hadoop / Spark Conference Japan 2016 講演資料)
Sparkによる GISデータを題材とした時系列データ処理 (Hadoop / Spark Conference Japan 2016 講演資料)
Hadoop / Spark Conference Japan
WebDB Forum 2012 基調講演資料
WebDB Forum 2012 基調講演資料
Recruit Technologies
Apache HBase 入門 (第2回)
Apache HBase 入門 (第2回)
tatsuya6502
Apache HBase + Spark: Leveraging your Non-Relational Datastore in Batch and S...
Apache HBase + Spark: Leveraging your Non-Relational Datastore in Batch and S...
DataWorks Summit/Hadoop Summit
Contenu connexe
Tendances
データ活用をもっともっと円滑に!~データ処理・分析基盤編を少しだけ~
データ活用をもっともっと円滑に!~データ処理・分析基盤編を少しだけ~
NTT DATA OSS Professional Services
ちょっと理解に自信がないなという皆さまに贈るHadoop/Sparkのキホン (IBM Datapalooza Tokyo 2016講演資料)
ちょっと理解に自信がないなという皆さまに贈るHadoop/Sparkのキホン (IBM Datapalooza Tokyo 2016講演資料)
hamaken
Sparkを用いたビッグデータ解析 〜 前編 〜
Sparkを用いたビッグデータ解析 〜 前編 〜
x1 ichi
Hadoopエコシステムの最新動向とNTTデータの取り組み (OSC 2016 Tokyo/Spring 講演資料)
Hadoopエコシステムの最新動向とNTTデータの取り組み (OSC 2016 Tokyo/Spring 講演資料)
NTT DATA OSS Professional Services
Sparkのクエリ処理系と周辺の話題
Sparkのクエリ処理系と周辺の話題
Takeshi Yamamuro
Apache Spark超入門 (Hadoop / Spark Conference Japan 2016 講演資料)
Apache Spark超入門 (Hadoop / Spark Conference Japan 2016 講演資料)
NTT DATA OSS Professional Services
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
NTT DATA OSS Professional Services
Apache Sparkを使った感情極性分析
Apache Sparkを使った感情極性分析
Tanaka Yuichi
15.05.21_ビッグデータ分析基盤Sparkの最新動向とその活用-Spark SUMMIT EAST 2015-
15.05.21_ビッグデータ分析基盤Sparkの最新動向とその活用-Spark SUMMIT EAST 2015-
LINE Corp.
Apache Spark 1000 nodes NTT DATA
Apache Spark 1000 nodes NTT DATA
NTT DATA OSS Professional Services
Ansibleで構成管理始める人のモチベーションをあげたい! (Cloudera World Tokyo 2014LT講演資料)
Ansibleで構成管理始める人のモチベーションをあげたい! (Cloudera World Tokyo 2014LT講演資料)
NTT DATA OSS Professional Services
はやわかりHadoop
はやわかりHadoop
Shinpei Ohtani
Bluemixを使ったTwitter分析
Bluemixを使ったTwitter分析
Tanaka Yuichi
Big datauniversity
Big datauniversity
Tanaka Yuichi
リクルートテクノロジーズ における EMR の活用とコスト圧縮方法
リクルートテクノロジーズ における EMR の活用とコスト圧縮方法
Tetsutaro Watanabe
SparkとJupyterNotebookを使った分析処理 [Html5 conference]
SparkとJupyterNotebookを使った分析処理 [Html5 conference]
Tanaka Yuichi
Hadoop ecosystem NTTDATA osc15tk
Hadoop ecosystem NTTDATA osc15tk
NTT DATA OSS Professional Services
SparkとCassandraの美味しい関係
SparkとCassandraの美味しい関係
datastaxjp
Sparkによる GISデータを題材とした時系列データ処理 (Hadoop / Spark Conference Japan 2016 講演資料)
Sparkによる GISデータを題材とした時系列データ処理 (Hadoop / Spark Conference Japan 2016 講演資料)
Hadoop / Spark Conference Japan
WebDB Forum 2012 基調講演資料
WebDB Forum 2012 基調講演資料
Recruit Technologies
Tendances
(20)
データ活用をもっともっと円滑に!~データ処理・分析基盤編を少しだけ~
データ活用をもっともっと円滑に!~データ処理・分析基盤編を少しだけ~
ちょっと理解に自信がないなという皆さまに贈るHadoop/Sparkのキホン (IBM Datapalooza Tokyo 2016講演資料)
ちょっと理解に自信がないなという皆さまに贈るHadoop/Sparkのキホン (IBM Datapalooza Tokyo 2016講演資料)
Sparkを用いたビッグデータ解析 〜 前編 〜
Sparkを用いたビッグデータ解析 〜 前編 〜
Hadoopエコシステムの最新動向とNTTデータの取り組み (OSC 2016 Tokyo/Spring 講演資料)
Hadoopエコシステムの最新動向とNTTデータの取り組み (OSC 2016 Tokyo/Spring 講演資料)
Sparkのクエリ処理系と周辺の話題
Sparkのクエリ処理系と周辺の話題
Apache Spark超入門 (Hadoop / Spark Conference Japan 2016 講演資料)
Apache Spark超入門 (Hadoop / Spark Conference Japan 2016 講演資料)
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
Apache Sparkを使った感情極性分析
Apache Sparkを使った感情極性分析
15.05.21_ビッグデータ分析基盤Sparkの最新動向とその活用-Spark SUMMIT EAST 2015-
15.05.21_ビッグデータ分析基盤Sparkの最新動向とその活用-Spark SUMMIT EAST 2015-
Apache Spark 1000 nodes NTT DATA
Apache Spark 1000 nodes NTT DATA
Ansibleで構成管理始める人のモチベーションをあげたい! (Cloudera World Tokyo 2014LT講演資料)
Ansibleで構成管理始める人のモチベーションをあげたい! (Cloudera World Tokyo 2014LT講演資料)
はやわかりHadoop
はやわかりHadoop
Bluemixを使ったTwitter分析
Bluemixを使ったTwitter分析
Big datauniversity
Big datauniversity
リクルートテクノロジーズ における EMR の活用とコスト圧縮方法
リクルートテクノロジーズ における EMR の活用とコスト圧縮方法
SparkとJupyterNotebookを使った分析処理 [Html5 conference]
SparkとJupyterNotebookを使った分析処理 [Html5 conference]
Hadoop ecosystem NTTDATA osc15tk
Hadoop ecosystem NTTDATA osc15tk
SparkとCassandraの美味しい関係
SparkとCassandraの美味しい関係
Sparkによる GISデータを題材とした時系列データ処理 (Hadoop / Spark Conference Japan 2016 講演資料)
Sparkによる GISデータを題材とした時系列データ処理 (Hadoop / Spark Conference Japan 2016 講演資料)
WebDB Forum 2012 基調講演資料
WebDB Forum 2012 基調講演資料
En vedette
Apache HBase 入門 (第2回)
Apache HBase 入門 (第2回)
tatsuya6502
Apache HBase + Spark: Leveraging your Non-Relational Datastore in Batch and S...
Apache HBase + Spark: Leveraging your Non-Relational Datastore in Batch and S...
DataWorks Summit/Hadoop Summit
HBaseConEast2016: HBase and Spark, State of the Art
HBaseConEast2016: HBase and Spark, State of the Art
Michael Stack
Apache Spark streaming and HBase
Apache Spark streaming and HBase
Carol McDonald
Apache HBase Internals you hoped you Never Needed to Understand
Apache HBase Internals you hoped you Never Needed to Understand
Josh Elser
Spark + HBase
Spark + HBase
DataWorks Summit/Hadoop Summit
Free Code Friday - Spark Streaming with HBase
Free Code Friday - Spark Streaming with HBase
MapR Technologies
Apache HBase 入門 (第1回)
Apache HBase 入門 (第1回)
tatsuya6502
En vedette
(8)
Apache HBase 入門 (第2回)
Apache HBase 入門 (第2回)
Apache HBase + Spark: Leveraging your Non-Relational Datastore in Batch and S...
Apache HBase + Spark: Leveraging your Non-Relational Datastore in Batch and S...
HBaseConEast2016: HBase and Spark, State of the Art
HBaseConEast2016: HBase and Spark, State of the Art
Apache Spark streaming and HBase
Apache Spark streaming and HBase
Apache HBase Internals you hoped you Never Needed to Understand
Apache HBase Internals you hoped you Never Needed to Understand
Spark + HBase
Spark + HBase
Free Code Friday - Spark Streaming with HBase
Free Code Friday - Spark Streaming with HBase
Apache HBase 入門 (第1回)
Apache HBase 入門 (第1回)
Similaire à HBaseとSparkでセンサーデータを有効活用 #hbasejp
Hadoop基盤上のETL構築実践例 ~多様なデータをどう扱う?~
Hadoop基盤上のETL構築実践例 ~多様なデータをどう扱う?~
Sotaro Kimura
StackStormを活用した運用自動化の実践
StackStormを活用した運用自動化の実践
Shu Sugimoto
クラウド時代の並列分散処理技術
クラウド時代の並列分散処理技術
Koichi Fujikawa
Apache Torqueについて
Apache Torqueについて
tako pons
広告配信現場で使うSpark機械学習
広告配信現場で使うSpark機械学習
x1 ichi
OSC2014.Enterprise Zabbix-JobScheduler連携ツールHyClopsJobMonitoringによる運用システムOSS化の実現
OSC2014.Enterprise Zabbix-JobScheduler連携ツールHyClopsJobMonitoringによる運用システムOSS化の実現
Daisuke Ikeda
PyConAPAC2023 ワークフローエンジン Apache Airflowを用いた 大規模データパイプライン構築と改善
PyConAPAC2023 ワークフローエンジン Apache Airflowを用いた 大規模データパイプライン構築と改善
株式会社MonotaRO Tech Team
PostgreSQL 12の話
PostgreSQL 12の話
Masahiko Sawada
キャバァーン! サツバツエアアイオー弐〇壱弐
キャバァーン! サツバツエアアイオー弐〇壱弐
Kei Nakazawa
Hybrid serverless architecture using open whisk ibm cloud functions and istio...
Hybrid serverless architecture using open whisk ibm cloud functions and istio...
Tsuyoshi Hirayama
Metaprogramming Universe in C# - 実例に見るILからRoslynまでの活用例
Metaprogramming Universe in C# - 実例に見るILからRoslynまでの活用例
Yoshifumi Kawai
【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(後編)
【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(後編)
日本マイクロソフト株式会社
Spring3.1概要 データアクセスとトランザクション処理
Spring3.1概要 データアクセスとトランザクション処理
土岐 孝平
できる!サーバレスアーキテクチャ
できる!サーバレスアーキテクチャ
azuma satoshi
Spring data-rest-and-spring-cloud-contract
Spring data-rest-and-spring-cloud-contract
Takeshi Ogawa
セミナー資料「STAR-CCM+ クラウド活用ハンズオンセミナー with Rescale」
セミナー資料「STAR-CCM+ クラウド活用ハンズオンセミナー with Rescale」
Rescale Japan株式会社
Introduction new features in Spark 3.0
Introduction new features in Spark 3.0
Kazuaki Ishizaki
Mulvery技術詳細
Mulvery技術詳細
Daichi Teruya
Spark Analytics - スケーラブルな分散処理
Spark Analytics - スケーラブルな分散処理
Tusyoshi Matsuzaki
自作node.jsフレームワークとnginxを使ってラジオサイトを作ってみた
自作node.jsフレームワークとnginxを使ってラジオサイトを作ってみた
Yuki Takei
Similaire à HBaseとSparkでセンサーデータを有効活用 #hbasejp
(20)
Hadoop基盤上のETL構築実践例 ~多様なデータをどう扱う?~
Hadoop基盤上のETL構築実践例 ~多様なデータをどう扱う?~
StackStormを活用した運用自動化の実践
StackStormを活用した運用自動化の実践
クラウド時代の並列分散処理技術
クラウド時代の並列分散処理技術
Apache Torqueについて
Apache Torqueについて
広告配信現場で使うSpark機械学習
広告配信現場で使うSpark機械学習
OSC2014.Enterprise Zabbix-JobScheduler連携ツールHyClopsJobMonitoringによる運用システムOSS化の実現
OSC2014.Enterprise Zabbix-JobScheduler連携ツールHyClopsJobMonitoringによる運用システムOSS化の実現
PyConAPAC2023 ワークフローエンジン Apache Airflowを用いた 大規模データパイプライン構築と改善
PyConAPAC2023 ワークフローエンジン Apache Airflowを用いた 大規模データパイプライン構築と改善
PostgreSQL 12の話
PostgreSQL 12の話
キャバァーン! サツバツエアアイオー弐〇壱弐
キャバァーン! サツバツエアアイオー弐〇壱弐
Hybrid serverless architecture using open whisk ibm cloud functions and istio...
Hybrid serverless architecture using open whisk ibm cloud functions and istio...
Metaprogramming Universe in C# - 実例に見るILからRoslynまでの活用例
Metaprogramming Universe in C# - 実例に見るILからRoslynまでの活用例
【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(後編)
【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(後編)
Spring3.1概要 データアクセスとトランザクション処理
Spring3.1概要 データアクセスとトランザクション処理
できる!サーバレスアーキテクチャ
できる!サーバレスアーキテクチャ
Spring data-rest-and-spring-cloud-contract
Spring data-rest-and-spring-cloud-contract
セミナー資料「STAR-CCM+ クラウド活用ハンズオンセミナー with Rescale」
セミナー資料「STAR-CCM+ クラウド活用ハンズオンセミナー with Rescale」
Introduction new features in Spark 3.0
Introduction new features in Spark 3.0
Mulvery技術詳細
Mulvery技術詳細
Spark Analytics - スケーラブルな分散処理
Spark Analytics - スケーラブルな分散処理
自作node.jsフレームワークとnginxを使ってラジオサイトを作ってみた
自作node.jsフレームワークとnginxを使ってラジオサイトを作ってみた
Dernier
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Toru Tamaki
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
atsushi061452
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Toru Tamaki
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Hiroshi Tomioka
Dernier
(11)
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
HBaseとSparkでセンサーデータを有効活用 #hbasejp
1.
HBaseとSparkで、 センサーデータを有効活用 ~ Iot ×
HBase × Spark で何が出来るのか、 何の利点があるのかを弊社が展開している センサー解析ベースシステムを例として、ご紹介いたします。~ 株式会社フォワードネットワーク システムソリューション部 高原 歩 2015/6/25HBase Meetup Tokyo Summer 2015 / 株式会社フォワードネットワーク 1
2.
1 自己紹介 ■
所属/氏名 - 株式会社フォワードネットワーク - 高原 歩 (Takahara Ayumu) ■ 経歴等 - 元々はJavaの技術者 - 2014年からビッグデータの世界に - Cloudera認定資格 CCDH & CCAH 保持。 2015/6/25HBase Meetup Tokyo Summer 2015 / 株式会社フォワードネットワーク 2
3.
2 会社概要 ■
自社サイト - http://www.fward.net ■ Webクオリティを高めるサービスを主に提供 - Webサイトのトラフィック計測 – TrafficPatrol2 - Webサービスの脆弱性診断サービス ■ 「BigData」に心奪われ 2014 年より足を踏み入れる - Iotセンサー解析ベースシステムをリリース 2015/6/25HBase Meetup Tokyo Summer 2015 / 株式会社フォワードネットワーク 3
4.
Iotセンサー解析ベースシステムとは 2015/6/25 HBase Meetup Tokyo
Summer 2015 / 株式会社フォワードネット ワーク 4
5.
3-1 Iotセンサー解析ベースシステム Iotセンサー解析ベースシステムとは… センサーからデータを取得して
Hadoopを利用したストレージシステムに蓄積し 貯まったデータを手早く簡単に解析して活用する 2015/6/25 HBase Meetup Tokyo Summer 2015 / 株式会社フォワードネットワーク 5
6.
3-2 Iotセンサー解析ベースシステム サービスイメージ 2015/6/25HBase Meetup
Tokyo Summer 2015 / 株式会社フォワードネットワーク 6
7.
3-3 Iotセンサー解析ベースシステム 解析手法の例 凹凸 急変動 しきい値 2015/6/25HBase
Meetup Tokyo Summer 2015 / 株式会社フォワードネットワーク 7
8.
3-4 Iotセンサー解析ベースシステム リアルタイム通知 2015/6/25HBase Meetup
Tokyo Summer 2015 / 株式会社フォワードネットワーク 8 温度が70℃を1分間超えている。 1分ごとの平均の差が10℃を超えている。 リアルタイムにメールを送信!! たとえば…
9.
3-5 Iotセンサー解析ベースシステム デモサイトのURLは http://sbsdemo.fward.net 2015/6/25HBase Meetup
Tokyo Summer 2015 / 株式会社フォワードネットワーク 9
10.
本システムにおけるHadoopの利用 2015/6/25 HBase Meetup Tokyo
Summer 2015 / 株式会社フォワードネット ワーク 10
11.
4-1 本システムにおけるHadoopの利用 ストレージ要件は… 「1つのデータは小さく、センサーからのデータ書き込み頻度が高い」 「ランダムではなくシーケンシャルな読み込みが多い」 「全体で膨大な量のデータ容量が必要になる」 2015/6/25HBase Meetup
Tokyo Summer 2015 / 株式会社フォワードネットワーク 11
12.
4-2 本システムにおけるHadoopの利用 HBase には、他にも 「スケールアウトが容易」 2015/6/25HBase
Meetup Tokyo Summer 2015 / 株式会社フォワードネットワーク 12 「自動的にシャーディングを行う」 「単一障害点の回避」 等々、多くの利点がみられる。
13.
4-3 本システムにおけるHadoopの利用 解析 /
集計 / 検索 2015/6/25HBase Meetup Tokyo Summer 2015 / 株式会社フォワードネットワーク 13 HBase (HDFS) ☆リアルタイム性はそこまで必要ではない
14.
4-4 本システムにおけるHadoopの利用 エラー検知 /
通知 2015/6/25HBase Meetup Tokyo Summer 2015 / 株式会社フォワードネットワーク 14 HBase (HDFS) ☆リアルタイム性が重視される!
15.
4-5 本システムにおけるHadoopの利用 2015/6/25HBase Meetup
Tokyo Summer 2015 / 株式会社フォワードネットワーク 15 処理の流れ(例) 分解HBase (HDFS) Sort Shuffle 集計 flatMapToPair groupByKey MapToPair Map処理 Reduce処理 Comparator Partitioner
16.
4-6 本システムにおけるHadoopの利用 MapReduceでの処理 2015/6/25HBase Meetup
Tokyo Summer 2015 / 株式会社フォワードネットワーク 16 Configuration conf = HBaseConfiguration.create(); Job job = Job.getInstance(conf, “ジョブ名"); job.setJarByClass(getClass()); job.setInputFormatClass(TableInputFormat.class); Scan scan = new Scan(); Filter filter1 = new RowFilter(CompareFilter.CompareOp.EQUAL, new RegexStringComparator("minute_" + ymd + ".*")); scan.setFilter(filter1); scan.setCacheBlocks(false); scan.setCaching(500); TableMapReduceUtil.initTableMapperJob(“入力テーブル名", scan, HBaseSplitMap.class, Text.class, Text.class, job); job.setOutputFormatClass(TableOutputFormat.class); TableMapReduceUtil.initTableReducerJob(“出力テーブル名", AggregateReduce.class, job); return job.waitForCompletion(true) ? 0 : 1; ※Map, Reduce処理内容は割愛 入 力 出 力
17.
4-7 本システムにおけるHadoopの利用 Sparkでの処理 2015/6/25HBase Meetup
Tokyo Summer 2015 / 株式会社フォワードネットワーク 17 Configuration conf = HBaseConfiguration.create(); conf.addResource(new Path("/etc/hbase/conf/hbase-site.xml")); conf.addResource(new Path(“/etc/hadoop/conf/core-site.xml”)); conf.set(TableInputFormat.INPUT_TABLE, “入力テーブル名”); Scan scan = new Scan(); Filter filter1 = new RowFilter(CompareFilter.CompareOp.EQUAL, new RegexStringComparator(".*_minute_" + ymd + ".*")); scan.setFilter(filter1); scan.setCacheBlocks(false); scan.setCaching(500); ClientProtos.Scan proto = ProtobufUtil.toScan(scan); String scanString = Base64.encodeBytes(proto.toByteArray()); conf.set(TableInputFormat.SCAN, scanString); JavaPairRDD<ImmutableBytesWritable, Result> hBaseRDD = ctx.newAPIHadoopRDD(conf,TableInputFormat.class,org.apache.hadoop.hbase.io.ImmutableByt esWritable.class,org.apache.hadoop.hbase.client.Result.class); ※出力, その他処理の詳細は割愛 flatMapToPair, groupByKey, mapToPairを行うとMapReduce処理と同様の処理を行える。 入 力
18.
4-8 本システムにおけるHadoopの利用 MapReduce, Sparkの性能評価 2015/6/25HBase
Meetup Tokyo Summer 2015 / 株式会社フォワードネットワーク 18 ■ 使用データ 1,296,000データ (2秒に1データを1か月間) ■ 実行した処理 急変動: 1時間の平均が3℃上昇 or 下降した範囲を検索する。 ■ 所要時間 MapReduce: 99秒 Spark: 39秒
19.
Iot分野におけるHBaseの可能性 2015/6/25 HBase Meetup Tokyo
Summer 2015 / 株式会社フォワードネット ワーク 19
20.
5-1 Iot分野におけるHBaseの可能性 2015/6/25HBase Meetup
Tokyo Summer 2015 / 株式会社フォワードネットワーク 20 今までのデータ マクロ視点 - Iot社会でのデータ ミクロ視点 - データの集計値や平均を利用 飲食店でのグループ単位 工場単位・部署単位 個々のデータを利用 飲食店での座席単位 工場の人員単位・機械単位 データの取り扱われ方
21.
5-2 Iot分野におけるHBaseの可能性 2015/6/25HBase Meetup
Tokyo Summer 2015 / 株式会社フォワードネットワーク 21 Iotセンサー解析ベースシステムの利点 ■ ご要望に応じたカスタマイズ - センサーの追加 - 部分的なサービス提供も可能 - HBaseにより膨大なデータも取扱い可能 ■ スクラッチ開発と比較して、 開発期間と開発コストを大幅削減
22.
5-3 Iot分野におけるHBaseの可能性 2015/6/25HBase Meetup
Tokyo Summer 2015 / 株式会社フォワードネットワーク 22 Iotセンサー解析ベースシステムの使用例 ■ 飲食店等 空席管理システム - 無線型人感センサーを使用 - 時間毎、日毎に空席状況を把握 - 他サービスとの連携により、 細かな予約管理システムも構築可能
23.
まとめ 2015/6/25 HBase Meetup Tokyo
Summer 2015 / 株式会社フォワードネット ワーク 23
24.
6 まとめ 2015/6/25HBase Meetup
Tokyo Summer 2015 / 株式会社フォワードネットワーク 24 □ 超高速度で集まり続けるセンサーデータを □ 大量かつ安全に蓄積し □できる限り早く検索・集計・解析したい
25.
内容へのお問い合わせはこちらまでお願いいたします。 株式会社フォワードネットワーク システムソリューション部 高原 歩
(takahara@fward.net) HBaseとSparkで、センサーデータを有効活用 ~Iot × HBase × Spark で何が出来るのか、何の利点があるのかを弊社 が展開しているセンサー解析ベースシステムを例として、ご紹介いたし ます。~ HBase Meetup Tokyo Summer 2015 2015/6/25HBase Meetup Tokyo Summer 2015 / 株式会社フォワードネットワーク 25 ご拝読ありがとうございました。
Télécharger maintenant