Soumettre la recherche
Mettre en ligne
ニコニコデータビューアー・改
•
11 j'aime
•
3,722 vues
(shibao)芝尾 (kouichiro)幸一郎
Suivre
ニコニコ学会β第五回データ分析研究会で発表した。 今まで、21分かかった物が、10秒で集計が出来る。
Lire moins
Lire la suite
Environnement
Signaler
Partager
Signaler
Partager
1 sur 35
Télécharger maintenant
Télécharger pour lire hors ligne
Recommandé
Re dashで作るニコニコデータセット分析環境
Re dashで作るニコニコデータセット分析環境
(shibao)芝尾 (kouichiro)幸一郎
ニコニコ動画データセット分析環境作ってみたその後
ニコニコ動画データセット分析環境作ってみたその後
(shibao)芝尾 (kouichiro)幸一郎
ニコニコ動画のコメント解析
ニコニコ動画のコメント解析
Keisuke Ogaki
TwilioKintone20171012
TwilioKintone20171012
kintone papers
pixivのデータを使って萌え要素の人気について分析してみた
pixivのデータを使って萌え要素の人気について分析してみた
Masanori Takano
実践コンピュータビジョン 9章 画像の領域分割
実践コンピュータビジョン 9章 画像の領域分割
yaju88
可視化法学 smips登壇
可視化法学 smips登壇
(shibao)芝尾 (kouichiro)幸一郎
第1回関西ソーシャルゲーム勉強会 kpi発表
第1回関西ソーシャルゲーム勉強会 kpi発表
OCHI Shuji
Recommandé
Re dashで作るニコニコデータセット分析環境
Re dashで作るニコニコデータセット分析環境
(shibao)芝尾 (kouichiro)幸一郎
ニコニコ動画データセット分析環境作ってみたその後
ニコニコ動画データセット分析環境作ってみたその後
(shibao)芝尾 (kouichiro)幸一郎
ニコニコ動画のコメント解析
ニコニコ動画のコメント解析
Keisuke Ogaki
TwilioKintone20171012
TwilioKintone20171012
kintone papers
pixivのデータを使って萌え要素の人気について分析してみた
pixivのデータを使って萌え要素の人気について分析してみた
Masanori Takano
実践コンピュータビジョン 9章 画像の領域分割
実践コンピュータビジョン 9章 画像の領域分割
yaju88
可視化法学 smips登壇
可視化法学 smips登壇
(shibao)芝尾 (kouichiro)幸一郎
第1回関西ソーシャルゲーム勉強会 kpi発表
第1回関西ソーシャルゲーム勉強会 kpi発表
OCHI Shuji
高速処理と高信頼性を両立し、ペタバイト級の多種大量データを蓄積する、ビッグデータ/ IoT時代のデータベースとは??
高速処理と高信頼性を両立し、ペタバイト級の多種大量データを蓄積する、ビッグデータ/ IoT時代のデータベースとは??
griddb
モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)
モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)
株式会社MonotaRO Tech Team
Cloud impact on IT industry (in Japanese)
Cloud impact on IT industry (in Japanese)
shojiro-tanaka
Direct QueryのカスタムSQL(Qlik Tips ~ Qlik を使いこなす!スキルアップ勉強会)
Direct QueryのカスタムSQL(Qlik Tips ~ Qlik を使いこなす!スキルアップ勉強会)
QlikPresalesJapan
MySQL Binlog Events でストリーム処理してみた #MySQLUC15
MySQL Binlog Events でストリーム処理してみた #MySQLUC15
Yahoo!デベロッパーネットワーク
Netflix Meetup in Kyoto 参加報告
Netflix Meetup in Kyoto 参加報告
tnoda
李彦宏の百度世界
李彦宏の百度世界
Tom Rong
データドリブンな動画コンテンツ制作の裏側
データドリブンな動画コンテンツ制作の裏側
TatsuyaAkasaka
可視化法学(Found it project#9)
可視化法学(Found it project#9)
(shibao)芝尾 (kouichiro)幸一郎
ビットバンクにおける少人数で支えるインフラチームの戦略
ビットバンクにおける少人数で支えるインフラチームの戦略
bitbank, Inc. Tokyo, Japan
Bq sushi(BigQuery lessons learned)
Bq sushi(BigQuery lessons learned)
(shibao)芝尾 (kouichiro)幸一郎
Flow を使って効率的にデータを集めたその後は Power BI に繋げよう
Flow を使って効率的にデータを集めたその後は Power BI に繋げよう
Yugo Shimizu
kintoneで教育をhack
kintoneで教育をhack
Cybozucommunity
ニコニコ動画のタグに関する話(仮)_データ研究会20131110
ニコニコ動画のタグに関する話(仮)_データ研究会20131110
nobi000
毎月更新されるデータを Excel で集計してレポートを作ってるですって? それ、Power BI と SharePoint フォルダーで自動化できますよー
毎月更新されるデータを Excel で集計してレポートを作ってるですって? それ、Power BI と SharePoint フォルダーで自動化できますよー
Yugo Shimizu
仮想環境の設計手法
仮想環境の設計手法
VirtualTech Japan Inc.
DXとはなにか?
DXとはなにか?
(shibao)芝尾 (kouichiro)幸一郎
可視化法学(studycode編)
可視化法学(studycode編)
(shibao)芝尾 (kouichiro)幸一郎
可視化法学(Linked Open Data Challenge 2016)授賞式プレゼン
可視化法学(Linked Open Data Challenge 2016)授賞式プレゼン
(shibao)芝尾 (kouichiro)幸一郎
可視化法学(ニコニコ学会データ研究会第9回)
可視化法学(ニコニコ学会データ研究会第9回)
(shibao)芝尾 (kouichiro)幸一郎
可視化法学c91紹介リーフレット
可視化法学c91紹介リーフレット
(shibao)芝尾 (kouichiro)幸一郎
可視化法学ポスター超会議2016 チラシ
可視化法学ポスター超会議2016 チラシ
(shibao)芝尾 (kouichiro)幸一郎
Contenu connexe
Similaire à ニコニコデータビューアー・改
高速処理と高信頼性を両立し、ペタバイト級の多種大量データを蓄積する、ビッグデータ/ IoT時代のデータベースとは??
高速処理と高信頼性を両立し、ペタバイト級の多種大量データを蓄積する、ビッグデータ/ IoT時代のデータベースとは??
griddb
モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)
モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)
株式会社MonotaRO Tech Team
Cloud impact on IT industry (in Japanese)
Cloud impact on IT industry (in Japanese)
shojiro-tanaka
Direct QueryのカスタムSQL(Qlik Tips ~ Qlik を使いこなす!スキルアップ勉強会)
Direct QueryのカスタムSQL(Qlik Tips ~ Qlik を使いこなす!スキルアップ勉強会)
QlikPresalesJapan
MySQL Binlog Events でストリーム処理してみた #MySQLUC15
MySQL Binlog Events でストリーム処理してみた #MySQLUC15
Yahoo!デベロッパーネットワーク
Netflix Meetup in Kyoto 参加報告
Netflix Meetup in Kyoto 参加報告
tnoda
李彦宏の百度世界
李彦宏の百度世界
Tom Rong
データドリブンな動画コンテンツ制作の裏側
データドリブンな動画コンテンツ制作の裏側
TatsuyaAkasaka
可視化法学(Found it project#9)
可視化法学(Found it project#9)
(shibao)芝尾 (kouichiro)幸一郎
ビットバンクにおける少人数で支えるインフラチームの戦略
ビットバンクにおける少人数で支えるインフラチームの戦略
bitbank, Inc. Tokyo, Japan
Bq sushi(BigQuery lessons learned)
Bq sushi(BigQuery lessons learned)
(shibao)芝尾 (kouichiro)幸一郎
Flow を使って効率的にデータを集めたその後は Power BI に繋げよう
Flow を使って効率的にデータを集めたその後は Power BI に繋げよう
Yugo Shimizu
kintoneで教育をhack
kintoneで教育をhack
Cybozucommunity
ニコニコ動画のタグに関する話(仮)_データ研究会20131110
ニコニコ動画のタグに関する話(仮)_データ研究会20131110
nobi000
毎月更新されるデータを Excel で集計してレポートを作ってるですって? それ、Power BI と SharePoint フォルダーで自動化できますよー
毎月更新されるデータを Excel で集計してレポートを作ってるですって? それ、Power BI と SharePoint フォルダーで自動化できますよー
Yugo Shimizu
仮想環境の設計手法
仮想環境の設計手法
VirtualTech Japan Inc.
Similaire à ニコニコデータビューアー・改
(16)
高速処理と高信頼性を両立し、ペタバイト級の多種大量データを蓄積する、ビッグデータ/ IoT時代のデータベースとは??
高速処理と高信頼性を両立し、ペタバイト級の多種大量データを蓄積する、ビッグデータ/ IoT時代のデータベースとは??
モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)
モノタロウの1900万商品を検索する Elasticsearch構築運用事例(2022-10-26 第50回Elasticsearch 勉強会発表資料)
Cloud impact on IT industry (in Japanese)
Cloud impact on IT industry (in Japanese)
Direct QueryのカスタムSQL(Qlik Tips ~ Qlik を使いこなす!スキルアップ勉強会)
Direct QueryのカスタムSQL(Qlik Tips ~ Qlik を使いこなす!スキルアップ勉強会)
MySQL Binlog Events でストリーム処理してみた #MySQLUC15
MySQL Binlog Events でストリーム処理してみた #MySQLUC15
Netflix Meetup in Kyoto 参加報告
Netflix Meetup in Kyoto 参加報告
李彦宏の百度世界
李彦宏の百度世界
データドリブンな動画コンテンツ制作の裏側
データドリブンな動画コンテンツ制作の裏側
可視化法学(Found it project#9)
可視化法学(Found it project#9)
ビットバンクにおける少人数で支えるインフラチームの戦略
ビットバンクにおける少人数で支えるインフラチームの戦略
Bq sushi(BigQuery lessons learned)
Bq sushi(BigQuery lessons learned)
Flow を使って効率的にデータを集めたその後は Power BI に繋げよう
Flow を使って効率的にデータを集めたその後は Power BI に繋げよう
kintoneで教育をhack
kintoneで教育をhack
ニコニコ動画のタグに関する話(仮)_データ研究会20131110
ニコニコ動画のタグに関する話(仮)_データ研究会20131110
毎月更新されるデータを Excel で集計してレポートを作ってるですって? それ、Power BI と SharePoint フォルダーで自動化できますよー
毎月更新されるデータを Excel で集計してレポートを作ってるですって? それ、Power BI と SharePoint フォルダーで自動化できますよー
仮想環境の設計手法
仮想環境の設計手法
Plus de (shibao)芝尾 (kouichiro)幸一郎
DXとはなにか?
DXとはなにか?
(shibao)芝尾 (kouichiro)幸一郎
可視化法学(studycode編)
可視化法学(studycode編)
(shibao)芝尾 (kouichiro)幸一郎
可視化法学(Linked Open Data Challenge 2016)授賞式プレゼン
可視化法学(Linked Open Data Challenge 2016)授賞式プレゼン
(shibao)芝尾 (kouichiro)幸一郎
可視化法学(ニコニコ学会データ研究会第9回)
可視化法学(ニコニコ学会データ研究会第9回)
(shibao)芝尾 (kouichiro)幸一郎
可視化法学c91紹介リーフレット
可視化法学c91紹介リーフレット
(shibao)芝尾 (kouichiro)幸一郎
可視化法学ポスター超会議2016 チラシ
可視化法学ポスター超会議2016 チラシ
(shibao)芝尾 (kouichiro)幸一郎
可視化法学-大和超券ステージ
可視化法学-大和超券ステージ
(shibao)芝尾 (kouichiro)幸一郎
可視化法学
可視化法学
(shibao)芝尾 (kouichiro)幸一郎
BigQueryで集計するシステムを作って分かったKPI集計ツール作成
BigQueryで集計するシステムを作って分かったKPI集計ツール作成
(shibao)芝尾 (kouichiro)幸一郎
AimingでGoogle Cloud Platformの利用について
AimingでGoogle Cloud Platformの利用について
(shibao)芝尾 (kouichiro)幸一郎
ニコニコデータセット 分析環境作ってみた-ニコニコデータデータ分析研究会
ニコニコデータセット 分析環境作ってみた-ニコニコデータデータ分析研究会
(shibao)芝尾 (kouichiro)幸一郎
世界のiPhoneアプリランキング比較してみた
世界のiPhoneアプリランキング比較してみた
(shibao)芝尾 (kouichiro)幸一郎
第一回ニコニコデータ分析研究会発表資料-世界のYoutube
第一回ニコニコデータ分析研究会発表資料-世界のYoutube
(shibao)芝尾 (kouichiro)幸一郎
ニコニコ学会β発表資料
ニコニコ学会β発表資料
(shibao)芝尾 (kouichiro)幸一郎
Seeing is Believing
Seeing is Believing
(shibao)芝尾 (kouichiro)幸一郎
Introduction Pycon2010
Introduction Pycon2010
(shibao)芝尾 (kouichiro)幸一郎
Plus de (shibao)芝尾 (kouichiro)幸一郎
(16)
DXとはなにか?
DXとはなにか?
可視化法学(studycode編)
可視化法学(studycode編)
可視化法学(Linked Open Data Challenge 2016)授賞式プレゼン
可視化法学(Linked Open Data Challenge 2016)授賞式プレゼン
可視化法学(ニコニコ学会データ研究会第9回)
可視化法学(ニコニコ学会データ研究会第9回)
可視化法学c91紹介リーフレット
可視化法学c91紹介リーフレット
可視化法学ポスター超会議2016 チラシ
可視化法学ポスター超会議2016 チラシ
可視化法学-大和超券ステージ
可視化法学-大和超券ステージ
可視化法学
可視化法学
BigQueryで集計するシステムを作って分かったKPI集計ツール作成
BigQueryで集計するシステムを作って分かったKPI集計ツール作成
AimingでGoogle Cloud Platformの利用について
AimingでGoogle Cloud Platformの利用について
ニコニコデータセット 分析環境作ってみた-ニコニコデータデータ分析研究会
ニコニコデータセット 分析環境作ってみた-ニコニコデータデータ分析研究会
世界のiPhoneアプリランキング比較してみた
世界のiPhoneアプリランキング比較してみた
第一回ニコニコデータ分析研究会発表資料-世界のYoutube
第一回ニコニコデータ分析研究会発表資料-世界のYoutube
ニコニコ学会β発表資料
ニコニコ学会β発表資料
Seeing is Believing
Seeing is Believing
Introduction Pycon2010
Introduction Pycon2010
ニコニコデータビューアー・改
1.
ニコニコデータ ビューア・改 @shibacow
2.
芝尾幸一郎 • 株式会社Aiming所属
• データ分析を担当 • ニコニコ動画のランキングサイ トを作っている • follow me: @shibacow
3.
ニコニコデータ ビューア
4.
5.
ニコニコデータセット
6.
• ニコニコ動画の情報を配布 •
2007-2012の • 動画情報800万件 • タグ情報40000万件 • コメント情報24億件 • 無料で公開中
7.
ニコニコデータ ビューア
8.
• web上で •
手軽に無料で • ニコニコデータセットの • 分析 • ができる。
9.
10.
不満 • 集計が遅い(21分)
• 土日しか開けられない(お 金が高い)-土日だけで 8000円
11.
作り直し中
12.
データセットビューア・改 • 特徴
• 集計が早い • だいぶ安い
13.
DEMO
14.
早い • 23億件の集計
• 21分 -> 10秒以内 126倍
15.
16.
17.
MySQLとの比較 • 数億件だと、MySQLの
集計は、厳しい。 • 3億円でオラクル買う世 界
18.
早いので • トライアンドエラーがや
りやすい • 集中が長続きする
19.
安い • 土日だけではなく
• 連日開放 • 今までで6ドル • (従量制だが、だいぶ安い)
20.
なぜ早くて安い?
21.
22.
グーグル製データ分析 ツール
23.
何故早い カラム指向 ツリー
アーキテクチャ
24.
本当の所
25.
力技の勝利 • 3台で集計(21分)
• 5000台で集計(10秒)
26.
力技なので • 中間一致に強い
• 5000台使ってgrepして いる。
27.
データセット ビューア・改
28.
改善点 • 集計が早い
• いつでも使える • 無料
29.
新機能
30.
• お手軽グラフツール •
集計結果の保存と拡散 • smidの自動展開
31.
お願い
32.
協力者募集:主にUI 詳しくは芝尾 (@shibacow)まで
33.
34.
お願い2 ドワンゴさん、 そろそろデータセット
更新して
35.
ThankYou • @shibacow
• http://nicodata.info/
Télécharger maintenant