Soumettre la recherche
Mettre en ligne
元OracleMasterPlatinumがCloudSpanner触ってみた
•
19 j'aime
•
9,033 vues
Kumano Ryo
Suivre
GCPが提供するCloudSpannerの評価(主にWrite QPSの計測)となります。
Lire moins
Lire la suite
Logiciels
Signaler
Partager
Signaler
Partager
1 sur 22
Télécharger maintenant
Télécharger pour lire hors ligne
Recommandé
え、まって。その並列分散処理、Kafkaのしくみでもできるの? Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理
え、まって。その並列分散処理、Kafkaのしくみでもできるの? Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理
NTT DATA Technology & Innovation
Nginx lua
Nginx lua
Moriyoshi Koizumi
Dockerの期待と現実~Docker都市伝説はなぜ生まれるのか~
Dockerの期待と現実~Docker都市伝説はなぜ生まれるのか~
Masahito Zembutsu
アーキテクチャから理解するPostgreSQLのレプリケーション
アーキテクチャから理解するPostgreSQLのレプリケーション
Masahiko Sawada
golang profiling の基礎
golang profiling の基礎
yuichiro nakazawa
Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~
Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~
NTT DATA OSS Professional Services
ストリームデータ分散処理基盤Storm
ストリームデータ分散処理基盤Storm
NTT DATA OSS Professional Services
WiredTigerを詳しく説明
WiredTigerを詳しく説明
Tetsutaro Watanabe
Contenu connexe
Tendances
Apache Avro vs Protocol Buffers
Apache Avro vs Protocol Buffers
Seiya Mizuno
Spanner移行について本気出して考えてみた
Spanner移行について本気出して考えてみた
techgamecollege
実環境にTerraform導入したら驚いた
実環境にTerraform導入したら驚いた
Akihiro Kuwano
Javaのログ出力: 道具と考え方
Javaのログ出力: 道具と考え方
Taku Miyakawa
Dockerfile を書くためのベストプラクティス解説編
Dockerfile を書くためのベストプラクティス解説編
Masahito Zembutsu
CEDEC2021 ダウンロード時間を大幅減!~大量のアセットをさばく高速な実装と運用事例の共有~
CEDEC2021 ダウンロード時間を大幅減!~大量のアセットをさばく高速な実装と運用事例の共有~
SEGADevTech
Apache Spark on Kubernetes入門(Open Source Conference 2021 Online Hiroshima 発表資料)
Apache Spark on Kubernetes入門(Open Source Conference 2021 Online Hiroshima 発表資料)
NTT DATA Technology & Innovation
P4によるデータプレーンプログラミングとユースケースのご紹介
P4によるデータプレーンプログラミングとユースケースのご紹介
Kumapone
Node-v0.12の新機能について
Node-v0.12の新機能について
shigeki_ohtsu
Java Clientで入門する Apache Kafka #jjug_ccc #ccc_e2
Java Clientで入門する Apache Kafka #jjug_ccc #ccc_e2
Yahoo!デベロッパーネットワーク
最近のストリーム処理事情振り返り
最近のストリーム処理事情振り返り
Sotaro Kimura
コンテナの作り方「Dockerは裏方で何をしているのか?」
コンテナの作り方「Dockerは裏方で何をしているのか?」
Masahito Zembutsu
詳説データベース輪読会: 分散合意その2
詳説データベース輪読会: 分散合意その2
Sho Nakazono
単なるキャッシュじゃないよ!?infinispanの紹介
単なるキャッシュじゃないよ!?infinispanの紹介
AdvancedTechNight
Linux/DB Tuning (DevSumi2010, Japanese)
Linux/DB Tuning (DevSumi2010, Japanese)
Yoshinori Matsunobu
NginxとLuaを用いた動的なリバースプロキシでデプロイを 100 倍速くした
NginxとLuaを用いた動的なリバースプロキシでデプロイを 100 倍速くした
toshi_pp
AlloyDBを触ってみた!(第33回PostgreSQLアンカンファレンス@オンライン 発表資料)
AlloyDBを触ってみた!(第33回PostgreSQLアンカンファレンス@オンライン 発表資料)
NTT DATA Technology & Innovation
DockerからKubernetesへのシフト
DockerからKubernetesへのシフト
masaki nakayama
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Noritaka Sekiyama
Docker道場オンライン#1 Docker基礎概念と用語の理解
Docker道場オンライン#1 Docker基礎概念と用語の理解
Masahito Zembutsu
Tendances
(20)
Apache Avro vs Protocol Buffers
Apache Avro vs Protocol Buffers
Spanner移行について本気出して考えてみた
Spanner移行について本気出して考えてみた
実環境にTerraform導入したら驚いた
実環境にTerraform導入したら驚いた
Javaのログ出力: 道具と考え方
Javaのログ出力: 道具と考え方
Dockerfile を書くためのベストプラクティス解説編
Dockerfile を書くためのベストプラクティス解説編
CEDEC2021 ダウンロード時間を大幅減!~大量のアセットをさばく高速な実装と運用事例の共有~
CEDEC2021 ダウンロード時間を大幅減!~大量のアセットをさばく高速な実装と運用事例の共有~
Apache Spark on Kubernetes入門(Open Source Conference 2021 Online Hiroshima 発表資料)
Apache Spark on Kubernetes入門(Open Source Conference 2021 Online Hiroshima 発表資料)
P4によるデータプレーンプログラミングとユースケースのご紹介
P4によるデータプレーンプログラミングとユースケースのご紹介
Node-v0.12の新機能について
Node-v0.12の新機能について
Java Clientで入門する Apache Kafka #jjug_ccc #ccc_e2
Java Clientで入門する Apache Kafka #jjug_ccc #ccc_e2
最近のストリーム処理事情振り返り
最近のストリーム処理事情振り返り
コンテナの作り方「Dockerは裏方で何をしているのか?」
コンテナの作り方「Dockerは裏方で何をしているのか?」
詳説データベース輪読会: 分散合意その2
詳説データベース輪読会: 分散合意その2
単なるキャッシュじゃないよ!?infinispanの紹介
単なるキャッシュじゃないよ!?infinispanの紹介
Linux/DB Tuning (DevSumi2010, Japanese)
Linux/DB Tuning (DevSumi2010, Japanese)
NginxとLuaを用いた動的なリバースプロキシでデプロイを 100 倍速くした
NginxとLuaを用いた動的なリバースプロキシでデプロイを 100 倍速くした
AlloyDBを触ってみた!(第33回PostgreSQLアンカンファレンス@オンライン 発表資料)
AlloyDBを触ってみた!(第33回PostgreSQLアンカンファレンス@オンライン 発表資料)
DockerからKubernetesへのシフト
DockerからKubernetesへのシフト
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Docker道場オンライン#1 Docker基礎概念と用語の理解
Docker道場オンライン#1 Docker基礎概念と用語の理解
En vedette
Snowflake Elastic Data Warehouse as a Service
Snowflake Elastic Data Warehouse as a Service
Mineaki Motohashi
GoogleCloudPlatform概要
GoogleCloudPlatform概要
Kumano Ryo
インフラエンジニアのこれまでとこれから
インフラエンジニアのこれまでとこれから
Kumano Ryo
Datalab and colaboratory
Datalab and colaboratory
Hayato Yoshikawa
福岡クラウドUG-BigQuery
福岡クラウドUG-BigQuery
Wasaburo Miyata
RDBのDBAから見た GCP Managed Database
RDBのDBAから見た GCP Managed Database
Kumano Ryo
Google Container Engine (GKE) & Kubernetes のアーキテクチャ解説
Google Container Engine (GKE) & Kubernetes のアーキテクチャ解説
Samir Hammoudi
こわくない Git
こわくない Git
Kota Saito
インフラエンジニアってなんでしたっけ(仮)
インフラエンジニアってなんでしたっけ(仮)
Akihiro Kuwano
En vedette
(9)
Snowflake Elastic Data Warehouse as a Service
Snowflake Elastic Data Warehouse as a Service
GoogleCloudPlatform概要
GoogleCloudPlatform概要
インフラエンジニアのこれまでとこれから
インフラエンジニアのこれまでとこれから
Datalab and colaboratory
Datalab and colaboratory
福岡クラウドUG-BigQuery
福岡クラウドUG-BigQuery
RDBのDBAから見た GCP Managed Database
RDBのDBAから見た GCP Managed Database
Google Container Engine (GKE) & Kubernetes のアーキテクチャ解説
Google Container Engine (GKE) & Kubernetes のアーキテクチャ解説
こわくない Git
こわくない Git
インフラエンジニアってなんでしたっけ(仮)
インフラエンジニアってなんでしたっけ(仮)
Similaire à 元OracleMasterPlatinumがCloudSpanner触ってみた
CloudSQL v2は デキる子なのか?
CloudSQL v2は デキる子なのか?
Kumano Ryo
SQLおじさん(自称)がBigQueryのStandard SQLを使ってみた
SQLおじさん(自称)がBigQueryのStandard SQLを使ってみた
Kumano Ryo
Cloud Identity-Aware Proxy
Cloud Identity-Aware Proxy
Kumano Ryo
GCPのサーバレス
GCPのサーバレス
Kumano Ryo
Spring Boot + Doma + AngularJSで作るERP (LINE Fukuoka Meetup版)
Spring Boot + Doma + AngularJSで作るERP (LINE Fukuoka Meetup版)
学 松崎
Spring Boot + Doma + AngularJSで作るERP 〜JavaQneバージョン〜 #jqfk
Spring Boot + Doma + AngularJSで作るERP 〜JavaQneバージョン〜 #jqfk
学 松崎
スタートアップだからこそ使うAWS(第5回JAWS-UG Nagoya)
スタートアップだからこそ使うAWS(第5回JAWS-UG Nagoya)
Tomotsune Murata
20190201 multicloud opening_share
20190201 multicloud opening_share
Mai Nagahisa
Cedec2021_モバイルゲーム事業で 大規模スクラム(LeSS)を 導入するまでの1年間とその後
Cedec2021_モバイルゲーム事業で 大規模スクラム(LeSS)を 導入するまでの1年間とその後
aktsk_corporate
How to develop a huge Single Page Application
How to develop a huge Single Page Application
Naoki Yamada
広島出身のアラフォーエンジニアが福岡の20代エンジニアに贈る6つのコトバ
広島出身のアラフォーエンジニアが福岡の20代エンジニアに贈る6つのコトバ
Takashi Kishida
ゲームインフラとGoogle Cloud Platformと酒!
ゲームインフラとGoogle Cloud Platformと酒!
Hasegawa Yusuke
SAPテクノロジーのプラットフォームはMicrosoft Azureで決まり!
SAPテクノロジーのプラットフォームはMicrosoft Azureで決まり!
Ryusaburo Tanaka
SCRUMMASTER THE BOOK翻訳活動における、リモート x モブ実践
SCRUMMASTER THE BOOK翻訳活動における、リモート x モブ実践
ikikko
「八日市にGoogleがやってくる」shig apps様セミナー
「八日市にGoogleがやってくる」shig apps様セミナー
Kenji Tomooka
WordPressの進化とWordPress名古屋コミュニティの進化
WordPressの進化とWordPress名古屋コミュニティの進化
takashi ono
クラウドネイティブが行なういまどきWebサービス開発
クラウドネイティブが行なういまどきWebサービス開発
Yuuji Arakaki
@nullpopopo が考える、未来のプレゼン | 明日に向かって
@nullpopopo が考える、未来のプレゼン | 明日に向かって
Yasutaka Hamada
Being healthy dev and ops in cookpad - Issei Naruta
Being healthy dev and ops in cookpad - Issei Naruta
Devopsdays
さくらとエンジニアの幸せな未来を実現するための組織づくり(Developers Summit 2016 KANSAI)
さくらとエンジニアの幸せな未来を実現するための組織づくり(Developers Summit 2016 KANSAI)
さくらインターネット株式会社
Similaire à 元OracleMasterPlatinumがCloudSpanner触ってみた
(20)
CloudSQL v2は デキる子なのか?
CloudSQL v2は デキる子なのか?
SQLおじさん(自称)がBigQueryのStandard SQLを使ってみた
SQLおじさん(自称)がBigQueryのStandard SQLを使ってみた
Cloud Identity-Aware Proxy
Cloud Identity-Aware Proxy
GCPのサーバレス
GCPのサーバレス
Spring Boot + Doma + AngularJSで作るERP (LINE Fukuoka Meetup版)
Spring Boot + Doma + AngularJSで作るERP (LINE Fukuoka Meetup版)
Spring Boot + Doma + AngularJSで作るERP 〜JavaQneバージョン〜 #jqfk
Spring Boot + Doma + AngularJSで作るERP 〜JavaQneバージョン〜 #jqfk
スタートアップだからこそ使うAWS(第5回JAWS-UG Nagoya)
スタートアップだからこそ使うAWS(第5回JAWS-UG Nagoya)
20190201 multicloud opening_share
20190201 multicloud opening_share
Cedec2021_モバイルゲーム事業で 大規模スクラム(LeSS)を 導入するまでの1年間とその後
Cedec2021_モバイルゲーム事業で 大規模スクラム(LeSS)を 導入するまでの1年間とその後
How to develop a huge Single Page Application
How to develop a huge Single Page Application
広島出身のアラフォーエンジニアが福岡の20代エンジニアに贈る6つのコトバ
広島出身のアラフォーエンジニアが福岡の20代エンジニアに贈る6つのコトバ
ゲームインフラとGoogle Cloud Platformと酒!
ゲームインフラとGoogle Cloud Platformと酒!
SAPテクノロジーのプラットフォームはMicrosoft Azureで決まり!
SAPテクノロジーのプラットフォームはMicrosoft Azureで決まり!
SCRUMMASTER THE BOOK翻訳活動における、リモート x モブ実践
SCRUMMASTER THE BOOK翻訳活動における、リモート x モブ実践
「八日市にGoogleがやってくる」shig apps様セミナー
「八日市にGoogleがやってくる」shig apps様セミナー
WordPressの進化とWordPress名古屋コミュニティの進化
WordPressの進化とWordPress名古屋コミュニティの進化
クラウドネイティブが行なういまどきWebサービス開発
クラウドネイティブが行なういまどきWebサービス開発
@nullpopopo が考える、未来のプレゼン | 明日に向かって
@nullpopopo が考える、未来のプレゼン | 明日に向かって
Being healthy dev and ops in cookpad - Issei Naruta
Being healthy dev and ops in cookpad - Issei Naruta
さくらとエンジニアの幸せな未来を実現するための組織づくり(Developers Summit 2016 KANSAI)
さくらとエンジニアの幸せな未来を実現するための組織づくり(Developers Summit 2016 KANSAI)
元OracleMasterPlatinumがCloudSpanner触ってみた
1.
元Oracle Master Platinumが Cloud
Spannerを触ってみた 熊野 良(Ryo Kumano) Groovenauts,Inc. / GCPUG Fukuoka
2.
熊野 良 (Ryo
Kumano) Twitter: @ryok0607 2014/06 〜 株式会社グルーヴノーツ JOIN - 肩書きは 「サーバエンジニア・データベースエンジニア」 - GCP上で稼動している自社サービスのインフラ設計・構築・運用を担当 - 2015/08 〜 東京 -> 福岡に移住 2016/12 〜 GCPUG Fukuoka 運営 JOIN - 他の運営メンバと発表会やもくもく会の開催など 過去(5年以内)に携わった業務 - 国内大手B2Cサイトのインフラ設計・構築・運用・DB設計・チューニング など 自己紹介
3.
祝!ピクシブ様 福岡オフィスご開設 おめでとうございます!! (画像はイメージです)
4.
Cloud Spannerの話の前に 自社の宣伝を させてください!
5.
https://www.magellanic-clouds.com/blocks/
6.
Agenda ● CloudSpanner概要 ● 既存DBからの乗換えって? ●
性能ってどんなもんなの?
7.
Cloud Spannerとは - Google社のクラウドサービス(GCP)で提供開始されたデータベース (2017/3/3時点beta) -
Google社ではもっと前から社内での利用実績あり。 - 地球規模の大規模分散を実現し、世界中にサーバを分散。 - NoSQLのスケーラビリティとRDBの一貫性を両立させた。 - トランザクション処理はMVCCではなくtimestampを用いて制御する。 - サーバの時刻同期はGPSや原子時計を用いて、どのサーバもズレがないようにし ている ズルいとは思うのですが、詳細は有識者(中井 悦司さん)の資料を 見ていただくのがまずは良いと思います。 https://www.slideshare.net/enakai/spanner-72217077
8.
既存RDBからの乗換えって? 今の所、しんどいです。(まだbetaなので今後に期待) - DB接続ドライバが新規になる - RDS->Auroraのようにコードの再利用不可 -
Table設計、特にPrimaryKeyを再検討する必要がある - PKにNOT NULL制約が付与されず、 Indexも貼られない。 - AUTO_INCREMENTやSEQUENCEのような自動採番機能がない。 - というか従来のID採番の設計だと書込サーバが偏りボトルネックになる恐れがある。 https://cloud.google.com/spanner/docs/best-practices#choosing_a_primary_key - その他 - Table毎のアクセス制限ができない - View機能がない - Point in time Recoveryができない - DML文がサポートされてない ...など結構クセが強い。
9.
性能ってどんなもんなの? カタログスペック上、パフォーマンスは特別に優れいているわけではない。 - Read 10,000
QPS (Query Per Seconds) - Write 2,000 QPS ん?『各Spannerノード』と言っている?
10.
一般的なDBのMaster-Slave構成 ということは? Spannerインスタンスを増やせば増やすほどパフォーマンスが上がると推測。 疑問: Readはまぁ分かる。 Writeも本当にパフォーマンス上がるのか?? ReadOnl y Instance Write Instance replication ReadOnly Instanceは 増やせる Write Instanceは 増やせない
11.
計測項目・計測方法 カタログスペックに記載されている 1KB/Record のデータをINSERTする処理を 8台のGCE
(n1-highmem-8)から実行する。 Spannerのnode数を1台ずつ増やしていき、性能(QPS)を計測する。
12.
Spanner node 1台 カタログスペック
2,000 QPS に対して 8,000 QPS出てる。 話が違う!(いい意味で)
13.
Spanner node 2台 13,000QPSを突破。 確かに性能があがっている。
14.
Spanner node 3台 15,000QPSを突破。 順調に右肩上がりに伸びてる。
15.
Spanner node 4台 20,000QPSを突破。 一般的なシステムでは十分。
16.
Spanner node 5台 25,000QPSを突破。 まだ伸びるか!?
17.
Spanner node 6台 遂に
30,000QPSを突破! すごくね?すごくね??
18.
Spanner node 7台 あれ・・・? 数値が伸びなくなってきた。
19.
Spanner node 6台以降は頭打ち 9
nodeまで試しましたが 30,000 QPS前後を 行ったり来たり。
20.
頭打ちした原因 Spanner側の限界ではなく、Bench Server側の限界の可能性が高い。 Bench Serverの台数を増やすか、ツールのチューニングを行うことで より高い数値が出せるのではと推測。 こっち側が限界で パツった! 30,000
QPS以上 いけるはず。
21.
まとめ ● Cloud Spannerは既存のRDBからの移行が難しいので 既存システムの移行ではなく、新規システムへの 導入検討がよさそう。 ●
とはいえまだbetaなのか運用する上での機能は心もとない。 機能追加と共に導入時期を見計らいたい。 ● 性能は今の所底が見えない。 よほど当たっているゲームサービス等でなければ 数字的には耐えられると判断。 ということで、今後の機能追加に超期待しています!!
22.
ご清聴ありがとうございました。
Télécharger maintenant