TensorFlowとCNTK
•Télécharger en tant que PPTX, PDF•
17 j'aime•8,782 vues
2016年4月4日のクラウド研究会 @ Googleでの丸山の講演資料です。
Recommandé
Contenu connexe
Tendances
Tendances (20)
Similaire à TensorFlowとCNTK
Similaire à TensorFlowとCNTK (20)
Plus de maruyama097
Plus de maruyama097 (20)
TensorFlowとCNTK
- 2. Agenda ニューラル・ネットワークと技術革新の展望 クラウドとモバイルへのインパクト 我々自身がデータをもつことの重要性 ニューラル・ネットワーク技術の共通の基礎 訓練と実行 グラフ表現とモジュール構造 パラメーター変更のアルゴリズム TensorFlowとCNTK CNTKの高速化チューニング TensorFlowの大規模分散化
- 4. クラウドとモバイルへのインパクト クラウド・ビジネスの新しい市場 新しいスタイルのモバイル・アプリ GCPNEXTから 技術とビジネス --- Googleの場合 今後の展望
- 5. ニューラル・ネットワークの 訓練と推論実行の「非対称性」 ニューラル・ネットワークでの計算は、データ学習を行う 「訓練」と「推論実行」の大きく二つのフェーズに分かれる。 訓練では、膨大なデータを繰り返し学習して、ニューラル・ ネットワーク内部のパラメーターを、少しづつ修正していく。 それは、大規模で時間のかかるバッチ処理になる。 しかし、こうしていったん学習されたパラメーターを利用す れば、推論（数値予測・クラス分類等）を実行するのは、ス マホ上でもリアルタイムに可能なぐらい、軽い処理になる。 ニューラル・ネットワークの訓練と実行の二つのフェーズ の、必要とされる処理能力の大きな「非対称性」は、今日 のITの基本的なインフラであるクラウドとモバイルの双方 の今後に、大きなインパクトを与えていくだろう。
- 6. 「訓練」のサービス提供 クラウド・ビジネスの新しい市場 訓練のフェーズで必要とされる、膨大なデータ処理の能力 は、クラウド・ビジネスに、訓練のサービスを提供するとい う、これまでになかった新しい市場を提供していくだろう。 今回のGCPNEXTでは、商業サービス公開の発表はな かったが、Google Cloud Machine Learningがター ゲットとしているのは、そうした市場だ。このクラウドの新し い市場でも、Googleは先行しているように見える。 小論 のPart IIIでも述べるように、Googleは、TensorFlow の大規模分散化に注力している。
- 7. Google Cloud Machine Learning GCPNEXT 2016 でのJeff Dean
- 8. 新しいスタイルのモバイル・アプリ 学習の成果が、モバイル上でも実行可能なことは、ネイ ティブ・アプリともWebアプリともことなった第三のスタイル のモバイル・アプリが生まれることを意味する。それは、プ ログラムではなく、訓練済みのデータに基づいて動作する。 既に、TensorFlowではGoogleの画像認識の Inception相当モデルが、ネットワーク接続なしでも Android上で動くサンプルが提供されている。これは、驚 異的なものだ。 ここではまた、クラウドがモバイルにリアルタイムのAI サービスを提供することも可能になる。今回公開された Speech APIやVision APIは、そうしたものだ。当然、ク ラウド上・モバイル上のそれらのハイブリッド・アプリが生 まれてくるだろう。
- 9. Cloud Vision API GCPNEXT 2016 から
- 10. Cloud Vision API GCPNEXT 2016 から
- 11. Cloud Vision API GCPNEXT 2016 から
- 12. Cloud Vision API GCPNEXT 2016 から
- 13. Cloud Vision API GCPNEXT 2016 から
- 14. Cloud Vision API GCPNEXT 2016 から
- 15. Cloud Speech API GCPNEXT 2016 から
- 16. Use your own data to train models GCPNEXT 2016 から
- 24. 今後の展望 新しい分散処理技術と言語理解へ それらをコントロールする技術は、人間の脳が、感覚・運 動器官として相対的には独立した、眼・耳・口・ ... をコン トロールしているのに似た、新しいハードウェアの利用を 含む、ソフトウェアだけに閉じない新しい分散処理技術の 時代の扉を開いて行くだろう。 ニューラル・ネットワークの最先端の研究は、RNN/LSTM に移行している。そこでの中心的な課題は、Sequence to Sequence と言われる、基本的には、言語理解に関 わる問題である。この分野でも、大きな展開が起きる可能 性がある。そうした飛躍が可能になれば、その応用分野 は広大である。
- 27. 我々自身がデータをもつことの重要性 機械学習の基本 基本的なデータたち Human Computing どう、データをつくるか？
- 34. The Penn Treebank Project https://www.cis.upenn.edu/~treebank/ Pennsylvania大学 https://www.ldc.upenn.edu/
- 35. The Penn Treebank Project
- 37. Human Computing 「人間には容易でも機械には難しいこと」 Captcha 画像のラベル付け （with Google） Duolingo ゲミフィケーションとクラウド・ソーシング
- 38. 人間の自由時間の利用 2003年に、ソリティアを遊んだ、人間の総時間は、 90億時間。 ある人たちは、コンピュータの無駄な計算サイク ルについて話をしているが、人間の無駄なサイク ルについては、どうなんだろう？ エンパイア・ステートビルを作るために、人間が 使った時間は、700万時間。 パナマ運河を作るために、人間が使った時間は、 2000万時間。（ソリティアの一日分以下） Carnegy Melon Univ. Luis von Ahn
- 39. Most human can pass, but current computer can not pass.
- 41. http://www.youtube.com/watch?v=tx082gDwGcM Human Computing / Crowd Sourcing 2012年 Google TechTalk
- 43. ニューラル・ネットワーク技術の 共通の基礎 訓練と実行 グラフ表現とモジュール構造 パラメーター変更のアルゴリズム Part II
- 44. ニューラル・ネットワーク技術の 共通の基礎 ニューラル・ネットワークの様々なフレーム ワークが提案されている。ただ、それらの基礎 にあるのは、共通のものだ。ここでは、次の三 点で共通性を見ることにする。 訓練の定義と実行 グラフ表現とモジュール構造 パラメーター変更のアルゴリズム
- 45. 訓練の定義と実行 訓練の実行 -- TensorFlowとCNTK 訓練の定義 -- TensorFlowとCNTK Part II ニューラル・ネットワーク技術の共通の基礎
- 46. 訓練の定義と実行 ニューラル・ネットワークの学習は、基本的には、次のような ステップからなる。 訓練の定義 推論を行うネットワーク・グラフの定義 学習、すなわち、ネットワークのパラメーターの変更を行うアルゴ リズムの定義 訓練、すなわち、データでの繰り返し学習を行う、繰り返しの定義 ... 訓練の実行
- 48. 訓練の実行例 TensorFlow $ python –m モデル $ python -m tensorflow.models.image.mnist.convolutional tensorflor-master/tensorflow/ 以下
- 51. 訓練の実行例 CNTK $ cntk configFile=cntk ファイル $ cntk configFile=../Config/02_Convolution.cntk CNTK/Examples/ 以下
- 54. 訓練の定義 -- TensorFlowとCNTK TensorFlowとCNTKの訓練の定義を比較してみよう。 TensorFlowはPythonで手続きをベタに記述し、 CNTKは宣言的なDomain Specific Languageを 使う。違いが目立つが、グラフの定義・最適化のアル ゴリズムの指定・訓練の繰り返しの指定等で、基本的 な対応が見え始める。
- 55. # Create the model x = tf.placeholder("float", [None, 784]) W = tf.Variable(tf.zeros([784, 10])) b = tf.Variable(tf.zeros([10])) y = tf.nn.softmax(tf.matmul(x, W) + b) # Define loss and optimizer y_ = tf.placeholder("float", [None, 10]) cross_entropy = -tf.reduce_sum(y_ * tf.log(y)) train_step = tf.train.GradientDescentOptimizer(0.01) .minimize(cross_entropy) # Train tf.initialize_all_variables().run() for i in range(1000): batch_xs, batch_ys = mnist.train.next_batch(100) train_step.run({x: batch_xs, y_: batch_ys}) グラフの定義 最適化の アルゴリズム グラフで訓練 繰り返し https://goo.gl/MwscZO 訓練の定義例 TensorFlow
- 56. ndlMacros = "$ConfigDir$/Macros.ndl” train = [ action = "train” NDLNetworkBuilder = [ networkDescription = "$ConfigDir$/02_Convolution.ndl” ] < ndlは、Net Definition Language 次にリストを示す> SGD = [ epochSize = 60000 minibatchSize = 32 learningRatesPerMB = 0.5 momentumPerMB = 0*10:0.7 maxEpochs = 15 ] reader = [ ... ] ] 訓練の定義例 CNTK グラフの定義 繰り返し の指定
- 57. .... run = DNN // 実際に DNNという名前のグラフを構成する ndlMnistMacros = [ .... ] DNN = [ .... <省略： グラフの定義の一部を次ページに示す ＞ .... ce = CrossEntropyWithSoftmax(labels, ol ) err = ErrorPrediction(labels, ol) # Special Nodes FeatureNodes = (features) LabelNodes = (labels) CriterionNodes = (ce) EvalNodes = (err) OutputNodes = (ol) ] 最適化の アルゴリズム 02_Convolution.ndl 最適化の定義 CNTK
- 58. DNN = [ .... # conv1 kW1 = 5; kH1 = 5; cMap1 = 16 hStride1 = 1; vStride1 = 1 # weight[cMap1, kW1 * kH1 * inputChannels] # ConvReLULayer is defined in Macros.ndl conv1_act = ConvReLULayer(featScaled, cMap1, 25, kW1, kH1, hStride1, vStride1, 10, 1) # pool1 ... # conv2 ... # pool2 ... # DNNImageSigmoidLayer and DNNLayer are defined in Macros.ndl h1 = DNNImageSigmoidLayer(4, 4, cMap2, h1Dim, pool2, 1) ol = DNNLayer(h1Dim, labelDim, h1, 1) ce = CrossEntropyWithSoftmax(labels, ol) ... ] 02_Convolution.ndl グラフの定義 CNTK Macros.ndlを参照している
- 59. ConvReLULayer(inp, outMap, inWCount, kW, kH, hStride, vStride, wScale, bValue) = [ convW = LearnableParameter(outMap, inWCount, init="uniform", initValueScale=wScale) convB = ImageParameter(1, 1, outMap, init="fixedValue", value=bValue, imageLayout=$imageLayout$) conv = Convolution(convW, inp, kW, kH, outMap, hStride, vStride, zeroPadding=false, imageLayout=$imageLayout$) convPlusB = Plus(conv, convB); act = RectifiedLinear(convPlusB); ] DNNImageSigmoidLayer(inW, inH, inC, outDim, x, parmScale) = [ ... ] DNNLayer(inDim, outDim, x, parmScale) = [ W = LearnableParameter(outDim, inDim, init="uniform", initValueScale=parmScale) b = LearnableParameter(outDim, 1, init="uniform", initValueScale=parmScale) t = Times(W, x) z = Plus(t, b) ] Macro.ndl グラフの定義 CNTK マクロを見るとネットワークの 見慣れた形が見えてくる
- 60. ニューラル・ネットワークの グラフ表現とモジュール構造 DNNのグラフ表現とモジュール構造 CNNのグラフ表現とモジュール構造 RNNモジュールの数式による表現 Part II ニューラル・ネットワーク技術の共通の基礎 丸山の次の資料を参照されたい https://goo.gl/Q0mKfy
- 62. DNNのグラフ表現とモジュール構造 まずは、基本的な DNN (Deep Neural Network)のグラフ表現とモジュール構造を 見ていこう
- 65. 積X W 和 b φ 積 W 和 b φ 隠れ層の ニューロン数:15 重み WH：784x15次元 バイアス bH：15次元 出力層の ニューロン数:10 重み WO：15x10次元 バイアス bO：10次元 入力層 隠れ層 出力層 こっちのグラフの方が、ずっとわかりやすい！ 隠れ層の 入力：784 784次元 TensorFlowのグラフ
- 70. # Hidden 1 with tf.name_scope('hidden1'): weights = tf.Variable( tf.truncated_normal([IMAGE_PIXELS, hidden1_units], stddev=1.0 / math.sqrt(float(IMAGE_PIXELS))), name='weights') biases = tf.Variable(tf.zeros([hidden1_units]), name='biases') hidden1 = tf.nn.relu(tf.matmul(images, weights) + biases) # Hidden 2 with tf.name_scope('hidden2'): weights = tf.Variable( tf.truncated_normal([hidden1_units, hidden2_units], stddev=1.0 / math.sqrt(float(hidden1_units))), name='weights') biases = tf.Variable( tf.zeros([hidden2_units]), name='biases') hidden2 = tf.nn.relu(tf.matmul(hidden1, weights) + biases) # Linear .... .... TensorFlowでのDNNモジュールの記述例 DNNモジュールが、φ(X・W+b)の形を していることは、簡単に確認できる。
- 71. DNN = [ hiddenDim = 200 # DNNSigmoidLayer and DNNLayer are defined in Macros.ndl h1 = DNNSigmoidLayer(featDim, hiddenDim, featScaled, 1) ol = DNNLayer(hiddenDim, labelDim, h1, 1) ce = CrossEntropyWithSoftmax(labels, ol) err = ErrorPrediction(labels, ol) # Special Nodes FeatureNodes = (features) LabelNodes = (labels) CriterionNodes = (ce) EvalNodes = (err) OutputNodes = (ol) ] CNTKでのDNNモジュールの記述例 DNNSigmoidLayer, DNNLayerの 定義は、Macro.ndｌの中にある。
- 72. DNNLayer(inDim, outDim, x, parmScale) = [ W = LearnableParameter(outDim, inDim, init="uniform", initValueScale=parmScale) b = LearnableParameter(outDim, 1, init="uniform",initValueScale=parmScale) t = Times(W, x) z = Plus(t, b) ] DNNSigmoidLayer(inDim, outDim, x, parmScale) = [ W = LearnableParameter(outDim, inDim, init="uniform", initValueScale=parmScale) b = LearnableParameter(outDim, 1, init="uniform",initValueScale=parmScale) t = Times(W, x) z = Plus(t, b) y = Sigmoid(z) ] CNTKマクロでのDNNモジュールの記述例 DNNモジュールが、φ(X・W+b)の形を していることは、簡単に確認できる。
- 74. 複雑なCNNのグラフ http://www.cs.unc.edu/~wliu/papers/GoogLeNet.pdf “Going Deeper with Convolutions” Google Inception この二つを区別する！
- 80. CNTKマクロでのCNNモジュールの記述例 ConvReLULayer(inp, outMap, inWCount, kW, kH, hStride, vStride, wScale, bValue) = [ convW = LearnableParameter(outMap, inWCount, init="uniform", initValueScale=wScale) convB = ImageParameter(1, 1, outMap, init="fixedValue", value=bValue, imageLayout=$imageLayout$) conv = Convolution(convW, inp, kW, kH, outMap, hStride, vStride, zeroPadding=false, imageLayout=$imageLayout$) convPlusB = Plus(conv, convB); act = RectifiedLinear(convPlusB); ] このCNNモジュールは、 φ(Conv(X,W, ...)+b)の 形をしている。
- 81. 次回マルレク予告 Convolutional Network 入門講座 日時： 5月13日 19:00~ 場所： TIS 西新宿 定員： 200名 Convolutional Networkは、現在のニューラル・ネットワー ク技術の中心的な技術で、また、もっとも成功した技術でもあ ります。講演では、ニューラル・ネットワークを学び始めた人を 対象に、CNNの基本をわかりやすく解説します。
- 82. RNNモジュールの数式による表現 現在、もっとも活発に研究されている RNN (Recurrent Neural Network)のモジュー ル構造を見てみよう。ただし、そのグラフ表現 は複雑であり、モジュールの数式による表現 を併用したほうが、見通しは良くなる。
- 83. 少し複雑なRNNのグラフの例（これは、LSTMのセ ル） σ(sigmoidのこと), tanh は、活性化関数 次の式をグラフで 追ってみるといい。 Chris Olah "Understanding LSTM Networks" http://colah.github.io/posts/2015-08-Understanding-LSTMs/
- 88. ニューラル・ネットワークの パラメーター変更のアルゴリズム Gradient Descent Stochastic Gradient Descentと mini-batch Back Propagation Automatic Differentiation Part II ニューラル・ネットワーク技術の共通の基礎
- 90. Gradient Descentの基本 損失関数を定めて、誤差を最小にするパラメータを求める 次の図で、サンプル中のi 番目の点を (x(i), y(i))とすれ ば、y=ax+b上の点と点 (x(i), y(i)) との垂直方向の誤 差は、 (ax(i)+b) – y(i) となる。 誤差は、正負の値をとるので、単純に、誤差の平均を取っ ても、打ち消しあって、全体としての誤差の大きさはわか らなくなる。 そこで、誤差の二乗をとって、その平均を最小にすること を考える。 a, b の関数である、この誤差の二乗の平均を、損失関数 とすればいい。 線形回帰の場合
- 91. 誤差 誤差 誤差 誤差 データの各点と、y=ax+b との誤差が、 もっとも小さくなるように、a,b の値を修正する。 (x(i), y(i)) (ax(i)+b) – y(i) ( ax(i)+b), y(i) ) 誤差の二乗をLoss関数にする こうした形の損失関数を、 “quadratic cost” という
- 92. 仮説: パラメーター: a, b 損失関数: 目標: 問題の整理 y(x) = ax + b a, b y a, b a, b
- 93. 損失関数 J(a, b)は、a,b についての関数で、 この例では、次のような形をしている a b
- 95. どう、重みとバイアスを修正するのか？ もう少し、一般的に、Gradient Descent をまとめてみよう。 損失関数をCとするとき、次の式に従って、重みWkと バイアスbl を変更すればいい。 損失関数が、 ここで見た、quadratic costの形をしていない 場合（例えば、 Cross Entropyの場合）でも、この考え方は、 変わらない。 ηは学習率
- 98. 二項分類のLogistic回帰の場合 コスト関数 （Log Likelihood） Logitic回帰の微分も、線形回帰の場合のQuadratic Cost の微分と同じ形になる！計算は省略したが、次の文献を参照 されたい。“CS229 Lecture notes” http://cs229.stanford.edu/notes/cs229-notes1.pdf
- 99. NDLNetworkBuilder = [ run = ndlLR ndlLR = [ .... # parameters to learn B = Parameter(LDim, 1) W = Parameter(LDim, SDim) # operations t = Times(W, features) z = Plus(t, B) s = Sigmoid(z) LR = Logistic(labels, s) EP = SquareError(labels, s) # root nodes FeatureNodes = (features) LabelNodes = (labels) CriteriaNodes = (LR) EvalNodes = (EP) OutputNodes = (s) ] ] Logistic(label, s) = -sum(labels * log(s) + (1 - labels) * log(1 - s) ) CNTKでの Logistic回帰の ネットワーク定義例
- 101. Stochastic Gradient Descent ここでは、まず、訓練実行の三つのスタイル、 Batch, SDG, mini-Batch の違いを見る。 実際の応用では、mini-Batchを用いるのが 一般的である。最後に、mini-Batchも、その 確率論的性格から、SDGと呼ばれることを述 べる。
- 111. F1(X0 , W1) Fi(Xi-1 , Wi) Fn(Xn-1 , Wn)Wn Wi W1 X0 (入力) n層のネットワークの 前向きの推論。 推論の結果を X とし よう。 簡単にするために、 バイアスの項 bi は 省略している。 Xi-1 Xi X 省略 前向きの推論
- 112. F1(X0 , W1) Fi(Xi-1 , Wi) Fn(Xn-1 , Wn)Wn Wi W1 X0 (入力) Y (期待される出力) Cost C(X,Y, ...) 前向きの推論の結果 Xは、Cost関数（Loss 関数・損失関数）で、 期待される出力Yと比 較される。 その結果をCとしよう。 X Xi Xi-1 省略 Cost関数
- 113. F1(X0 , W1) Fi(Xi-1 , Wi) Fn(Xn-1 , Wn)ｄC/dWn Cost C(X,Y, ...) 各層の出力Xi につい て、Cに対する勾配 ｄC/dXiが計算される。 同様に、各層の重み Wi について、Cに対す る勾配ｄC/dWi が計算 される。この値に基づい て重みは更新される。 ｄC/dWi ｄC/dW1 ｄC/dX ｄC/dXi ｄC/dXi-1 X Xi Xi-1 省略 Back propagation /Gradient
- 114. F1(X0 , W1) Fi(Xi-1 , Wi) Fn(Xn-1 , Wn)ｄC/dWn Cost C(X,Y, ...) Xi = Fi(Xi-1,Wi) なので、 dC/dXi-1 = dC/dXi ・ dXi/dXi-1 = dC/dXi ・ dFi(Xi-1,Wi)/dXi-1 dC/dWi = dC/dXi ・ dXi/dWi = dC/dXi ・ dFi(Xi-1,Wi)/dWi ｄC/dWi ｄC/dW1 ｄC/dX ｄC/dXi ｄC/dXi-1 省略 Chain Rule
- 115. [Appendix] Automatic Differentiation Back Propagationは、Reverse Automatic Differentiation の応用である。それは記号処理に よる微分でも、数値計算による微分でもない。 “Calculus on Computational Graphs: Backpropagation” http://colah.github.io/posts/2015-08-Backprop/ “Automatic Differentiation” https://en.wikipedia.org/wiki/Automatic_differentiati on
- 119. このように、直接隣り合った項の偏微分は簡単である。 それでは、離れた項の偏微分はどうなるだろうか？ ∂e/∂a を考えてみよう aが１だけ変化した時、cは1だけ変化する。 cが１だけ変化した時、eは1だけ変化する。 だから、 aが１だけ変化した時、eは1*2だけ 変化する。 だから、 ∂e/∂a = 2 まあ、式で書けば、 ∂e/∂a= ∂e/∂c ・ ∂c/∂a = 2*1 =2 ということなのだが
- 120. このように、直接隣り合った項の偏微分は簡単である。 それでは、離れた項の偏微分はどうなるだろうか？ 今度は、∂e/∂b を考えてみよう bの変化がeに与える道は、二つある。 先と同じように考えて、aの一つの変化は、 緑の経路で 1*2 青の経路で 1*3 の影響を与える。 だから、 ∂e/∂b = 1*2 + 1*3 = 5 まあ、式で書けば、 ∂e/∂a= ∂(c*d)/∂b = c*∂d/∂b + ∂c/∂b*d = 3*1+ 1*2 =5 ということなのだが
- 121. 今、ノードXからノードYに三つの道 α, β, γ が、 ノードYからノードZに三つの道 δ, ε, ζ があったとしよう。 XからZには、3*3=9通りの道がある。それらの道を、αδ のように積の形で表せば、ZをXで偏微分したものは、先に 見たように、可能な全ての道の寄与分を足し合わせたもの である。 この形の方が見やすい。
- 124. Forward-Mode Differentiation (これは、入力 bについての場合) Forward-Mode Differentiation では、一つの特定の入力について、 全てのノードが受ける影響が計算 される。 入力パラメータの数だけ、 計算が必要。計算は 膨大になる。
- 125. Reverse-Mode Differentiation Reverse-Mode Differentiation では、一つの出力について、全ての ノードが与える影響の計算は、 一回で済む。 隣り合ったノードの微分 （茶色）を計算しておけば 一つ経路上で掛け算 をし、全経路分 を足せばいい。 Reverse-Mode Differentiationは、 Back Propagationの計算法
- 128. CNTKの高速化チューニング 1-bit Quantaized SGD ループ検出 前向き推論の効率化 勾配計算の効率化 メモリー共有 Part III TensorFlowとCNTK
- 130. 1-bit Quantaized SGD モデルのパラメーターや出力を量子化するよりも、勾配を 量子化する方が、はるかに安全である。（勾配の値は小さ く、いずれにしても、ノイズが多い。） 次のミニバッチに、切り捨てられた量子化の残りの部分を 持ち越すことは重要である。 更に、一つの勾配を処理している間に、double- bufferingを行う隠れた通信で、一つの勾配を送る。 勾配の同期に、O(1) 通信スケジューラーを使う。 できるだけ早く、それぞれのGPUをフル活用するために、 GPUの処理サイズに合わせてミニバッチのサイズを大きく する。
- 133. ループ検出とシーケンス長のチェック （RNNの場合） ネットワークのループを検出する賢いアルゴリズムを開発 したので、次のようなことが可能となった。 任意のCNから、ループを見つける。 すべてのミニバッチの計算で、ループ内のノードを除外す る。 複数のシーケンスを長さごとにグループ分けする。同じ長 さのシーケンスのバッチのみをサポートするツールより、 収束の性質がいい。
- 138. 勾配計算の効率化 勾配計算は、すべてのノードにとって必要なわけではない。 データノードに、patameterUpdateRequired=false と設定して、これらのノードは、needGradient=falseで あることを示す。 深さ優先の探索で、このフラグをグラフの上の方に伝播さ せる。プログラムは、次のリスト。 needGradient=true の場合のみ、勾配を計算する。
- 140. Memory Sharing ミニバッチを通じて、同じメモリーを使う。それぞれのミニ バッチのたびに、メモリーを消したり再配置しない。 可能な場合には、計算ノードでメモリーを共有する。 実行プランを分析して、可能ならば、他のノードないしは計算で再 利用されるように、メモリーをプールに解放する。 例えば、あるノードが、子のノードの勾配をすべて計算しおえたな ら、そのノードが持っている行列は、すべて、解放できる。 大部分の場合、訓練では、メモリーを1/3から1/2削減できる。 勾配計算が必要でなければ、もっと、多くのメモリーを削減できる。
- 145. TensorFlowの大規模分散化 NIPS 2015 スライドから White Paper から GitHubから 分散TensorFlow 用語のまとめ Part III TensorFlowとCNTK
- 147. 一つのデバイスでのパフォーマンスは重要です。 ... しかし、最も 大きなパフォーマンスの改良は、モデル・パラレルとデータ・パラレル を備えた、大規模分散システムによってもたらされます。 Google TensorFlowの 基本的な考え方
- 148. 一回の実験に必要な時間と研究の生産性 数分あるいは数時間単位 インタラクティブな研究。すぐに満足が得られる。 1〜４日 耐えられる。インタラクティブではなくなるが、代わりに複 数の実験を並行して走らせることができる。 1~4週 高い価値のある研究のみ。進行は止まる。 1ヶ月以上 やろうとも思わない。
- 149. TensorFlowの分散処理 NIPS 2015 スライドから NIPS 2015のスライドから、TensorFlowの 分散処理の特徴を見ておこう。 https://media.nips.cc/Conferences/2015/tutorialslides/ Jeff-Oriol-NIPS-Tutorial-2015.pdf
- 150. モデル・パラレル 訓練時間を減らす最良の方法：ステップ時間を減らす。 たくさんのモデルに、モデル固有の並行性がある。 問題は、通信がそれを妨げないように、仕事を分散させる ことである。 CNNにみられる、局所的な関連性 AlexNetが、その例だが、タワー同士は、ほとんど、あるいはまっ たく、関連を持たない。 モデルの特定の部分は、あるサンプルでしか動いていない。
- 151. GPU 1 GPU 2 学習された Kernel GPU 1 GPU 2 AlexNet http://www.cs.toronto.edu/~fritz/absps/imagenet.pdf
- 152. モデル・パラレルを開発するには 単一コア: 命令の並列化（SIMD）。とても自由にできる。 コアをまたぐ： スレッドの並列化。ソケットをまたがなければ、 ほとんど自由にできる、ソケットをまたぐ場合には、ソケット 間の帯域が問題になる。（InteｌのQPI） デバイスをまたぐ： GPUではPCIeの帯域に、制限されるこ とがよくある。 マシンをまたぐ： ネットワークの帯域・遅延に制限される。：
- 157. データ・パラレル 同時に、異なるデータ・サンプルを処理するように、複数 のモデルのレプリカを利用する。 モデルの状態（パラメーター）の更新は、共有パラメーター・サー バー上で、全て共同して行う。 スピードアップは、モデルの種類に大きく依存する。 密なモデルでは、50のレプリカで、10から40倍のスピードアップ 疎なモデルでは、もっと多くのレプリカをサポートする。1000台も のレプリカを利用できる。
- 158. データ・パラレル
- 159. データ・パラレル
- 160. データ・パラレル
- 161. データ・パラレル
- 162. データ・パラレル
- 163. データ・パラレル
- 164. データ・パラレルの選択 同期的に可能か？ N個のレプリカは、バッチ・サイズをN倍大きくすることに等しい。 利点：勾配の計算は、常に新しい 弱点：一つのマシンが落ちた場合、リカバリーが必要なので、耐 障害性に問題がある 非同期に可能か？ 利点：一つのモデル・レプリカが落ちても、それが他のレプリカを ブロックすることはないので、相対的には、耐障害性は高い 弱点：勾配が新しいとは限らないということは、その勾配が、効果 的なものではないということ モデルの計算時間が、ネットワーク上でのパラメーターの send/receiveに要する時間より大きくなるようにする
- 165. データ・パラレルの成功 Googleの問題（非常に大規模なデータセット、大規模な モデル）の多くにとって、データ・パラレルは、実際に重要 である RankBrain は、500のレプリカを使っている ImageNet Inception は、訓練に 50個のGPUを 使って、 40倍のスピードアップ SmartReply は、それぞれ複数のGPUを持つ、16の レプリカを使う 最新の学習機械 “One Billion Word” のベンチマー クモデルは、32のGPU上で、データ・パラレルとモデル・ パラレルの両方を使っている
- 168. TensorFlowの分散処理 White Paperから 分散TensorFlowの実装は、今年公開された のだが、その仕様については、昨年の TensorFlowの公開時に発表されたWhite Paperに、既に詳しく述べられていた。 White Paperの記述を振り返ろう。 http://download.tensorflow.org/paper/whitepaper2015.pdf 丸山訳 https://goo.gl/z6pQV8
- 170. デバイス
- 171. デバイスの名前 デバイスの名前は、デバイスの型(CPU/GPU)とワーカー の中でのデバイスのインデックスを含む。 分散設定では、ワーカーのジョブとタスクを指定する。（プ ロセスに対してデバイスがローカルな場合には、 localhosｔが用いられる） デバイス名の例は、次のようになる。 "/job:localhost/device:cpu:0" "/job:worker/task:17/device:gpu:3"
- 172. 複数デバイスでの実行の課題 システムが複数デバイスの場合、主に二つほど厄介なこ とがある。 ノードの配置：一つは、グラフ上のそれぞれのノードにつ いてどのデバイスを実行配置につかさせるかを決定する ことである。（ノードとデバイスの対応付け）。 デバイス間通信：もう一つは、その後で、この配置決定 によって導かれるデバイスの境界をまたいで要求される データ通信を管理することである。
- 173. ノードの配置 配置アルゴリズムは、最初に、そのグラフ実行のシミレー ションを走らせる。このシミレーションは、グラフ中のそれ ぞれのノードについて、 greedy heuristics を使って一 つのデバイスを選択して終わる。このシミレーションで生 成された、ノードのデバイスへの配置は、実際の実行での 配置でも利用される。 TensorFlowのクライアントは、ノードについて、どのデバ イスが実行可能かについての部分的な制約条件を与える ことで、デバイス上のノードの配置をコントロールできる。 例えば、”このノードは、GPUタイプのデバイス上にのみ置 くこと” とか “このノードは、 /job:worker/task:17 内 の任意のデバイス上に置くことができる” とか “このノード は、variable13 という名前のノードと同じマシン上に置く こと” 等々。
- 175. Send/Receive ノードの挿入
- 180. モデル・パラレルな訓練
- 182. Concurrent steps
- 184. TensorFlow Server GrpcServer # Start a TensorFlow server as a single-process "cluster". $ python >>> import tensorflow as tf >>> c = tf.constant("Hello, distributed TensorFlow!") >>> server = tf.GrpcServer.create_local_server() >>> sess = tf.Session(server.target) >>> sess.run(c) 'Hello, distributed TensorFlow!’ tf.GrpcServer.create_local_server() メソッドは、単一プロセスのク ラスターを生成する。もっと現実的な分散クラスターを作るためには、 TensorFlowクラスターのメンバーを定義するtf.ServerDef を渡して tf.GrpcServer を作る。こうして、それぞれが同じクラスター定義を持 つ複数のプロセスを走らせる。
- 185. ClusterDef クラスターを定義する tf.make_cluster_def( {"local": ["localhost:2222", "localhost:2223"]}) /job:local/task:0 /job:local/task:1 tf.make_cluster_def( {“worker”: [“worker0:2222”, “worker1:2222”,"worker2:2222"], "ps": ["ps0:2222", "ps1:2222"]}) /job:worker/task:0 /job:worker/task:1 /job:worker/task:2 /job:ps/task:0 /job:ps/task:1 job名： [ネットワーク名, ....] ps: parameter server
- 186. # In task 0: server_def = tf.ServerDef( cluster=tf.make_cluster_def({ "local": ["localhost:2222", "localhost:2223"]}), job_name="local” , task_index=0) server = tf.GrpcServer(server_def) # In task 0: server_def = tf.ServerDef( cluster=tf.make_cluster_def({ "local": ["localhost:2222", "localhost:2223"]}), job_name="local” , task_index=1) server = tf.GrpcServer(server_def) クラスターで、localhost:2222 と localhost:2223上で、 二つのサーバーが走る。 同じクラスター定義 ClusterDef の使い方
- 187. with tf.device("/job:ps/task:0"): weights_1 = tf.Variable(...) biases_1 = tf.Variable(...) with tf.device("/job:ps/task:1"): weights_2 = tf.Variable(...) biases_2 = tf.Variable(...) with tf.device("/job:worker/task:7"): input, labels = ... layer_1 = tf.nn.relu(tf.matmul(input, weights_1) + biases_1) logits = tf.nn.relu(tf.matmul(layer_1, weights_2) + biases_2) # ... train_op = ... with tf.Session("grpc://worker7:2222") as sess: for _ in range(10000): sess.run(train_op) モデルの中で分散したデバイスを指定する 二台のparameterサーバー 訓練を実行するサーバー worker7で 訓練を実行
- 188. 訓練のレプリカを作る よく使われる訓練の設定（データ・パラレル）では、同じモ デルを訓練するワーカーのジョブに、たくさんのタスクが含 まれている。この設定では、一つ（あるいは複数）の parameter serverのジョブのタスクが保持する、共有 パラメータを利用する。 それぞれのタスクは、典型的には、 異なるマシンで走るだろう。 こうした構造を指定するやり方が、TensorFlowにはたく さんあって、我々は、モデルのレプリカを指定するのを簡 単にするライブラリーを構築中である。 可能なアプローチには、次のようなものがある。
- 189. 非同期型の訓練 一つのパラメータの集合を含む、単一のグラフを構築する。 （tf.Variable ノードは、パラメータ・サーバー /job:psに 割り当てられる。） この「モデル」の複数のコピーが、ワー カー /job:worker 内の異なったタスクに割り当てられる。 このモデルのそれぞれのコピーは、異なったtrain_op を 持つことができる。そして、それぞれのワーカー i で、一 つ以上のクライアントのスレッドが、 sess.run(train_ops[i]) を呼び出すことができる。 これは、非同期型の訓練の実装である。このアプローチ は、そのターゲットがクラスター内のワーカーの一つであ るような、単一のtf.Sessionを利用する。
- 191. 同期型の訓練 ノードの配置は先と同じだが、同期型の訓練の実装では、 すべてのワーカーからの勾配は、平均化される。このタイ プのレプリカの例については、 CIFAR-10 multi-GPU trainer を参照のこと。 例えば、300要素のサイズのミニバッチを使っていたとす ると、モデルの3個のレプリカを使って、その各々に100要 素の勾配を計算させることができる。その後、あたかも、 300要素のサイズのバッチを持つシーケンシャルなSDG アルゴリズムの実行のように正確に振る舞うために、勾配 を結合して、パラメーターを同期して更新をかける。
- 192. 3 3 m+1 2 3 2m+1 m m m A B C A B Cミニバッチのデータを 3分割して3台で処理 3台のマシンでの勾配計算 データと式の分割 3m データの分割 式の分割 3 3 3
- 194. 分散型訓練 分散型訓練（“distributed trainer”） アプローチで は、ワーカー毎に一つのグラフをもたせ、複数のグラフを 利用する。ワーカー毎のそれぞれのグラフは、次の二つを 含んでいる。パラメータの集合が一つ（/job:psに割り当 てられる）、あと一つは、モデルのコピーが一つ(特定の /job:worker/task/i に割り当てられる)である。 異なったグラフ間で変数を共有するために、コンテナーの メカニズムが利用される。すなわち、それぞれの変数が構 築される時、グラフのそれぞれのコピーで同じ値を持つ、 オプショナルなコンテナーの引数が指定される。 大きなモ デルでは、全体的なグラフはより小さいので、この方法は、 より効率的に機能する。
- 195. 分散型訓練 このアプローチは、複数の tf.Session オブジェクトを利 用する。ワーカー毎に、一つのプロセスがあって、それぞ れのターゲットは、異なるワーカーのアドレスである。 tf.Session オブジェクトは、すべて単一のPythonクライ アントで生成することができる。あるいは、訓練の負荷を もっとうまく分散するために、複数のPythonクライアントを 利用することもできる。
- 199. Job ジョブは、典型的には、共通の目的にサービスを提供する、 タスクのリストから構成される。例えば、ps (parameter server の略)と名付けられたジョブは、典型的には、変数 を格納し更新するノードをホストとして含んでいる。一方、 worker と名付けられたジョブは、典型的には、計算中心 の状態を持たないノードをホストとして含んでいる。ジョブ の中のタスクは、典型的には、異なったマシン上で走る。
- 200. Master service マスター・サービスは、分散したデバイスの集合にリモート アクセスを提供するRPCサービスである。このマスター・ サービスが、 tensorflow::Session インターフェースを 実装する。 そして、一つ以上のワーカー・サービスをまた いだ仕事の協調に、責任を持つ。
- 202. TensorFlow server TensorFlowサーバーは、 tf.GrpcServer インスタンス を走らせているプロセスである。それは、クラスターのメン バーで、「マスター・サービス」と「ワーカー・サービス」を外 部に提供する。
- 203. Worker service ワーカー・サービスは、そのローカルなデバイスを利用して、 TensorFlowグラフの一部分を実行する、RPCサービスで ある。ワーカー・サービスは、worker_service.proto を 実装している。
- 204. 次回マルレク予告 Convolutional Network 入門講座 日時： 5月13日 19:00~ 場所： TIS 西新宿 定員： 200名 Convolutional Networkは、現在のニューラル・ネットワー ク技術の中心的な技術で、また、もっとも成功した技術でもあ ります。講演では、ニューラル・ネットワークを学び始めた人を 対象に、CNNの基本をわかりやすく解説します。