Jupyter NotebookとChainerで楽々Deep Learning
•Download as PPTX, PDF•
37 likes•14,174 views
2016/4/16 SoftLayer Bluemix Community Festa 2016で発表したスライドです。第2部のNotebook -> https://github.com/jnory/slbm16festa_tutorial
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (20)
Similar to Jupyter NotebookとChainerで楽々Deep Learning
Similar to Jupyter NotebookとChainerで楽々Deep Learning (20)
Jupyter NotebookとChainerで楽々Deep Learning
- 1. Jupyter NotebookとChainerで楽々 Deep Learning 乗松潤矢 Engineer at Alpaca 2016/4/16 SoftLayer Bluemix Community Festa 2016
- 2. 自己紹介 乗松潤矢 (Jun-ya Norimatsu) Engineer @ Alpaca 専門: 自然言語処理 統計的機械翻訳 統計的言語モデル 3月に博士号をとったばかりのペーペーです 2 フリーランス 今日の肩書き
- 7. 今日のお話をきくとお得な人たち Deep Learningやってみたいけど腰が重い人 Deep Learning Framework入れてみたけど、「…で？」となった人 過去にやった検証のどれがなにだかわからなくなりがちな人 逆に、時間の無駄になるかもしれない人たち Chainerマスターな人 Jupyter Notebookマスターな人 7
- 8. 本日の内容 • 第1部 • AlpacaにおけるChainer + Jupyter Notebook環境 • 第2部 • Jupyter NotebookでDeep Learningをやってみる • (Chainer入門) 8
- 10. 本題の前に… AlpacaにおけるSoftlayerの利用 Alpacaでは開発にDockerをフル活用 Softlayerさまサーバー Docker Webサーバ DBサーバ Jobサーバ Docker Webサーバ DBサーバ Jobサーバ Docker Webサーバ DBサーバ Jobサーバ Aさん用 環境 Bさん用 環境 Cさん用 環境 =container 各環境内で閉じたネットワーク 10
- 11. 本題の前に… AlpacaにおけるSoftlayerの利用 Softlayerさまサーバー Docker Webサーバ DBサーバ Jobサーバ Docker Webサーバ DBサーバ Jobサーバ Aさん用 環境 Bさん用 環境 =container 一台のサーバーで複数人が同時開発可能 ポイント: Networkがコンテナ内で独立 11Softlayerサーバーをフル活用
- 12. 本題の前に… AlpacaにおけるSoftlayerの利用 Softlayerさまサーバー Tesla K80 Tesla K80 Docker 12 検証用環境もDockerで構築 Chainer + Jupyter Notebook Docker内からGPUにアクセスできるよう設定
- 17. Chainer 日本発のDeep Learning Framework Networkをダイナミックに書き換えられる 数あるFrameworkの中で一番書きやすい(※) (※)個人の感想です 17
- 18. Jupyter Notebook + Chainer Notebook中でimportして使うだけ GPUも問題なく使える 18
- 19. AlpacaでのJupyter Notebookの利用例 トレーニングの進捗をその場で可視化 training dataに対するlossを可視化 横軸: 正解データの値 縦軸: 推定データの値 training lossの反復に対する変化 横軸: 反復回数 縦軸: lossの値(average) 19
- 23. Jupyter Notebook Tips Pythonでやるよりコマンド叩いた方が速いんだけど “%%bash” でbashが使える 23
- 24. Jupyter Notebook Tips 時間を計りたい “%%time” で実行時間を測定できる 24
- 26. 第1部まとめ • Jupyter NotebookでChainerつかえる • Jupyter Notebookで実験を保存 • その場でグラフ作って結果確認 • GitHubと相性良い • GitHubが実験にpermalinkをくれる • チームメンバー全員が実験結果にアクセス可 • タスク管理ツールと連動すると後から参照しやすい 26
- 28. やってみよう Jupyter Notebookのインストール いろんな方法があります 多分一番楽なのはanaconda chainerのインストール pip install chainer Notebookからpipできる 28
- 32. Jupyter Notebookのイロハ %matplotlib inline %load_ext autoreload %autoreload 2 とりあえずこれを実行しておきましょう %matplotlib inline 図をNotebook上に表示 %load_ext autoreload %autoreload 2 importしたライブラリが更新されると自動的にリロードしてくれる 32
- 36. 今回のモデル LSTM LSTM Fully Connected EmbedID Softmax LSTM LSTM Fully Connected EmbedID Softmax LSTM LSTM Fully Connected EmbedID Softmax 36
- 37. Modelを書こう – 全体像 – class LM(Chain): def __init__(self, n_vocab): super(LM, self).__init__( embed=L.EmbedID(n_vocab, 100), lstm1=L.LSTM(100, 50), lstm2=L.LSTM(50, 50), out=L.Linear(50, n_vocab), ) self.n_vocab = n_vocab self.dropout_ratio = 0.5 self.train = False self.softmax = lambda x: x def reset_state(self): self.lstm1.reset_state() self.lstm2.reset_state() def __call__(self, x): h = self.embed(x) h = self.lstm1(h) h = F.dropout(h, ratio=self.dropout_ratio, train=self.train) h = self.lstm2(h) h = F.dropout(h, ratio=self.dropout_ratio, train=self.train) y = self.out(h) y = self.softmax(y) return y LSTM LSTM Fully Connected EmbedID (Softmax) 例えばこんな感じ 37
- 38. Modelを書こう – レイヤー定義 – class LM(Chain): def __init__(self, n_vocab): super(LM, self).__init__( embed=L.EmbedID(n_vocab, 100), lstm1=L.LSTM(100, 50), lstm2=L.LSTM(50, 50), out=L.Linear(50, n_vocab), ) LSTM LSTM Fully Connected EmbedID (Softmax) パラメータを持つレイヤーの定義 レイヤーはlink.Chainが管理 Point! dropout, softmaxはパラメータを持たない 38
- 39. Modelを書こう – 確率分布計算 – def __call__(self, x): h = self.embed(x) h = self.lstm1(h) h = F.dropout(h, ratio=self.dropout_ratio, train=self.train) h = self.lstm2(h) h = F.dropout(h, ratio=self.dropout_ratio, train=self.train) y = self.out(h) y = self.softmax(y) return y LSTM LSTM Fully Connected EmbedID (Softmax) レイヤーを順に並べるだけ たまにdropoutを入れるといい感じに学習する Point! 39 (詳細は略)
- 42. 学習 [Step 1] モデルから分類器を作る classifier = links.Classifier(lm) lm = LM(len(vocab)) 次の1単語を予測 正解・不正解を判定 LSTM LSTM Fully Connected EmbedID (Softmax) LM loss classifier( , ) : 「どういう風に当たり/外れたか」を返す 42
- 43. 変数の取り扱い classifier( , ) ってどう扱う？ って書いたけど、 Variableクラスを使いましょう!! Variable( の単語ID, volatile=...)使い方 volatileに与える値(典型的な使い方の場合) 学習時: False, テスト時: True 43
- 44. 値の持ち方 通常、複数の文を一度に処理します 文1 文2 文3 … ID(w11) ID(w12) ID(w13) … ID(w1m) ID(w21) ID(w22) ID(w23) … ID(w2m) ID(w31) ID(w32) ID(w33) … ID(w3m) … … … … … 1単語目 2単語目 3単語目 m単語目… ID(w): 単語wの単語IDを返す関数 wij: 文iのj番目の単語, 文長がj未満の場合特殊単語</s> m: データに含まれる文の最大文長+1 このとき、 は Variable(id_vec[:, i], volatile=...) id_vec = 44
- 46. 学習 [Step 3-1] パラメータの最適化 Optimizerを使う opt = optimizers.AdaDelta() opt.setup(classifier) opt.add_hook(optimizer.GradientClipping(5)) optimizers.AdaDelta() optimizerの手法。他にもいろいろある。 経験的にはどれを使ってもあんまり変わらない optimizers.SGDは玄人向き 最適化対象を設定 opt.setup(classifier) 値の爆発を抑制 opt.add_hook(optimizer.GradientClipping(5)) (細かい向き・不向きはある) 46
- 47. 学習 [Step 3-2] パラメータの最適化 lm.reset_state() opt.zero_grads() loss = forward_all(id_vec, classifier, train=True) loss.backward() opt.update() 学習用データを1回なめて、パラメータを更新 初期化 2つ前のスライド で作った関数 当たり外れの情報からパラメータを更新 この処理を何度も何度も繰り返す 47
- 51. 補足 GPUを使おう CPUで計算すると重い chainerの場合: データをGPUに転送すればあとは勝手にやってくれる 転送方法 numpy配列: chainer.cuda.to_gpu(value) Variable: variable.to_gpu() Chain: model.to_gpu() 51
- 52. 補足 注意: マルチGPU GPUを複数積んでいるサーバーの場合 データとモデルのデータは同じGPU内メモリに置く 置き場所を間違えた時: classifier.to_gpu(1) GPUを指定する方法1: to_gpuで指定する GPUを指定する方法2: withブロックで指定する with cupy.cuda.Device(1): ... 52
- 54. まとめ • Jupyter Notebook + Chainerでお手軽Deep Learningできる • GitHubとの連携で後からの参照もばっちり • Chainerは難しくない！ 【PR】 Capitalico使ってね 54