ねほり.com

何もないから何かみつかる

Kerasを使って活性関数・目的関数・最適化手法をまとめる(ディープラーニング)

      2018/05/14

まだ・・・何も分かっておらず、ディープラーニングで利用されている関数の概要を調べている程度です・・・。

KerasのFunctional API Modelの構造を理解する」の抜粋で、今回見ていくコードは次の部分です。

Kerasのgraphvizモジュールで学習モデルを可視化しましたが、よく分からないので自分なりに書き直してみました。

4

なんか違う気がするので誰か教えて下さい・・・。

LSTM(Long short-term memory)って何?

LSTMは1995年に登場しましたが、最近Google Voiceの基盤技術をはじめとした最先端の分野でも利用されるRNNです。

なら、RNN (再帰的型 Neural Network)って何?

RNNは以前に計算された情報を覚えるための記憶力を持っています。

ようするに例えば文章を予測したい場合、その前の言葉が何だったのかを知っておく必要があります。

そのような学習モデルを作るのに役立ちます。

最近では、従来のRNNの欠点を解消できる、より洗練されたRNNモデルも登場しています。

  • Bidirectional RNN:後の要素も計算に含める
  • Deep (Bidirectional) RNN:ステップごとに複数の層を持つ
  • LSTMネットワーク

最も使われているRNNの一つがLSTMです。

LSTMはRNNよりも距離のあるステップの関係性を学習するのに優れています(RNNは2,3ステップくらい前の情報しか覚えられません)。

・・・よく分からないので、ここも後学としてここでは単なる紹介としておきます。

隠れ層・出力層における活性化関数

活性化関数(activation)

活性化関数は、入力信号の総和がどのように活性化するかを決定する役割を持ちます。

一般的に、ニューラルネットワークでは線形関数は使われません。

2

  • ソフトサイン(softsign:長・短期記憶で利用すると速く、飽和状態になる可能性が低下する)
  • ハイパボリックタンジェント(tanh:標準シグモイド関数を線形変換したもの)
  • シグモイド関数(sigmoid:入力した値が大きければ大きいほど1に近づき、入力した値が小さければ小さいほど0に近づく関数)
  • ハードシグモイド(hard_sigmoid)
  • ソフトプラス(softplus)
  • ランプ関数(relu:入力した値が0以下のとき0になり、1より大きいとき入力をそのまま出力)
  • 線形関数・恒等関数(linear:入力した値と同じ値を常にそのまま返す関数)
  • ソフトマックス(softmax:分類の確信度が低くても総和が1になるよう補正する)

中間層では、とりあえずサチらない非線形関数、ReLUを使っておけばよい感じです。

最近はReLUよりもsoftplusやSwishで良い性能が出るという報告を見かけるようになっており、色々と更新が激しい分野です。

モデルをコンパイル

コンパイル時に最適化手法(optimizer)、損失関数(loss)、評価指標(metrics)を指定します。

最適化手法(optimizer)

変数が増えるにつれ局所解が増えてしまい、最適解が得られなくなります。

5

そこで最適化手法の変動によって、新たなより適切な可能性のある「局所解」へ素早く移動することができます。

非線形関数の最小化手法の中では「勾配降下法」や「ニュートン法」が有名です。

ですが、収束が遅いため色々な手法が作られています。

  • 確率的勾配降下法(sgd:Stochastic Gradient Descent)
  • rsmprop(2012年に Tijmen Tieleman らが発表した方法)
  • adagrad(2011年に John Duchi らが発表した方法)
  • adadelta(2012年に Matthew D. Zeiler が発表した方法)
  • adam(2015年に Diederik P. Kingma らが発表した方法)
  • adamax(2015年に Diederik P. Kingma らが発表した方法)
  • nadam(2016年、ネステロフの加速法を Adam に取り入れたもの)

一つ一つの式や特性に関しては今後少しずつ理解することにします。

目的関数(objective)⊃ コスト関数、誤差関数 = 損失関数(loss)

目的関数が最も大きな枠組みです。

つまり、コスト関数も誤差関数も損失関数も、目的関数です。

  • この関数(目的関数)を最小化させればモデルが導き出せる
  • この関数(目的関数)を最大化させればモデルが導き出せる

3

  • 平均二乗誤差(mse:差の2乗の和)
  • 平均絶対誤差(msa:差の絶対値の和)
  • 平均絶対誤差率(mspa:差を正解の値で割った値(誤差率)の絶対値の和)
  • 対数平均二乗誤差(msle:「1を加えた値の対数」の差の2乗の和)
  • ヒンジ損失の和(hinge)
  • ヒンジ損失の二乗の和(squared_hinge)
  • 2クラス分類時の交差エントロピー(binary_crossentropy)
  • Nクラス分類時の交差エントロピー(categorical_crossentropy)
  • スパースなNクラス分類交差エントロピー(sparse_categorical_crossentropy)
  • KLダイバージェンス(kld)
  • poisson
  • コサイン類似度を負にしたもの(cosine_proximity)

一つ一つの式や特性に関しては今後少しずつ理解することにします。

評価指標(metrics)

代表的な評価指標は次の通りです。

  • 正確度 (正解率、Accuracy:推定した値と真の値が一致した割合)
  • 適合率 (精度、陽性反応的中度、Precision:正確性を見るための指標)
  • 再現率 (感度、真陽性率、Recall:網羅性を見るための指標)
  • F-値 (F-score, F-measure)
  • AUC (Area Under the Curve)

一般的にはAccuracyを使っていれば問題ないようです。

一つ一つの式や特性に関しては今後少しずつ理解することにします。

何となくだけど、モデルの作り方・関数の指定方法は分かりはじめてきました。

どのようなモデルして、どの関数を使うか?ユニット数をいくつにするか?そして、どのような入力データを与えるか?が難しいのだろうね。

って、全てだな・・・。

 
 

ディープラーニングを学習するには、この本がオススメです。

 - 2018年, システムトレード, 投資

  関連記事

千葉市の稲毛近辺のセフル洗車場と洗車機一覧

千葉市の稲毛近辺には、洗車機ではない自分で手洗い出来る洗車場が2箇所しかなさそう …

サッカー盤(テーブルフットボール)を作って遊ぶ

昔の遊びは、子供にも作りやすく工作にはもってこいである。 すごろく けん玉 輪投 …

株は技術だ! (うねり取り手法:相場師朗氏編)

「うねり取り」は江戸時代、米相場の時代から続いている伝統的な投資技法であり、本間 …

Kerasを使った株の利益を計算(ディープラーニング)

PytorchはLSTMが難しいらしいし、TensorFlowも難しいので未挑戦 …

Protraを使ったバックテスト環境の構築

Pythonや人工知能の学習を兼ねてというのは目的ではないことを再認識しました。 …

グランビルもどきの法則の有効性検証(protraシストレ)

チャート分析の中でも最も基本的でシンプル手法でありながら、絶大な効果のある「グラ …

将来に向けた株式投資を真面目に考える

「起業、起業」を言い続けてましたが、私が考えてるのは「ベンチャー」ではなくて「ス …

BNF氏の逆張りスイングトレードの有効性検証(protraシストレ)

BNF(小手川隆)氏の「乖離率」逆張り投資手法のバックテストを以前紹介しましたが …

鳥居万友美氏の手法(RCIの3本使い)の有効性検証(protraシストレ)

前回「RCI」を3本使ってグラフを表示してみました。 次は、これを使ったトレード …

3日続落投資法の有効性検証(protraシストレ)

テクニカルトレードは聖杯でない・・・ と前回書いたけど、結局テクニカルトレードっ …