アダム(Adam)
Adamとは Adamの読み方は”アダム”もしくは”アーダム”です。こちらのパラメータの最適化手法の数式については、「0からDeep...
AI learning memo
Adamとは Adamの読み方は”アダム”もしくは”アーダム”です。こちらのパラメータの最適化手法の数式については、「0からDeep...
AdaGradの数式 SGDの欠点を改善するために代わる手法としてエーダグラッドがあります。AdaGradを”エーダグラッド...
モーメンタムの数式 SGDの欠点を改善するために代わる手法としてモーメンタムがあります。モーメンタムは、ボールが傾斜を転がるように動...
重みパラメータの最適化 ニューラルネットワークの学習の目的は、損失関数の値をできるだけ小さくするパラメータを見つけることです。その重...
アフィン変換とは Google先生に聞くと以下の引用き記載した記事が最初に出てきます。数学は中学までは得意でしたが。。。ここまでくる...
ソフトマックス関数の数式 ニューラルネットワークで分類を行う際に出力層の活性化関数に「ソフトマックス関数」というものを使うらしいです...
ReLU関数の数式 ReLU(れるー)と言われる関数があります。こちら「Rectified Linear Unit」の略ですね。古く...
ステップ関数の数式 ここではステップ関数についてお伝えします。ステップ関数は入力が未満だったら0。入力が0以上であれば1を返す関数で...