mutomasa ブログ

ITインフラ技術、機械学習、登山、自然観察、読書に関することをつらつらと書いてます

『これなら分かる最適化数学』を読み始める

 

f:id:muto_masa:20201005191752p:plain

再読

相変わらず細々と機械学習の勉強をしています。

2016年10月にどういうわけか本のタイトルに惹かれて買ってから数ページ読んで積読本になってました。

機械学習の勉強を進めていくにあたり、「そういえば、この本に最小二乗法、勾配降下法など書いてあったなぁ」と思って、読み始めました。

ここ数年は片言の数学を勉強してきた成果なのか、式を追うのがあまり苦にならなくなりました。

現在は、軽く読んでいて8章中の5章途中です。

 機械学習で役立ちそうなところ

1章 数学の準備

・法線ベクトルを使って、直線と平面の方程式。

・曲面と法線ベクトル

・一次形式の微分(これはよく使う)

・二次形式を対称行列とベクトルを使って内積で表す

固有値固有ベクトル、正規直交系

・対称行列の対角化

・正値対称行列と半正値対称行列の必要十分条件

2章 関数の極値

・勾配は等高線に直交する

・2次関数の極値、ヘッセ行列、正値対称行列と半正値対称行列

・関数の勾配と等高線、停留点

ラグランジュの未定乗数法、制約条件(正則化につながる?)

3章 関数の最適化

・勾配法とアルゴリズム

・多変数の勾配法 ヘッセ行列

ニュートン法

共役勾配法

4章 最小二乗法

・直線のあてはめ、正規方程式

多項式のあてはめ

・一般曲線のあてはめ

5章 統計的最適化

最尤推定とは

・データの分類、クラスの確率密度を最尤推定する

・正規混合分布

EMアルゴリズム

 今後に向けて

今読んでいる『はじめてのパターン認識』と照らし合わせて読んでいきたい。

例題もあるので、自分の手でちゃんと解こうと思う。