ラグランジュの未定乗数法

「言語処理のための機械学習入門」の1.2節、ラグランジュの未定乗数法のところまでを一応読み終える。途中、最大化をする式(目的関数)とラグランジュ関数自体がごちゃごちゃになって??だったがあくまで最大化するのは目的関数だな、と気づいてからは何とか頭がすっきりしてきた。

p.20の例題1.8では最終的な目的関数の値(最適解)とラグランジュ関数の値がともに-1/2と等しくなっていたために両者を取り違えて混乱してしまったけど、多分たまたま値が同じだっただけかな。

現時点ではこの最適化問題についての知識が言語処理にどう使われるのかまったく分からんけど、

確率分布のパラメータ推定でも、EMアルゴリズムでも、ナイーブベイズ分類器でも、サポートベクトルマシンでも、ラグランジュの未定乗数法が使われている
(本書p.15より)

うーん期待大です。「サポートベクトルマシンでは〜」とかさらっと口に出してみたい。