エンジニアを目指す浪人のブログ

情報系に役立ちそうな応用数理をゆるめにメモします

フーリエ級数の基礎をまとめる

工学系の学生向けの教科書や講義においてフーリエ級数(Fourier series)を扱うとき,三角関数や複素関数を用いた具体的な級数を用いて表現する場合が多いと思います.本記事では,関数解析の教科書に記述されている,フーリエ級数の数理的基盤になっている関…

最適化問題の摂動と感度分析をまとめる

本記事は以下の過去記事の内容を用います.ラグランジュ関数,ラグランジュ双対問題,最適性条件(KKT条件)のあらすじをまとめる - エンジニアを目指す浪人のブログ弱双対性の幾何的な解釈と,凸最適化問題における強双対性とスレーターの条件の幾何的な解釈…

弱双対性の幾何的な解釈と,凸最適化問題における強双対性とスレーターの条件の幾何的な解釈をまとめる

本記事は以下の過去記事の内容を用います.ラグランジュ関数,ラグランジュ双対問題,最適性条件(KKT条件)のあらすじをまとめる - エンジニアを目指す浪人のブログ内部と相対的内部の違いについて考える - エンジニアを目指す浪人のブログ 勉強を進めていて…

等式制約あり凸最適化問題に対するニュートン法とその等式制約を除去した問題に対するニュートン法との関係をまとめる

本記事は以下の過去記事の内容を用います.等式制約あり凸最適化問題の基礎をまとめる - エンジニアを目指す浪人のブログ凸最適化問題の等式制約の除去についてまとめる - エンジニアを目指す浪人のブログ等式制約あり凸最適化問題に対するニュートン法と,…

等式制約あり凸最適化問題に対するニュートン法と,ニュートンステップの定義,解釈,性質をまとめる

本記事は以下の過去記事の内容を用います.等式制約あり凸最適化問題の基礎をまとめる - エンジニアを目指す浪人のブログ制約なし凸最適化問題に対するニュートン法と,ニュートンステップの定義,解釈,性質をまとめる - エンジニアを目指す浪人のブログ降…

等式制約あり凸最適化問題の基礎をまとめる

本記事は以下の過去記事の内容を用います.ラグランジュ関数,ラグランジュ双対問題,最適性条件(KKT条件)のあらすじをまとめる - エンジニアを目指す浪人のブログ係数行列が対称行列の二次関数が凸関数(あるいは狭義凸関数)であるための必要十分条件はその…

対称行列を係数行列とする連立一次方程式が解をもつための必要十分条件は定数ベクトルが係数行列の零空間の要素と直交することであることを証明する

本記事は以下の過去記事の内容を用います.行列のランク落ち,列フルランク,行フルランク,フルランクそれぞれのときの4つの基本部分空間を図示する - エンジニアを目指す浪人のブログムーア・ペンローズ逆行列による連立一次方程式の解表現について考える …

凸最適化問題の等式制約の除去についてまとめる

本記事は以下の過去記事の内容を用います.ラグランジュ関数,ラグランジュ双対問題,最適性条件(KKT条件)のあらすじをまとめる - エンジニアを目指す浪人のブログムーア・ペンローズ逆行列による連立一次方程式の解表現について考える - エンジニアを目指す…

双対問題を解くことを経て主問題を解くことの概要をまとめる

本記事は以下の過去記事の内容を用います.ラグランジュ関数,ラグランジュ双対問題,最適性条件(KKT条件)のあらすじをまとめる - エンジニアを目指す浪人のブログ 勉強を進めていて,最適化問題において,主問題を解くために双対問題を利用できることについ…

ニュートンデクリメントの別表現を導出する

本記事は以下の過去記事の内容を用います.制約なし凸最適化問題に対するニュートン法と,ニュートンステップの定義,解釈,性質をまとめる - エンジニアを目指す浪人のブログ正定値行列の逆行列は正定値であることの証明をメモする - エンジニアを目指す浪…

制約なし凸最適化問題に対するニュートン法の,目的関数に強凸性,そのヘッセ行列にリプシッツ連続性を仮定するときの収束解析をまとめる

本記事は以下の過去記事の内容を用います.制約なし凸最適化問題の目的関数に強凸性を仮定することの意味について考える - エンジニアを目指す浪人のブログ降下法の枠組みと,厳密直線探索,バックトラッキング直線探索の概要をまとめる - エンジニアを目指…

強凸関数のヘッセ行列と逆行列の,最大固有値,最小固有値,スペクトルノルムの不等式を証明する

本記事は以下の過去記事の内容を用います.強凸関数のヘッセ行列の逆行列の不等式を証明する - エンジニアを目指す浪人のブログ行列が半正定値(あるいは正定値)であるための必要十分条件はすべての固有値が非負(あるいは正)であることを証明する - エンジニ…

エルミート行列のスペクトルノルムは最大固有値の絶対値に等しいことを証明する

本記事は以下の過去記事の内容を用います.エルミート行列のすべての固有値は実数であることの証明をメモする - エンジニアを目指す浪人のブログ 勉強を進めていて,エルミート行列のスペクトルノルム(spectral norm)は最大固有値の絶対値に等しいことを証明…

目的関数に強凸性を仮定するときのニュートンデクリメントの不等式を証明する

本記事は以下の過去記事の内容を用います.制約なし凸最適化問題に対するニュートン法と,ニュートンステップの定義,解釈,性質をまとめる - エンジニアを目指す浪人のブログ強凸関数のヘッセ行列の逆行列の不等式を証明する - エンジニアを目指す浪人のブ…

強凸関数のヘッセ行列の逆行列の不等式を証明する

本記事は以下の過去記事の内容を用います.制約なし凸最適化問題の目的関数に強凸性を仮定することの意味について考える - エンジニアを目指す浪人のブログ行列が半正定値(あるいは正定値)であるための必要十分条件はすべての固有値が非負(あるいは正)である…

制約なし凸最適化問題に対するニュートン法と,ニュートンステップの定義,解釈,性質をまとめる

本記事は以下の過去記事の内容を用います.制約なし凸最適化問題の目的関数に強凸性を仮定することの意味について考える - エンジニアを目指す浪人のブログ降下法の枠組みと,厳密直線探索,バックトラッキング直線探索の概要をまとめる - エンジニアを目指…

制約なし凸最適化問題に対する最急降下法と,ノルム選択,目的関数に強凸性を仮定するときの収束解析をまとめる

本記事は以下の過去記事の内容を用います.制約なし凸最適化問題の目的関数に強凸性を仮定することの意味について考える - エンジニアを目指す浪人のブログ降下法の枠組みと,厳密直線探索,バックトラッキング直線探索の概要をまとめる - エンジニアを目指…

二次ノルムの双対ノルムを導出する

本記事は以下の過去記事の内容を用います.二次ノルムの定義をメモする - エンジニアを目指す浪人のブログ行列式の対数はその行列の凹関数であることを証明する - エンジニアを目指す浪人のブログ 勉強を進めていて,二次ノルム(quadratic norm)の双対ノルム…

二次ノルムの定義をメモする

本記事は以下の過去記事の内容を用います.行列式の対数はその行列の凹関数であることを証明する - エンジニアを目指す浪人のブログノルムの連続性を証明する - エンジニアを目指す浪人のブログ 勉強を進めていて,二次ノルム(quadratic norm)というものを知…

制約なし凸最適化問題に対する勾配降下法と目的関数に強凸性を仮定するときの収束解析をまとめる

本記事は以下の過去記事の内容を用います.制約なし凸最適化問題の目的関数に強凸性を仮定することの意味について考える - エンジニアを目指す浪人のブログ降下法の枠組みと,厳密直線探索,バックトラッキング直線探索の概要をまとめる - エンジニアを目指…

降下法の枠組みと,厳密直線探索,バックトラッキング直線探索の概要をまとめる

本記事は以下の過去記事の内容を用います.制約なし凸最適化問題の目的関数に強凸性を仮定することの意味について考える - エンジニアを目指す浪人のブログラグランジュ関数,ラグランジュ双対問題,最適性条件(KKT条件)のあらすじをまとめる - エンジニアを…

制約なし凸最適化問題の目的関数に強凸性を仮定することの意味について考える

本記事は以下の過去記事の内容を用います.連続関数の劣位集合は閉集合であることを証明する - エンジニアを目指す浪人のブログラグランジュ関数,ラグランジュ双対問題,最適性条件(KKT条件)のあらすじをまとめる - エンジニアを目指す浪人のブログ係数行列…

凸集合の条件数について考える

本記事は以下の過去記事の内容を用います.行列式の対数はその行列の凹関数であることを証明する - エンジニアを目指す浪人のブログレイリー商についての定理を証明する - エンジニアを目指す浪人のブログ逆行列の固有値は元の行列の固有値の逆数であること…

連続関数の劣位集合は閉集合であることを証明する

本記事は以下の過去記事の内容を用います. 逆像と逆写像の定義をメモする - エンジニアを目指す浪人のブログ 勉強を進めていて,連続関数の劣位集合(sublevel set)は閉集合であることについてモヤモヤしてしまったので,その証明をメモしておくことにしまし…

逆像と逆写像の定義をメモする

数学の様々な分野で用いる概念である,逆像(inverse image)と逆写像(inverse mapping)の類似についてモヤモヤしてしまったので,それらの定義について文献[1]の記述をメモしておくことにしました. 逆像の定義を示します.---------------------------------…

主成分分析と特異値分解の関係について考える

本記事は以下の過去記事の内容を用います.主成分分析の基礎をまとめる - エンジニアを目指す浪人のブログ特異値分解の導出と,左特異ベクトル,特異値,右特異ベクトルとは何かについて考える - エンジニアを目指す浪人のブログ特異値分解による行列の低ラ…

有限次元ベクトル空間の双対空間の基底の構成をまとめる

関数解析を勉強していて,有限次元ベクトル空間の双対空間(dual space)の基底(basis)(双対基底(dual basis))の構成についてモヤモヤしてしまったので,メモしておくことにしました.Kreyszig(1989)のsection2.9をベースにしてまとめます. 問題を設定するた…

多変量正規分布の最尤推定量を導出する

本記事は以下の過去記事の結果を用います.いくつかの行列の公式を証明するその1 - エンジニアを目指す浪人のブログいくつかの行列の公式を証明するその2 - エンジニアを目指す浪人のブログいくつかの行列の公式を証明するその3 - エンジニアを目指す浪人の…

行列式の対数はその行列の凹関数であることを証明する

本記事は以下の過去記事の結果を用います.n次元ユークリッド空間上の関数が凸であるための必要十分条件は定義域内の任意の直線上で凸であることの証明をメモする - エンジニアを目指す浪人のブログ 本記事は以下の過去記事と関連しています.いくつかの行列…

n次元ユークリッド空間上の関数が凸であるための必要十分条件は定義域内の任意の直線上で凸であることの証明をメモする

応用上よく使われると思われる,一つの変数についての凸性を確認することで関数の凸性を判定できる便利なツールといえる定理を知り,重要に感じたのでその証明を調べてメモしておくことにしました.文献[1]をほぼ引用しています.凹関数の定義は文献[2]にあ…