掃一掃
關(guān)注中圖網(wǎng)
官方微博
本類五星書更多>
-
>
闖進數(shù)學世界――探秘歷史名題
-
>
中醫(yī)基礎(chǔ)理論
-
>
當代中國政府與政治(新編21世紀公共管理系列教材)
-
>
高校軍事課教程
-
>
思想道德與法治(2021年版)
-
>
毛澤東思想和中國特色社會主義理論體系概論(2021年版)
-
>
中醫(yī)內(nèi)科學·全國中醫(yī)藥行業(yè)高等教育“十四五”規(guī)劃教材
優(yōu)化理論與算法基礎(chǔ) 版權(quán)信息
- ISBN：9787302671961
- 條形碼：9787302671961 ; 978-7-302-67196-1
- 裝幀：平裝-膠訂
- 冊數(shù)：暫無
- 重量：暫無
- 所屬分類：>
優(yōu)化理論與算法基礎(chǔ) 本書特色
注重基礎(chǔ)，兼顧前沿性，詳細講述非線性優(yōu)化和凸優(yōu)化的重要原理與經(jīng)典算法的同時介紹近十幾年來優(yōu)化領(lǐng)域出現(xiàn)的一些新思想、新方法和新算法, 以及優(yōu)化理論與算法在機器學習、經(jīng)濟、統(tǒng)計和金融等領(lǐng)域中的應(yīng)用.
優(yōu)化理論與算法基礎(chǔ) 內(nèi)容簡介
"本書是非線性優(yōu)化的基礎(chǔ)教材, 內(nèi)容涵蓋凸集與凸函數(shù)、優(yōu)化問題的一般理論、廣義不等式約束 優(yōu)化問題和向量優(yōu)化問題、梯度下降法與共軛梯度法、牛頓法和擬牛頓法、線性規(guī)劃與二次規(guī)劃、約 束凸優(yōu)化問題、機器學習中常用的復(fù)合優(yōu)化算法等非線性優(yōu)化的核心基礎(chǔ)理論與算法. 本書在選材上 注重基礎(chǔ)并兼顧前沿性, 詳細講述非線性優(yōu)化和凸優(yōu)化的重要原理與經(jīng)典算法的同時, 也花了一定篇 幅介紹近十幾年來優(yōu)化領(lǐng)域出現(xiàn)的一些新思想、新方法和新算法, 以及優(yōu)化理論與算法在機器學習、 經(jīng)濟、統(tǒng)計和金融等領(lǐng)域中的應(yīng)用. 寫作上力求深入淺出, 循序漸進, 既照顧到學生的理解能力與學習 興趣, 又考慮到內(nèi)容完備性、邏輯嚴謹性與必要的深度. 為了方便讀者動手實踐, 本書給出實現(xiàn)書中計 算實例、應(yīng)用實例的完整MATLAB 代碼和數(shù)據(jù)集, 以及詳細的使用說明和代碼注釋, 讀者能夠很容易 地實現(xiàn)所學方法. 此外, 本書還配有由LaTeX 精心制作的PDF 課件, 方便教師教學使用. 本書可作為大數(shù)據(jù)、人工智能、應(yīng)用數(shù)學、計算機、管理科學與工程、金融工程等專業(yè)的研究生 基礎(chǔ)課教材, 也可以作為相關(guān)專業(yè)高年級本科生的專業(yè)課教材或參考書. "
優(yōu)化理論與算法基礎(chǔ) 目錄
第 1 章 導(dǎo)論與預(yù)備知識 1
1.1 歐幾里得空間 中的點集 1
1.1.1 集合 1
1.1.2 歐幾里得空間 的性質(zhì) 2
1.1.3 中的點集拓撲 4
1.1.4 中的極限 6
1.1.5 上確界與下確界 6
1.2 連續(xù)函數(shù) 9
1.2.1 連續(xù)函數(shù)的定義與性質(zhì) 9
1.2.2 上極限與下極限 11
1.2.3 上半連續(xù)性與下半連續(xù)性 13
1.3 多元函數(shù)的微分中值定理與 Taylor 公式 13
1.3.1 多元函數(shù)的微分中值定理 13
1.3.2 多元函數(shù)的 Taylor 公式 15
1.4 凸集 16
1.4.1 仿射集 16
1.4.2 凸集 17
1.4.3 凸集分離定理 18
1.5 錐 25
1.5.1 錐和凸錐 25
1.5.2 廣義不等式 26
1.5.3 *小元與極小元 27
1.6 對偶錐. 28
1.6.1 對偶錐 28
1.6.2 對偶廣義不等式 30
拓展閱讀建議 31
第 1 章習題 31
第 2 章 凸函數(shù) 34
2.1 凸函數(shù)的定義及判定 34
2.1.1 凸函數(shù)的定義 34
2.1.2 一元凸函數(shù)的判定 35
2.1.3 多元凸函數(shù)的判定 36
2.2 凸函數(shù)的性質(zhì) 41
2.2.1 一元凸函數(shù)的連續(xù)性與單邊導(dǎo)數(shù) 41
2.2.2 多元凸函數(shù)的連續(xù)性 43
2.2.3 上圖與下水平集 46
2.2.4 凸函數(shù)的極值 47
2.3 保持凸性的運算 48
2.4 應(yīng)用及例子 52
2.4.1 .-范數(shù) 52
2.4.2 Jensen 不等式 56
2.4.3 凸函數(shù)/凹函數(shù)的例子 59
2.5 共軛函數(shù) 62
2.5.1 共軛函數(shù)的定義與計算實例 62
2.5.2 共軛函數(shù)的性質(zhì) 68
2.6 矩陣的核范數(shù) 70
拓展閱讀建議 73
第 2 章習題 74
第 3 章 優(yōu)化問題 80
3.1 優(yōu)化問題 80
3.2 凸優(yōu)化問題 82
3.2.1 凸優(yōu)化問題的概念 82
3.2.2 凸優(yōu)化問題的性質(zhì) 82
3.3 Lagrange 對偶函數(shù) 85
3.3.1 Lagrange 對偶函數(shù)的定義 85
3.3.2 *優(yōu)值的下界估計 87
3.3.3 Lagrange 對偶函數(shù)與共軛函數(shù)的關(guān)系 88
3.4 Lagrange 對偶問題 90
3.4.1 對偶問題的概念及例子 90
3.4.2 強對偶性 92
3.5 *優(yōu)性條件 97
3.5.1 無約束優(yōu)化問題的*優(yōu)性條件 97
3.5.2 只含等式約束的優(yōu)化問題的*優(yōu)條件 98
3.5.3 只含不等式約束的優(yōu)化問題的*優(yōu)條件 101
3.5.4 一般形式的 Karush-Kuhn-Tucker 定理 103
3.5.5 凸優(yōu)化問題的 Karush-Kuhn-Tucker 定理 109
拓展閱讀建議 109
第 3 章習題 109
第 4 章 廣義不等式約束與向量優(yōu)化 116
4.1 廣義單調(diào)性與凸性 116
4.1.1 相關(guān)概念回顧 116
4.1.2 在偏序集上取值的函數(shù) 117
4.1.3 可微函數(shù)的單調(diào)性和凸性條件 120
4.2 效用函數(shù)相關(guān)知識 122
4.2.1 偏序、全序和預(yù)序 122
4.2.2 效用函數(shù) 124
4.2.3 連續(xù)效用函數(shù) 126
4.2.4 von Neumann-Morgenstern 期望效用函數(shù) 132
4.3 廣義不等式約束的凸優(yōu)化問題 135
4.3.1 問題的一般形式 135
4.3.2 半定規(guī)劃 136
4.3.3 一些例子 137
4.4 向量優(yōu)化 141
4.4.1 向量優(yōu)化問題 141
4.4.2 向量優(yōu)化問題的標量化 143
4.4.3 凸向量優(yōu)化問題 144
4.5 福利經(jīng)濟學基本定理 146
4.5.1 產(chǎn)品經(jīng)濟系統(tǒng) 146
4.5.2 福利經(jīng)濟學基本定理 148
拓展閱讀建議 150
第 4 章習題 151
第 5 章 優(yōu)化算法基礎(chǔ)知識 152
5.1 算法的收斂性與收斂速度 152
5.2 一維牛頓法與割線法 154
5.3 區(qū)間分割法 157
5.4 線搜索. 161
拓展閱讀建議 172
第 5 章習題 172
第 6 章 梯度下降法與共軛梯度法 174
6.1 梯度下降法 174
6.1.1 梯度下降法的基本思想與算法 174
6.1.2 強凸性 177
6.1.3 梯度下降法的收斂性與誤差分析 179
6.2 共軛梯度法 183
6.2.1 無約束二次優(yōu)化問題的共軛梯度法 183
6.2.2 非線性共軛梯度法 190
6.3 信賴域子問題 192
6.3.1 信賴域子問題及其*優(yōu)性條件 192
6.3.2 截斷共軛梯度法 194
6.4 邏輯回歸問題 196
6.4.1 邏輯回歸模型 196
6.4.2 模型參數(shù)估計 197
6.4.3 計算實例 202
6.4.4 多分類問題 206
拓展閱讀建議 210
第 6 章習題 210
第 7 章 牛頓法與擬牛頓法 212
7.1 牛頓法. 212
7.1.1 牛頓法的基本思想 212
7.1.2 Hesse 矩陣不正定時的處理 213
7.1.3 牛頓法的收斂性 217
7.1.4 計算實例 220
7.2 擬牛頓法 226
7.2.1 擬牛頓法的基本思想 226
7.2.2 幾種常用的擬牛頓法 228
7.2.3 計算實例 233
7.3 正交距離回歸 238
7.3.1 變量帶誤差模型 238
7.3.2 正交距離回歸模型 239
7.3.3 參數(shù)估計算法 240
拓展閱讀建議 245
第 7 章習題 246
第 8 章 線性規(guī)劃與二次規(guī)劃 249
8.1 線性規(guī)劃 249
8.1.1 線性規(guī)劃的標準形式 249
8.1.2 線性規(guī)劃的對偶問題與*優(yōu)性條件 250
8.1.3 可行集的幾何性質(zhì) 251
8.1.4 單純形法 252
8.1.5 啟動點的計算 254
8.2 等式約束二次規(guī)劃 255
8.2.1 等式約束二次規(guī)劃及其*優(yōu)性條件 255
8.2.2 等式約束二次規(guī)劃算法 257
8.2.3 計算實例 260
8.3 不等式約束二次規(guī)劃 261
8.3.1 不等式約束二次規(guī)劃的*優(yōu)性條件 261
8.3.2 積極集方法 262
8.3.3 啟動點的計算 265
拓展閱讀建議 267
第 8 章習題 267
第 9 章 約束非線性優(yōu)化 269
9.1 等式約束凸優(yōu)化 269
9.1.1 等式約束凸優(yōu)化的*優(yōu)性條件 269
9.1.2 等式約束凸優(yōu)化的牛頓法 269
9.1.3 初始點不是可行點的牛頓法 271
9.1.4 計算實例 274
9.2 內(nèi)點法 276
9.2.1 一個具體的例子 276
9.2.2 凸優(yōu)化問題的內(nèi)點法 280
9.2.3 兩階段法 283
9.3 支持向量機 284
9.3.1 支持向量機模型 284
9.3.2 求解方法 286
9.3.3 核支持向量機 293
9.3.4 計算實例 297
拓展閱讀建議 301
第 9 章習題 302
第 10 章 機器學習中常用的復(fù)合優(yōu)化算法 303
10.1 增廣 Lagrange 函數(shù)法 303
10.1.1 對偶上升法 303
10.1.2 增廣 Lagrange 乘數(shù)法 304
10.2 次梯度與次微分 306
10.2.1 擴展實值函數(shù) 306
10.2.2 閉函數(shù) 307
10.2.3 次梯度與次微分 307
10.2.4 次微分的性質(zhì) 309
10.2.5 次微分的運算法則 314
10.3 交替方向乘數(shù)法 314
10.3.1 算法 314
10.3.2 收斂性分析 316
10.4 近似點算法 320
10.4.1 鄰近算子 320
10.4.2 近似點梯度法 326
10.4.3 LASSO 回歸問題 328
10.5 坐標下降法與分塊坐標下降法 335
10.5.1 坐標下降法 335
10.5.2 分塊坐標下降法 340
10.5.3 應(yīng)用 341
拓展閱讀建議 344
第 10 章習題 344
附錄 A 特征值與特征值分解定理 346
A.1 特征值與特征向量. 346
A.2 n 階方陣的特征分解 347
A.3 實對稱矩陣的對角化與特征分解 350
A.4 實正定對稱矩陣與二次型 353
附錄 B 奇異值與奇異值分解定理 357
B.1 奇異值與奇異向量 357
B.2 奇異值的存在性及性質(zhì) 358
B.3 奇異值分解定理 360
B.4 矩陣的低秩逼近 362
B.5 超定線性方程組與矩陣的偽逆 365
附錄 C 矩陣函數(shù)的導(dǎo)數(shù)與微分 368
附錄 D 反函數(shù)定理與隱函數(shù)存在定理 374
附錄 E Sherman-Morrison 公式與 Woodbury 公式 378
部分習題答案 381
參考文獻 406
1.1 歐幾里得空間 中的點集 1
1.1.1 集合 1
1.1.2 歐幾里得空間 的性質(zhì) 2
1.1.3 中的點集拓撲 4
1.1.4 中的極限 6
1.1.5 上確界與下確界 6
1.2 連續(xù)函數(shù) 9
1.2.1 連續(xù)函數(shù)的定義與性質(zhì) 9
1.2.2 上極限與下極限 11
1.2.3 上半連續(xù)性與下半連續(xù)性 13
1.3 多元函數(shù)的微分中值定理與 Taylor 公式 13
1.3.1 多元函數(shù)的微分中值定理 13
1.3.2 多元函數(shù)的 Taylor 公式 15
1.4 凸集 16
1.4.1 仿射集 16
1.4.2 凸集 17
1.4.3 凸集分離定理 18
1.5 錐 25
1.5.1 錐和凸錐 25
1.5.2 廣義不等式 26
1.5.3 *小元與極小元 27
1.6 對偶錐. 28
1.6.1 對偶錐 28
1.6.2 對偶廣義不等式 30
拓展閱讀建議 31
第 1 章習題 31
第 2 章 凸函數(shù) 34
2.1 凸函數(shù)的定義及判定 34
2.1.1 凸函數(shù)的定義 34
2.1.2 一元凸函數(shù)的判定 35
2.1.3 多元凸函數(shù)的判定 36
2.2 凸函數(shù)的性質(zhì) 41
2.2.1 一元凸函數(shù)的連續(xù)性與單邊導(dǎo)數(shù) 41
2.2.2 多元凸函數(shù)的連續(xù)性 43
2.2.3 上圖與下水平集 46
2.2.4 凸函數(shù)的極值 47
2.3 保持凸性的運算 48
2.4 應(yīng)用及例子 52
2.4.1 .-范數(shù) 52
2.4.2 Jensen 不等式 56
2.4.3 凸函數(shù)/凹函數(shù)的例子 59
2.5 共軛函數(shù) 62
2.5.1 共軛函數(shù)的定義與計算實例 62
2.5.2 共軛函數(shù)的性質(zhì) 68
2.6 矩陣的核范數(shù) 70
拓展閱讀建議 73
第 2 章習題 74
第 3 章 優(yōu)化問題 80
3.1 優(yōu)化問題 80
3.2 凸優(yōu)化問題 82
3.2.1 凸優(yōu)化問題的概念 82
3.2.2 凸優(yōu)化問題的性質(zhì) 82
3.3 Lagrange 對偶函數(shù) 85
3.3.1 Lagrange 對偶函數(shù)的定義 85
3.3.2 *優(yōu)值的下界估計 87
3.3.3 Lagrange 對偶函數(shù)與共軛函數(shù)的關(guān)系 88
3.4 Lagrange 對偶問題 90
3.4.1 對偶問題的概念及例子 90
3.4.2 強對偶性 92
3.5 *優(yōu)性條件 97
3.5.1 無約束優(yōu)化問題的*優(yōu)性條件 97
3.5.2 只含等式約束的優(yōu)化問題的*優(yōu)條件 98
3.5.3 只含不等式約束的優(yōu)化問題的*優(yōu)條件 101
3.5.4 一般形式的 Karush-Kuhn-Tucker 定理 103
3.5.5 凸優(yōu)化問題的 Karush-Kuhn-Tucker 定理 109
拓展閱讀建議 109
第 3 章習題 109
第 4 章 廣義不等式約束與向量優(yōu)化 116
4.1 廣義單調(diào)性與凸性 116
4.1.1 相關(guān)概念回顧 116
4.1.2 在偏序集上取值的函數(shù) 117
4.1.3 可微函數(shù)的單調(diào)性和凸性條件 120
4.2 效用函數(shù)相關(guān)知識 122
4.2.1 偏序、全序和預(yù)序 122
4.2.2 效用函數(shù) 124
4.2.3 連續(xù)效用函數(shù) 126
4.2.4 von Neumann-Morgenstern 期望效用函數(shù) 132
4.3 廣義不等式約束的凸優(yōu)化問題 135
4.3.1 問題的一般形式 135
4.3.2 半定規(guī)劃 136
4.3.3 一些例子 137
4.4 向量優(yōu)化 141
4.4.1 向量優(yōu)化問題 141
4.4.2 向量優(yōu)化問題的標量化 143
4.4.3 凸向量優(yōu)化問題 144
4.5 福利經(jīng)濟學基本定理 146
4.5.1 產(chǎn)品經(jīng)濟系統(tǒng) 146
4.5.2 福利經(jīng)濟學基本定理 148
拓展閱讀建議 150
第 4 章習題 151
第 5 章 優(yōu)化算法基礎(chǔ)知識 152
5.1 算法的收斂性與收斂速度 152
5.2 一維牛頓法與割線法 154
5.3 區(qū)間分割法 157
5.4 線搜索. 161
拓展閱讀建議 172
第 5 章習題 172
第 6 章 梯度下降法與共軛梯度法 174
6.1 梯度下降法 174
6.1.1 梯度下降法的基本思想與算法 174
6.1.2 強凸性 177
6.1.3 梯度下降法的收斂性與誤差分析 179
6.2 共軛梯度法 183
6.2.1 無約束二次優(yōu)化問題的共軛梯度法 183
6.2.2 非線性共軛梯度法 190
6.3 信賴域子問題 192
6.3.1 信賴域子問題及其*優(yōu)性條件 192
6.3.2 截斷共軛梯度法 194
6.4 邏輯回歸問題 196
6.4.1 邏輯回歸模型 196
6.4.2 模型參數(shù)估計 197
6.4.3 計算實例 202
6.4.4 多分類問題 206
拓展閱讀建議 210
第 6 章習題 210
第 7 章 牛頓法與擬牛頓法 212
7.1 牛頓法. 212
7.1.1 牛頓法的基本思想 212
7.1.2 Hesse 矩陣不正定時的處理 213
7.1.3 牛頓法的收斂性 217
7.1.4 計算實例 220
7.2 擬牛頓法 226
7.2.1 擬牛頓法的基本思想 226
7.2.2 幾種常用的擬牛頓法 228
7.2.3 計算實例 233
7.3 正交距離回歸 238
7.3.1 變量帶誤差模型 238
7.3.2 正交距離回歸模型 239
7.3.3 參數(shù)估計算法 240
拓展閱讀建議 245
第 7 章習題 246
第 8 章 線性規(guī)劃與二次規(guī)劃 249
8.1 線性規(guī)劃 249
8.1.1 線性規(guī)劃的標準形式 249
8.1.2 線性規(guī)劃的對偶問題與*優(yōu)性條件 250
8.1.3 可行集的幾何性質(zhì) 251
8.1.4 單純形法 252
8.1.5 啟動點的計算 254
8.2 等式約束二次規(guī)劃 255
8.2.1 等式約束二次規(guī)劃及其*優(yōu)性條件 255
8.2.2 等式約束二次規(guī)劃算法 257
8.2.3 計算實例 260
8.3 不等式約束二次規(guī)劃 261
8.3.1 不等式約束二次規(guī)劃的*優(yōu)性條件 261
8.3.2 積極集方法 262
8.3.3 啟動點的計算 265
拓展閱讀建議 267
第 8 章習題 267
第 9 章 約束非線性優(yōu)化 269
9.1 等式約束凸優(yōu)化 269
9.1.1 等式約束凸優(yōu)化的*優(yōu)性條件 269
9.1.2 等式約束凸優(yōu)化的牛頓法 269
9.1.3 初始點不是可行點的牛頓法 271
9.1.4 計算實例 274
9.2 內(nèi)點法 276
9.2.1 一個具體的例子 276
9.2.2 凸優(yōu)化問題的內(nèi)點法 280
9.2.3 兩階段法 283
9.3 支持向量機 284
9.3.1 支持向量機模型 284
9.3.2 求解方法 286
9.3.3 核支持向量機 293
9.3.4 計算實例 297
拓展閱讀建議 301
第 9 章習題 302
第 10 章 機器學習中常用的復(fù)合優(yōu)化算法 303
10.1 增廣 Lagrange 函數(shù)法 303
10.1.1 對偶上升法 303
10.1.2 增廣 Lagrange 乘數(shù)法 304
10.2 次梯度與次微分 306
10.2.1 擴展實值函數(shù) 306
10.2.2 閉函數(shù) 307
10.2.3 次梯度與次微分 307
10.2.4 次微分的性質(zhì) 309
10.2.5 次微分的運算法則 314
10.3 交替方向乘數(shù)法 314
10.3.1 算法 314
10.3.2 收斂性分析 316
10.4 近似點算法 320
10.4.1 鄰近算子 320
10.4.2 近似點梯度法 326
10.4.3 LASSO 回歸問題 328
10.5 坐標下降法與分塊坐標下降法 335
10.5.1 坐標下降法 335
10.5.2 分塊坐標下降法 340
10.5.3 應(yīng)用 341
拓展閱讀建議 344
第 10 章習題 344
附錄 A 特征值與特征值分解定理 346
A.1 特征值與特征向量. 346
A.2 n 階方陣的特征分解 347
A.3 實對稱矩陣的對角化與特征分解 350
A.4 實正定對稱矩陣與二次型 353
附錄 B 奇異值與奇異值分解定理 357
B.1 奇異值與奇異向量 357
B.2 奇異值的存在性及性質(zhì) 358
B.3 奇異值分解定理 360
B.4 矩陣的低秩逼近 362
B.5 超定線性方程組與矩陣的偽逆 365
附錄 C 矩陣函數(shù)的導(dǎo)數(shù)與微分 368
附錄 D 反函數(shù)定理與隱函數(shù)存在定理 374
附錄 E Sherman-Morrison 公式與 Woodbury 公式 378
部分習題答案 381
參考文獻 406
展開全部
書友推薦
- >
大紅狗在馬戲團-大紅狗克里弗-助人
- >
新文學天穹兩巨星--魯迅與胡適/紅燭學術(shù)叢書(紅燭學術(shù)叢書)
- >
名家?guī)阕x魯迅:朝花夕拾
- >
月亮與六便士
- >
苦雨齋序跋文-周作人自編集
- >
企鵝口袋書系列·偉大的思想20:論自然選擇(英漢雙語)
- >
有舍有得是人生
- >
史學評論
本類暢銷
