掃一掃
關注中圖網
官方微博
本類五星書更多>
-
>
全國計算機等級考試最新真考題庫模擬考場及詳解·二級MSOffice高級應用
-
>
決戰行測5000題(言語理解與表達)
-
>
軟件性能測試.分析與調優實踐之路
-
>
第一行代碼Android
-
>
JAVA持續交付
-
>
EXCEL最強教科書(完全版)(全彩印刷)
-
>
深度學習
多模態大模型:技術原理與實戰 版權信息
- ISBN：9787121465628
- 條形碼：9787121465628 ; 978-7-121-46562-8
- 裝幀：簡裝本
- 冊數：暫無
- 重量：暫無
- 所屬分類：>
多模態大模型:技術原理與實戰 本書特色
《多模態大模型：技術原理與實戰》詳細介紹了大語言模型和多模態大模型的發展歷史、技術原理和亮點、主要的開源框架、配套工具、部署細則和實戰案例。為了讓讀者更好地進行大模型的應用實戰，本書還詳細介紹了使用大模型為商業賦能的3個應用案例。期望本書能夠幫助讀者打開通往大模型尤其是多模態大模型的學習、實戰和商業成功之路。
《多模態大模型：技術原理與實戰》適用于從事人工智能工作的專業技術人員，比如算法工程師、研發工程師等，也適用于對多模態大模型感興趣的各類從業者，比如產品經理、項目經理和各級管理人員等。
多模態大模型:技術原理與實戰 內容簡介
本書詳細介紹了大語言模型和多模態大模型的發展歷史、技術原理和亮點、主要的開源框架、配套工具、部署細則和實戰案例。為了讓讀者更好地進行大模型的應用實戰，本書還詳細介紹了使用大模型為商業賦能的3個應用案例。期望本書能夠幫助讀者打開通往大模型尤其是多模態大模型的學習、實戰和商業成功之路。
多模態大模型:技術原理與實戰 目錄
*1章 OpenAI一鳴驚人帶來的啟示 1
1.1 OpenAI的成長并非一帆風順 2
1.2 OpenAI成功的因素 5
1.3 OpenAI特殊的股權設計帶來的啟示 7
1.4 思考 11
*2章 自然語言處理的發展歷程 13
2.1 自然語言處理的里程牌 14
2.1.1 背景介紹 14
2.1.2 自然語言處理發展的7個階段 15
2.2 從BERT模型到ChatGPT 30
2.3 BERT模型到底解決了哪些問題 31
2.4 BERT模型誕生之后行業持續摸索 38
2.5 ChatGPT的誕生 41
2.5.1 InstructGPT模型的構建流程 42
2.5.2 ChatGPT和InstructGPT的差異 44
2.5.3 ChatGPT和BERT大模型在公開數據集上的測試 45
2.5.4 高質量的數據標注 46
2.6 思考 48
第3章 讀懂ChatGPT的核心技術 50
3.1 基于Transformer的預訓練語言模型 50
3.2 提示學習與指令微調 55
3.3 基于人工反饋的強化學習 59
3.4 思維鏈方法 61
3.5 集成學習 64
3.6 思考 67
第4章 看清GPT的進化史和創新點 68
4.1 GPT技術的發展歷程 68
4.1.1 GPT-1技術的發展歷程 68
4.1.2 GPT-2技術的發展歷程 72
4.1.3 GPT-3技術的發展歷程 73
4.2 GPT的創新點總結 75
4.3 思考 77
第5章 大模型+多模態產生的“化學反應” 78
5.1 多模態模型的發展歷史 78
5.2 單模態學習、多模態學習和跨模態學習的區別 82
5.3 多模態大模型發展的重大里程碑 85
5.4 大模型+多模態的3種實現方法 94
5.5 多模態大模型的效果評估 99
5.6 思考 103
第6章 多模態大模型的核心技術 104
6.1 文本多模態技術 105
6.1.1 基于模板的圖像描述方法 106
6.1.2 基于檢索的圖像描述方法 106
6.1.3 基于深度學習的圖像描述方法 106
6.2 圖像多模態技術 107
6.2.1 基于GAN的文本生成圖像方法 108
6.2.2 基于VAE的文本生成圖像方法 110
6.2.3 基于擴散模型的文本生成圖像方法 111
6.3 語音多模態技術 112
6.3.1 基于非深度學習的文本生成語音技術 112
6.3.2 基于深度學習的文本生成語音技術 114
6.4 視頻多模態技術 117
6.4.1 基于非擴散模型的文本生成視頻技術 118
6.4.2 基于擴散模型的文本生成視頻技術 119
6.5 跨模態多重組合技術 120
6.6 多模態大模型高效的訓練方法 121
6.7 GPT-4多模態大模型核心技術介紹 123
6.8 多模態技術的發展趨勢 124
第7章 國內外多模態大模型對比 125
7.1 國內多模態大模型介紹 126
7.1.1 LLaMA-Adapter V2 126
7.1.2 VisualGLM-6B 129
7.1.3 mPLUG-Owl 130
7.2 國外多模態大模型介紹 132
7.2.1 Visual ChatGPT 132
7.2.2 InstructBLIP 133
7.2.3 MiniGPT-4 135
7.3 多模態大模型評測數據集 136
7.3.1 國內評測數據集 137
7.3.2 國外評測數據集 137
7.4 多模態大模型的評測標準 138
7.4.1 國內評測標準 138
7.4.2 國外評測標準 139
7.5 多模態大模型對比 140
7.5.1 感知能力評測 140
7.5.2 認知能力評測 144
7.6 思考 145
第8章 中小公司的大模型構建之路 147
8.1 微調技術介紹 148
8.1.1 LoRA技術 149
8.1.2 AdaLoRA技術 150
8.1.3 QLoRA技術 150
8.1.4 微調加DeepSpeed的ZeRO-3 151
8.2 模型壓縮技術介紹 152
8.2.1 剪枝 152
8.2.2 知識蒸餾 154
8.2.3 量化壓縮 155
8.3 微調實戰 156
8.3.1 部分參數微調實戰 157
8.3.2 全參數微調實戰 158
8.4 模型壓縮實戰 160
8.4.1 8位量化壓縮實戰 160
8.4.2 4位量化壓縮實戰 161
8.5 思考 163
第9章 從0到1部署多模態大模型 164
9.1 部署環境準備 164
9.2 部署流程 166
9.3 使用Flask框架進行API開發 168
9.4 使用Gradio框架進行Web頁面開發 172
9.5 其他部署方法介紹 177
9.6 部署過程中常見的問題總結 180
*10章 多模態大模型的主要應用場景 184
10.1 多模態大模型的應用圖譜 184
10.1.1 多模態大模型的30個基礎應用 184
10.1.2 多模態大模型在六大領域中的應用 190
10.2 多模態大模型在金融領域中的應用 194
10.2.1 語音質檢 195
10.2.2 智能顧問 197
10.3 多模態大模型在出行與物流領域中的應用 202
10.4 多模態大模型在電商領域中的應用 204
10.4.1 智能客服 204
10.4.2 智能試穿 206
10.5 多模態大模型在工業設計與生產領域中的應用 208
10.6 多模態大模型在醫療健康領域中的應用 211
10.7 多模態大模型在教育培訓領域的應用 216
10.8 思考 217
*11章 用多模態大模型打造AI助理實戰 219
11.1 應用背景 219
11.2 方法論介紹 220
11.2.1 思維鏈解決復雜的推理問題 220
11.2.2 思維樹進一步提升推理能力 221
11.2.3 采用插值法解決長文本輸入問題 221
11.3 工具和算法框架介紹 223
11.3.1 使用的工具 223
11.3.2 使用的算法框架 223
11.4 優化邏輯介紹 225
11.4.1 如何提高多輪對話能力 226
11.4.2 如何提高角色扮演能力 226
11.4.3 如何提高長文本閱讀能力 227
11.5 多模態大模型的部署 228
11.6 多模態大模型的性能評估 229
11.6.1 綜合性能評估 229
11.6.2 長文本閱讀示例 230
11.6.3 多輪對話示例 231
11.6.4 角色扮演示例 234
11.6.5 LangChain框架賦能Ziya在限定域內問答示例 235
11.7 思考 236
*12章 多模態大模型在情緒識別領域的應用 237
12.1 應用背景和待解決的問題 237
12.2 方法論介紹 239
12.3 工具和算法框架介紹 244
12.3.1 算法的輸入和輸出 244
12.3.2 算法框架的整體構建流程 245
12.3.3 文本預訓練任務 246
12.3.4 圖像預訓練任務 248
12.3.5 多模態預訓練任務 249
12.3.6 算法的求解 250
12.3.7 算法的應用 251
12.4 優化邏輯介紹 252
12.5 部署流程 254
12.6 效果評測 255
12.6.1 評測數據集 255
12.6.2 評測指標 258
12.6.3 評測結果 258
12.7 思考 260
*13章 大模型在軟件研發領域的實戰案例與前沿探索 262
13.1 LLM在軟件研發過程中的單點提效 263
13.1.1 基于GitHub Copilot的代碼片段智能生成 263
13.1.2 基于GitHub Copilot X實現增強的代碼片段智能生成 267
13.1.3 基于GitHub Copilot X實現對選中的代碼的理解與解讀 269
13.1.4 基于GitHub Copilot X的Pull Requests提效 270
13.1.5 基于LLM實現的“代碼刷” 271
13.1.6 使用Copilot Voice實現語音驅動的代碼開發 273
13.1.7 使用Copilot CLI實現命令行的自動生成 275
13.1.8 使用TestPilot實現單元測試用例的自動生成 276
13.1.9 更多的應用 278
13.2 代碼大語言模型為軟件研發帶來的機遇與挑戰 278
13.2.1 對于軟件研發來說，什么變了 279
13.2.2 對于軟件研發來說，什么沒有變 279
13.3 在LLM時代，對軟件研發的更多思考 284
13.3.1 思考1：替代的是“碼農”，共生的是工程師 284
13.3.2 思考2：有利于控制研發團隊規模，保持小團隊的效率
優勢 285
13.3.3 思考3：不可避免的“暗知識” 285
13.3.4 思考4：Prompt即代碼，代碼不再是代碼 286
13.3.5 思考5：Prompt to Executable軟件研發范式的可能性 287
13.4 思考 287
1.1 OpenAI的成長并非一帆風順 2
1.2 OpenAI成功的因素 5
1.3 OpenAI特殊的股權設計帶來的啟示 7
1.4 思考 11
*2章 自然語言處理的發展歷程 13
2.1 自然語言處理的里程牌 14
2.1.1 背景介紹 14
2.1.2 自然語言處理發展的7個階段 15
2.2 從BERT模型到ChatGPT 30
2.3 BERT模型到底解決了哪些問題 31
2.4 BERT模型誕生之后行業持續摸索 38
2.5 ChatGPT的誕生 41
2.5.1 InstructGPT模型的構建流程 42
2.5.2 ChatGPT和InstructGPT的差異 44
2.5.3 ChatGPT和BERT大模型在公開數據集上的測試 45
2.5.4 高質量的數據標注 46
2.6 思考 48
第3章 讀懂ChatGPT的核心技術 50
3.1 基于Transformer的預訓練語言模型 50
3.2 提示學習與指令微調 55
3.3 基于人工反饋的強化學習 59
3.4 思維鏈方法 61
3.5 集成學習 64
3.6 思考 67
第4章 看清GPT的進化史和創新點 68
4.1 GPT技術的發展歷程 68
4.1.1 GPT-1技術的發展歷程 68
4.1.2 GPT-2技術的發展歷程 72
4.1.3 GPT-3技術的發展歷程 73
4.2 GPT的創新點總結 75
4.3 思考 77
第5章 大模型+多模態產生的“化學反應” 78
5.1 多模態模型的發展歷史 78
5.2 單模態學習、多模態學習和跨模態學習的區別 82
5.3 多模態大模型發展的重大里程碑 85
5.4 大模型+多模態的3種實現方法 94
5.5 多模態大模型的效果評估 99
5.6 思考 103
第6章 多模態大模型的核心技術 104
6.1 文本多模態技術 105
6.1.1 基于模板的圖像描述方法 106
6.1.2 基于檢索的圖像描述方法 106
6.1.3 基于深度學習的圖像描述方法 106
6.2 圖像多模態技術 107
6.2.1 基于GAN的文本生成圖像方法 108
6.2.2 基于VAE的文本生成圖像方法 110
6.2.3 基于擴散模型的文本生成圖像方法 111
6.3 語音多模態技術 112
6.3.1 基于非深度學習的文本生成語音技術 112
6.3.2 基于深度學習的文本生成語音技術 114
6.4 視頻多模態技術 117
6.4.1 基于非擴散模型的文本生成視頻技術 118
6.4.2 基于擴散模型的文本生成視頻技術 119
6.5 跨模態多重組合技術 120
6.6 多模態大模型高效的訓練方法 121
6.7 GPT-4多模態大模型核心技術介紹 123
6.8 多模態技術的發展趨勢 124
第7章 國內外多模態大模型對比 125
7.1 國內多模態大模型介紹 126
7.1.1 LLaMA-Adapter V2 126
7.1.2 VisualGLM-6B 129
7.1.3 mPLUG-Owl 130
7.2 國外多模態大模型介紹 132
7.2.1 Visual ChatGPT 132
7.2.2 InstructBLIP 133
7.2.3 MiniGPT-4 135
7.3 多模態大模型評測數據集 136
7.3.1 國內評測數據集 137
7.3.2 國外評測數據集 137
7.4 多模態大模型的評測標準 138
7.4.1 國內評測標準 138
7.4.2 國外評測標準 139
7.5 多模態大模型對比 140
7.5.1 感知能力評測 140
7.5.2 認知能力評測 144
7.6 思考 145
第8章 中小公司的大模型構建之路 147
8.1 微調技術介紹 148
8.1.1 LoRA技術 149
8.1.2 AdaLoRA技術 150
8.1.3 QLoRA技術 150
8.1.4 微調加DeepSpeed的ZeRO-3 151
8.2 模型壓縮技術介紹 152
8.2.1 剪枝 152
8.2.2 知識蒸餾 154
8.2.3 量化壓縮 155
8.3 微調實戰 156
8.3.1 部分參數微調實戰 157
8.3.2 全參數微調實戰 158
8.4 模型壓縮實戰 160
8.4.1 8位量化壓縮實戰 160
8.4.2 4位量化壓縮實戰 161
8.5 思考 163
第9章 從0到1部署多模態大模型 164
9.1 部署環境準備 164
9.2 部署流程 166
9.3 使用Flask框架進行API開發 168
9.4 使用Gradio框架進行Web頁面開發 172
9.5 其他部署方法介紹 177
9.6 部署過程中常見的問題總結 180
*10章 多模態大模型的主要應用場景 184
10.1 多模態大模型的應用圖譜 184
10.1.1 多模態大模型的30個基礎應用 184
10.1.2 多模態大模型在六大領域中的應用 190
10.2 多模態大模型在金融領域中的應用 194
10.2.1 語音質檢 195
10.2.2 智能顧問 197
10.3 多模態大模型在出行與物流領域中的應用 202
10.4 多模態大模型在電商領域中的應用 204
10.4.1 智能客服 204
10.4.2 智能試穿 206
10.5 多模態大模型在工業設計與生產領域中的應用 208
10.6 多模態大模型在醫療健康領域中的應用 211
10.7 多模態大模型在教育培訓領域的應用 216
10.8 思考 217
*11章 用多模態大模型打造AI助理實戰 219
11.1 應用背景 219
11.2 方法論介紹 220
11.2.1 思維鏈解決復雜的推理問題 220
11.2.2 思維樹進一步提升推理能力 221
11.2.3 采用插值法解決長文本輸入問題 221
11.3 工具和算法框架介紹 223
11.3.1 使用的工具 223
11.3.2 使用的算法框架 223
11.4 優化邏輯介紹 225
11.4.1 如何提高多輪對話能力 226
11.4.2 如何提高角色扮演能力 226
11.4.3 如何提高長文本閱讀能力 227
11.5 多模態大模型的部署 228
11.6 多模態大模型的性能評估 229
11.6.1 綜合性能評估 229
11.6.2 長文本閱讀示例 230
11.6.3 多輪對話示例 231
11.6.4 角色扮演示例 234
11.6.5 LangChain框架賦能Ziya在限定域內問答示例 235
11.7 思考 236
*12章 多模態大模型在情緒識別領域的應用 237
12.1 應用背景和待解決的問題 237
12.2 方法論介紹 239
12.3 工具和算法框架介紹 244
12.3.1 算法的輸入和輸出 244
12.3.2 算法框架的整體構建流程 245
12.3.3 文本預訓練任務 246
12.3.4 圖像預訓練任務 248
12.3.5 多模態預訓練任務 249
12.3.6 算法的求解 250
12.3.7 算法的應用 251
12.4 優化邏輯介紹 252
12.5 部署流程 254
12.6 效果評測 255
12.6.1 評測數據集 255
12.6.2 評測指標 258
12.6.3 評測結果 258
12.7 思考 260
*13章 大模型在軟件研發領域的實戰案例與前沿探索 262
13.1 LLM在軟件研發過程中的單點提效 263
13.1.1 基于GitHub Copilot的代碼片段智能生成 263
13.1.2 基于GitHub Copilot X實現增強的代碼片段智能生成 267
13.1.3 基于GitHub Copilot X實現對選中的代碼的理解與解讀 269
13.1.4 基于GitHub Copilot X的Pull Requests提效 270
13.1.5 基于LLM實現的“代碼刷” 271
13.1.6 使用Copilot Voice實現語音驅動的代碼開發 273
13.1.7 使用Copilot CLI實現命令行的自動生成 275
13.1.8 使用TestPilot實現單元測試用例的自動生成 276
13.1.9 更多的應用 278
13.2 代碼大語言模型為軟件研發帶來的機遇與挑戰 278
13.2.1 對于軟件研發來說，什么變了 279
13.2.2 對于軟件研發來說，什么沒有變 279
13.3 在LLM時代，對軟件研發的更多思考 284
13.3.1 思考1：替代的是“碼農”，共生的是工程師 284
13.3.2 思考2：有利于控制研發團隊規模，保持小團隊的效率
優勢 285
13.3.3 思考3：不可避免的“暗知識” 285
13.3.4 思考4：Prompt即代碼，代碼不再是代碼 286
13.3.5 思考5：Prompt to Executable軟件研發范式的可能性 287
13.4 思考 287
展開全部
多模態大模型:技術原理與實戰 作者簡介
彭勇
國家公派留法博士，全球金融專業人士協會（GIFP協會）特聘專家，2020年歐耕互聯網保險十大風云人物，《數據中臺建設：從方法論到落地實戰》作者。從事大數據和人工智能在金融行業的研究與應用工作約18年，負責相關的落地項目超過100個，在金融行業數據中臺建設、數字化營銷和運營體系建設、大數據和人工智能賦能、大模型研發和應用、風險管理、數智化轉型等方面經驗豐富。現就職于蘇州數擎智技術有限公司和北京長正咨詢有限公司，擔任兩個公司的總經理。
彭旋
本科和碩士畢業于中國石油大學（華東）數學與應用數學專業，從事多模態大模型、知識圖譜、信息抽取、自然語言處理等方面的研發工作，具備豐富的多模態大模型訓練、研發和企業落地經驗。《知識圖譜與大模型融合實踐研究報告》《知識圖譜互聯互通白皮書》的主要作者之一。
鄭志軍
NLP專家，研究領域主要包括文本理解、自然語言生成等，申請7項專利。從事自然語言處理研究7年有余，有近4年大模型使用、研發經驗。現擔任公司AIGC組組長，研發的大模型在公共評測和客戶應用上均取得了優異的成績，在大模型研發領域具有豐富的理論和實踐經驗。
茹炳晟，騰訊Tech Lead，騰訊研究院特約研究員，中國計算機學會(CCF)TF研發效能SIG主席，“軟件研發效能度量規范”標準核心編寫專家，中國商業聯合會互聯網應用工作委員會智庫入庫專家，中國通信標準化協會TC608云計算標準和開源推進委員會云上軟件工程工作組副組長，騰訊云、阿里云、華為云*具價值專家，國內外很多技術峰會的聯席zhu席、出品人和演講嘉賓。公眾號“茹炳晟聊軟件研發”主理人。多本技術暢銷書作者，著作有《軟件研發行業創新實戰案例解析》《測試工程師全棧技術進階與實踐》《軟件研發效能提升之美》《高效自動化測試平臺:設計與開發實戰》《軟件研發效能提升實踐》《軟件研發效能*威指南》，譯作有《持續架構實踐：敏捷和DevOps時代下的軟件架構》和《現代軟件工程：如何高效構建軟件》等。
書友推薦
- >
有舍有得是人生
- >
名家帶你讀魯迅:朝花夕拾
- >
伊索寓言-世界文學名著典藏-全譯本
- >
小考拉的故事-套裝共3冊
- >
李白與唐代文化
- >
我從未如此眷戀人間
- >
中國人在烏蘇里邊疆區:歷史與人類學概述
- >
莉莉和章魚
本類暢銷
