與AI對(duì)話：ChatGPT提示工程揭秘

第1部分 基礎(chǔ)知識(shí)

1 ChatGPT：開啟人工智能的新時(shí)代 2

1.1 ChatGPT是什么 2

1.2 ChatGPT的歷史 4

1.2.1 GPT-1：預(yù)訓(xùn)練加微調(diào) 4

1.2.2 GPT-2：更大更強(qiáng) 5

1.2.3 GPT-3：能力涌現(xiàn) 7

1.2.4 ChatGPT：與AI對(duì)話 10

1.2.5 GPT-4：多模態(tài) 12

1.3 ChatGPT的應(yīng)用場(chǎng)景 14

1.4 ChatGPT的局限性 17

2 從網(wǎng)頁(yè)到API：手把手教你使用ChatGPT 20

2.1 使用官方網(wǎng)站與ChatGPT進(jìn)行交互 20

2.2 用API的方式訪問ChatGPT 27

2.3 使用ChatGPT的其他方式 30

3 演進(jìn)之路：從語言模型到提示工程 37

3.1 什么是語言模型 38

3.2 語言模型的發(fā)展歷程 40

3.2.1 20世紀(jì)50年代之前：雛形初現(xiàn) 40

3.2.2 20世紀(jì)的后五十年：由興到衰 41

3.2.3 21世紀(jì)：新時(shí)代 42

3.3 Transformer模型的結(jié)構(gòu)和原理 47

3.3.1 注意力機(jī)制 47

3.3.2 自注意力機(jī)制 48

3.3.3 位置信息 49

3.3.4 縮放點(diǎn)乘注意力 49

3.3.5 多頭自注意力 50

3.3.6 多層自注意力 51

3.3.7 交叉注意力 51

3.3.8 完整的Transformer模型 52

3.4 語言模型的訓(xùn)練 53

3.4.1 自回歸訓(xùn)練 54

3.4.2 基于人工反饋的強(qiáng)化學(xué)習(xí) 57

3.5 提示工程 61

3.5.1 提示工程是什么 61

3.5.2 設(shè)計(jì)良好提示的常見技巧 63

3.5.3 提示工程的重要性 70

第2部分 提示工程

4 人人都能用AI：構(gòu)建提示指令，化解各類難題 74

4.1 難題已攻克：AI助你跨越語言的障礙 74

4.2 不只是糾錯(cuò)：AI讓語言表達(dá)更精準(zhǔn) 80

4.3 文學(xué)創(chuàng)作新思路：人機(jī)協(xié)作讓作品更具靈感 85

4.4 新聞報(bào)道加速器：從收集素材到成稿只需幾秒 97

4.5 一問即答：AI讓信息獲取更簡(jiǎn)單 103

4.6 專家意見何處尋：AI扮演領(lǐng)域?qū)＜医巧珵槟愦鹨山饣? 108

4.7 決策神器：如何讓AI給出明確回答，助你做決定 118

4.8 邏輯驅(qū)動(dòng)的能力提升：數(shù)學(xué)和編程是一回事兒 122

5 從新手到專家：普通人如何成為提示工程師 131

5.1 詞法和句法分析 132

5.1.1 中文分詞 133

5.1.2 命名實(shí)體 135

5.1.3 詞性標(biāo)注 137

5.1.4 依存句法分析 139

5.1.5 總結(jié) 144

5.2 信息抽取 145

5.2.1 關(guān)鍵詞提取 145

5.2.2 實(shí)體關(guān)系抽取 150

5.2.3 結(jié)構(gòu)化事件抽取 153

5.2.4 總結(jié) 156

5.3 分類與聚類 157

5.3.1 文本分類 157

5.3.2 情感分析 160

5.3.3 文本聚類 164

5.3.4 總結(jié) 172

5.4 理解和問答 172

5.4.1 常識(shí)知識(shí)問答 172

5.4.2 閱讀理解問答 176

5.4.3 問題理解和意圖識(shí)別 181

5.4.4 總結(jié) 188

5.5 受控文本生成 189

5.5.1 文本摘要 189

5.5.2 文本復(fù)述 194

5.5.3 數(shù)據(jù)到文本的生成 199

5.5.4 總結(jié) 206

5.6 謠言和不實(shí)信息檢測(cè) 206

第3部分 延伸討論

6 狂歡將至：國(guó)產(chǎn)“ChatGPT”接踵而來 216

6.1 元語智能：ChatYuan 216

6.2 復(fù)旦大學(xué)：MOSS 218

6.3 百度：文心一言 219

6.4 清華大學(xué)：ChatGLM 221

6.5 其他 223

7 道阻且長(zhǎng)：“ChatGPT”們的缺陷與局限 224

7.1 幻覺：一柄雙刃劍 224

7.2 毒性：一個(gè)社會(huì)問題 231

7.3 記憶：短期的更困難 231

7.4 多模態(tài)：到底有什么用 234

參考文獻(xiàn) 242