OpenNI體感應(yīng)用開發(fā)實(shí)戰(zhàn)

前　言
第一部分　基礎(chǔ)篇
第1章　自然人機(jī)交互 2
1.1　什么是自然交互 2
1.2　科幻電影場(chǎng)景的人機(jī)交互 3
1.3　自然人機(jī)交互技術(shù)發(fā)展現(xiàn)狀 4
1.4　本章小結(jié) 8
第2章　Xtion硬件設(shè)備 9
2.1　Xtion設(shè)備簡(jiǎn)介 9
2.1.1　Xtion設(shè)備的類型 9
2.1.2　Xtion設(shè)備的功能 10
2.1.3　Xtion設(shè)備的規(guī)格 10
2.2　Xtion設(shè)備的優(yōu)勢(shì) 11
2.2.1　Xtion和Kinect的區(qū)別 11
2.2.2　硬件設(shè)備的軟件支持 12
2.3　深度感應(yīng)器原理 14
2.3.1　感應(yīng)器架構(gòu) 14
2.3.2　深度感應(yīng)器工作原理 15
2.3.3　深度精確度分析 16
2.3.4　無(wú)法偵測(cè)物體深度 17
2.4　本章小結(jié) 19
第3章　OpenNI開發(fā)方案 20
3.1　初識(shí)OpenNI 20
3.1.1　OpenNI架構(gòu) 20
3.1.2　OpenNI支持的模塊 22
3.1.3　OpenNI的功能 23
3.1.4　OpenNI中的對(duì)象 24
3.1.5　OpenNI版本更新說(shuō)明 25
3.2　OpenNI生產(chǎn)節(jié)點(diǎn) 27
3.2.1　生產(chǎn)節(jié)點(diǎn)的類型 28
3.2.2　生產(chǎn)節(jié)點(diǎn)概念圖 28
3.2.3　生成和讀取數(shù)據(jù) 30
3.2.4　OpenNI接口的配置 31
3.3　OpenNI應(yīng)用 31
3.3.1　Xtion Controller應(yīng)用 31
3.3.2　INOUT應(yīng)用 31
3.3.3　Artec Studio應(yīng)用 31
3.3.4　體感技術(shù)在初音未來(lái)上的應(yīng)用 33
3.4　本章小結(jié) 33
第二部分　準(zhǔn)備篇
第4章　Xtion開發(fā)準(zhǔn)備工作 36
4.1　下載OpenNI及相應(yīng)程式 36
4.1.1　下載SDK 36
4.1.2　下載Middleware 37
4.1.3　下載OpenNI以及相應(yīng)的NITE 38
4.2　安裝OpenNI 38
4.2.1　Windows環(huán)境下的準(zhǔn)備工作 38
4.2.2　OpenNI檔案及相關(guān)環(huán)境 39
4.2.3　加載設(shè)備驅(qū)動(dòng) 40
4.2.4　檢測(cè)Xtion設(shè)備 40
4.2.5　NiViewer基本控制方法 41
4.3　使用Xtion的注意事項(xiàng) 41
4.4　本章小結(jié) 42
第5章　搭建基礎(chǔ)的Xtion體感開發(fā)環(huán)境 43
5.1　創(chuàng)建控制臺(tái)工程 43
5.2　配置工程OpenNI環(huán)境 45
5.3　本章小結(jié) 49
第6章　初識(shí)Xtion體感開發(fā) 50
6.1　OpenNI基礎(chǔ)應(yīng)用 50
6.1.1　上下文對(duì)象初始化 50
6.1.2　創(chuàng)建生產(chǎn)節(jié)點(diǎn) 51
6.1.3　使用XML文檔中的生產(chǎn)節(jié)點(diǎn) 52
6.1.4　錯(cuò)誤信息返回 53
6.1.5　開始產(chǎn)生數(shù)據(jù) 54
6.1.6　停止產(chǎn)生數(shù)據(jù) 54
6.1.7　上下文對(duì)象資源釋放 55
6.1.8　更新數(shù)據(jù) 55
6.1.9　鏡像設(shè)置 56
6.1.10　圖像位置校正 57
6.2　圖生成器 58
6.2.1　獲取支持圖輸出模式 58
6.2.2　圖生成器輸出模式 59
6.2.3　獲取和設(shè)置圖輸出模式 59
6.2.4　獲取圖像素字節(jié)數(shù) 60
6.3　深度生成器 61
6.3.1　獲取深度元數(shù)據(jù)對(duì)象 61
6.3.2　獲取深度圖 61
6.3.3　獲取設(shè)備最大深度 62
6.3.4　獲取設(shè)備視野范圍 62
6.3.5　絕對(duì)坐標(biāo)和相對(duì)坐標(biāo)轉(zhuǎn)換 63
6.3.6　獲取用戶位置功能 64
6.4　用戶生成器 64
6.4.1　獲取用戶數(shù)量 65
6.4.2　獲取用戶 65
6.4.3　獲取用戶質(zhì)心 66
6.4.4　獲取用戶像素 66
6.4.5　注冊(cè)用戶回調(diào)函數(shù) 67
6.4.6　獲取骨架功能 68
6.4.7　獲取姿勢(shì)偵測(cè)功能 68
6.5　場(chǎng)景分析器 69
6.5.1　獲取場(chǎng)景元數(shù)據(jù)對(duì)象 69
6.5.2　獲取場(chǎng)景地板 69
6.5.3　獲取場(chǎng)景標(biāo)識(shí)段 70
6.6　圖生成器的概念及功能 70
6.6.1　圖元數(shù)據(jù)對(duì)象 71
6.6.2　輸出模式設(shè)定 72
6.7　OpenNI程序流程 73
6.7.1　初始化Context 75
6.7.2　建立Production Node 75
6.7.3　開始產(chǎn)生資料 75
6.7.4　更新、讀取資料 76
6.7.5　處理讀取的資料 76
6.7.6　結(jié)束和錯(cuò)誤偵測(cè) 76
6.8　本章小結(jié) 77
第三部分　進(jìn)階篇
第7章　人體骨架追蹤 80
7.1　坐標(biāo)系 80
7.1.1　絕對(duì)坐標(biāo) 80
7.1.2　相對(duì)坐標(biāo) 81
7.1.3　相對(duì)坐標(biāo)和絕對(duì)坐標(biāo)的轉(zhuǎn)換 81
7.2　關(guān)節(jié) 82
7.2.1　OpenNI可偵測(cè)的關(guān)節(jié)點(diǎn) 82
7.2.2　讀取關(guān)節(jié)資料函數(shù) 83
7.2.3　關(guān)節(jié)位置的平滑化 84
7.3　人體骨架追蹤流程 85
7.3.1　需要特定姿勢(shì)的骨架追蹤 85
7.3.2　不需要特定姿勢(shì)的骨架追蹤 86
7.3.3　使用現(xiàn)有校正資料 87
7.4　人體骨架追蹤程序搭建流程 87
7.4.1　創(chuàng)建并初始化設(shè)備上下文 88
7.4.2　創(chuàng)建并設(shè)定生產(chǎn)節(jié)點(diǎn) 88
7.4.3　注冊(cè)回調(diào)函數(shù) 89
7.4.4　開始偵測(cè)數(shù)據(jù) 92
7.4.5　更新數(shù)據(jù) 92
7.4.6　得到用戶信息 93
7.5　人體骨架識(shí)別范例 94
7.6　本章小結(jié) 97
第8章　手勢(shì)識(shí)別與手部追蹤 98
8.1　手勢(shì)識(shí)別原理 99
8.1.1　OpenNI支持的手勢(shì) 99
8.1.2　遍歷NITE支持的手勢(shì) 99
8.1.3　添加手勢(shì)與回調(diào)函數(shù) 99
8.1.4　手勢(shì)識(shí)別范例 102
8.2　NITE控制 104
8.2.1　NITE Control函數(shù)詳解 104
8.2.2　NITE Control范例 106
8.3　手部追蹤原理 110
8.3.1　手心生成器回調(diào)函數(shù)注冊(cè) 110
8.3.2　手部追蹤初始化 110
8.4　本章小結(jié) 111
第9章　錄制與重播 112
9.1　錄制 112
9.1.1　創(chuàng)建錄制器 113
9.1.2　設(shè)置錄制目標(biāo)檔案 113
9.1.3　獲取錄制目標(biāo)檔案 113
9.1.4　添加錄制節(jié)點(diǎn) 114
9.1.5　刪除錄制節(jié)點(diǎn) 114
9.2　重播 115
9.2.1　設(shè)置重復(fù)播放 115
9.2.2　設(shè)置和獲取播放源資料 115
9.2.3　設(shè)置重播起始時(shí)間 116
9.2.4　獲取當(dāng)前播放位置信息 117
9.2.5　檢索播放器中的節(jié)點(diǎn) 118
9.2.6　判斷是否播放結(jié)束 118
9.2.7　注冊(cè)播放到結(jié)尾事件回調(diào)函數(shù) 118
9.2.8　設(shè)置回放速率 119
9.3　本章小結(jié) 119
第10章　限制生產(chǎn)節(jié)點(diǎn)的建立條件 120
10.1　有條件地建立生產(chǎn)節(jié)點(diǎn) 120
10.1.1　添加限制條件 121
10.1.2　設(shè)置限制條件 121
10.1.3　建立生產(chǎn)節(jié)點(diǎn) 121
10.2　通過(guò)限制條件列舉符合條件的生產(chǎn)節(jié)點(diǎn) 122
10.3　根據(jù)節(jié)點(diǎn)信息建立生產(chǎn)節(jié)點(diǎn) 122
10.4　本章小結(jié) 123
第11章　使用XML文檔初始化 124
11.1　XML文檔設(shè)定參數(shù) 124
11.1.1　XML文檔基本架構(gòu) 124
11.1.2　XML文檔中的節(jié)點(diǎn) 126
11.1.3　XML文檔使用范例 127
11.2　使用XML文檔配置功能 128
11.2.1　強(qiáng)制錄制ONI文檔的XML配置 128
11.2.2　資料產(chǎn)生 129
11.3　本章小結(jié) 129
第12章　聲音數(shù)據(jù)的獲取與使用 130
12.1　聲音生成器 130
12.1.1　創(chuàng)建聲音生成器 130
12.1.2　獲取聲音數(shù)據(jù) 131
12.1.3　設(shè)置聲音設(shè)備的輸出模式 132
12.1.4　注意事項(xiàng) 132
12.2　聲音數(shù)據(jù)的處理 132
12.2.1　聲音錄制 133
12.2.2　聲音播放 134
12.3　本章小結(jié) 136
第13章　彩色圖像的獲取和貼圖 137
13.1　OpenNI框架支持的圖像格式 137
13.2　圖像生成器 138
13.2.1　創(chuàng)建圖像生成器 138
13.2.2　獲取圖像數(shù)據(jù) 139
13.2.3　設(shè)置及獲取圖像生成器的輸出格式 140
13.3　獲取RGB影像及貼出RGB影像 141
13.4　本章小結(jié) 143
第四部分　實(shí)戰(zhàn)篇
第14章　體感鼠標(biāo)模擬 146
14.1　手部追蹤與鼠標(biāo)模擬 146
14.2　程序編寫前的準(zhǔn)備工作 146
14.2.1　環(huán)境準(zhǔn)備 146
14.2.2　界面準(zhǔn)備 149
14.2.3　鼠標(biāo)相關(guān)參數(shù)配置準(zhǔn)備 149
14.3　初始化 149
14.3.1　對(duì)話框初始化 150
14.3.2　載入ini文檔中的配置 151
14.3.3　OpenNI程序環(huán)境初始化 151
14.4　程序設(shè)計(jì) 154
14.4.1　獲取深度圖 154
14.4.2　獲取用戶數(shù)據(jù) 155
14.4.3　鼠標(biāo)左右手模式的選擇及切換 156
14.4.4　滾輪控制放大和縮小 157
14.4.5　左手控制鼠標(biāo) 158
14.4.6　右手控制鼠標(biāo) 159
14.4.7　鼠標(biāo)事件指令發(fā)送 161
14.4.8　懸停狀態(tài)設(shè)計(jì) 163
14.5　本章小結(jié) 165
第15章　Xtion玩《街頭霸王》 166
15.1　用身體控制游戲人物 166
15.1.1　人物基本操控動(dòng)作 167
15.1.2　通用招式動(dòng)作設(shè)計(jì) 167
15.1.3　游戲人物的特有招式設(shè)計(jì) 168
15.2　創(chuàng)建工程、配置工程環(huán)境 169
15.3　初始化 171
15.3.1　讀取深度數(shù)據(jù) 172
15.3.2　處理深度數(shù)據(jù) 172
15.3.3　獲取骨架 173
15.3.4　骨架數(shù)據(jù)的初步處理 174
15.4　Ken人物動(dòng)作的表述 176
15.4.1　輕拳 176
15.4.2　跳起 178
15.4.3　波動(dòng)拳 180
15.4.4　神龍拳 183
15.5　虛擬按鍵機(jī)制 186
15.6　本章小結(jié) 188
第16章　體感方向盤玩賽車類游戲 189
16.1　體感方向盤設(shè)計(jì) 189
16.1.1　操控方向盤基本動(dòng)作 189
16.1.2　虛擬線性手柄模擬方向盤 189
16.2　體感方向盤程序開發(fā)初始化 191
16.2.1　環(huán)境初始化 191
16.2.2　虛擬手柄初始化 193
16.3　模擬方向盤操控 196
16.3.1　獲取用戶信息 196
16.3.2　左右方向的控制 197
16.3.3　油門與剎車 199
16.3.4　發(fā)送指令給虛擬線性手柄 200
16.4　本章小結(jié) 201
第17章　Xtion控制機(jī)器人 202
17.1　體感控制機(jī)器人需求分析 202
17.1.1　了解機(jī)器人構(gòu)造 202
17.1.2　如何用身體操控機(jī)器人 203
17.1.3　機(jī)器人操控程序界面設(shè)計(jì) 203
17.2　初始化 204
17.2.1　界面初始化 204
17.2.2　體感追蹤初始化 206
17.2.3　回調(diào)函數(shù) 207
17.3　控制機(jī)器人 207
17.3.1　連接機(jī)器人 207
17.3.2　發(fā)送指令 208
17.4　機(jī)器人程序代碼實(shí)現(xiàn) 209
17.4.1　骨骼數(shù)據(jù)的初步獲取 209
17.4.2　左肩的體感控制 211
17.4.3　大臂轉(zhuǎn)動(dòng)的控制 213
17.4.4　肘部角度計(jì)算 215
17.4.5　手部角度計(jì)算 215
17.4.6　小手臂轉(zhuǎn)動(dòng) 222
17.5　本章小結(jié) 222
第五部分　高級(jí)篇
第18章　BVH骨架轉(zhuǎn)換 224
18.1　運(yùn)動(dòng)捕捉技術(shù)簡(jiǎn)介 224
18.1.1　典型的運(yùn)動(dòng)捕捉設(shè)備組成 225
18.1.2　傳統(tǒng)捕捉技術(shù) 225
18.1.3　運(yùn)動(dòng)捕捉技術(shù)應(yīng)用 228
18.1.4　運(yùn)動(dòng)捕捉技術(shù)優(yōu)缺點(diǎn) 229
18.2　動(dòng)作捕獲數(shù)據(jù) 230
18.2.1　解析BVH文件 230
18.2.2　骨架結(jié)構(gòu) 231
18.2.3　解讀數(shù)據(jù) 232
18.3　旋轉(zhuǎn) 233
18.3.1　基礎(chǔ)2D旋轉(zhuǎn) 233
18.3.2　3D坐標(biāo)軸旋轉(zhuǎn) 234
18.4　歐拉角 237
18.4.1　從歐拉角轉(zhuǎn)換到矩陣 238
18.4.2　從矩陣轉(zhuǎn)換到歐拉角 238
18.4.3　從骨架數(shù)據(jù)中提取歐拉角 239
18.5　本章小結(jié) 241