實(shí)感交互：人工智能下的人機(jī)交互技術(shù)

原書序
原書前言
第1章　交互式顯示的感知、理解與自然
人機(jī)界面1
　1.1　引言1
　1.2　人類感知和理解3
　1.3　人機(jī)界面技術(shù)7
　　1.3.1　過(guò)往的輸入裝置7
　　1.3.2　觸控式交互技術(shù)9
　　1.3.3　聲控交互10
　　1.3.4　視控交互12
　　1.3.5　多模態(tài)交互15
　1.4　“真實(shí)”3D交互顯示探索17
　1.5　結(jié)語(yǔ)19
　參考文獻(xiàn)19
第2章　觸覺感知22
　2.1　引言22
　2.2　觸控技術(shù)簡(jiǎn)介23
　　2.2.1　觸摸屏24
　　2.2.2　按大小和應(yīng)用對(duì)觸控技術(shù)進(jìn)行分類25
　　2.2.3　按材質(zhì)和結(jié)構(gòu)分類的觸控技術(shù)27
　　2.2.4　按檢測(cè)物理量分類的觸控技術(shù)27
　　2.2.5　按感知能力分類的觸控技術(shù)28
　　2.2.6　觸控技術(shù)的未來(lái)29
　2.3　觸控技術(shù)的歷史29
　2.4　電容式觸控技術(shù)32
　　2.4.1　投射電容式觸控技術(shù)（編號(hào)1） 32
　　2.4.2　表面電容式觸控技術(shù)（編號(hào)2） 39
　2.5　電阻式觸控技術(shù)43
　　2.5.1　模擬電阻式觸控技術(shù)（編號(hào)3） 43
　　2.5.2　數(shù)字多點(diǎn)電阻式觸控技術(shù)（編號(hào)4） 48
　　2.5.3　模擬多點(diǎn)電阻式觸控技術(shù)（編號(hào)5） 49
　2.6　聲波觸控技術(shù)51
　　2.6.1　表面聲波觸控技術(shù)（編號(hào)6） 51
　　2.6.2　聲學(xué)脈沖識(shí)別觸控技術(shù)（編號(hào)7） 53
　　2.6.3　色散信號(hào)技術(shù)觸控技術(shù)（編號(hào)8） 56
　2.7　光學(xué)觸控技術(shù)57
　　2.7.1　傳統(tǒng)紅外線觸控技術(shù)（編號(hào)9） 57
　　2.7.2　多點(diǎn)觸控紅外技術(shù)（編號(hào)10） 61
　　2.7.3　攝像光學(xué)觸控技術(shù)（編號(hào)11） 63
　　2.7.4　玻璃光學(xué)觸控技術(shù)（平面散射檢測(cè)）（編號(hào)12） 68
　　2.7.5　視覺光學(xué)觸控技術(shù)（編號(hào)13） 69
　2.8　嵌入式觸控技術(shù)72
　　2.8.1　外嵌互電容式（編號(hào)14） 74
　　2.8.2　混合互電容式（編號(hào)15） 74
　　2.8.3　內(nèi)嵌互電容式（編號(hào)16） 76
　　2.8.4　內(nèi)嵌式光感（編號(hào)17） 77
　2.9　其他觸控技術(shù)79
　　2.9.1　壓力感測(cè)（編號(hào)18） 79
　　2.9.2　組合觸控技術(shù)81
　2.10　結(jié)語(yǔ)82
　2.11　附錄82
　參考文獻(xiàn)83
第3章　用戶界面中的聲控式交互技術(shù)88
　3.1　引言88
　3.2　語(yǔ)音識(shí)別91
　　3.2.1　語(yǔ)言的本質(zhì)91
　　3.2.2　聲學(xué)模型和前端模式92
　　3.2.3　使語(yǔ)音對(duì)齊隱馬爾科夫模型（HMM）的過(guò)程93
　　3.2.4　語(yǔ)言模型93
　　3.2.5　探索：以每秒1000個(gè)單詞完成填字游戲95
　　3.2.6　訓(xùn)練聲學(xué)和語(yǔ)言模型96
　　3.2.7　為特定說(shuō)話人識(shí)別系統(tǒng)調(diào)整發(fā)聲和語(yǔ)音模型96
　　3.2.8　“標(biāo)準(zhǔn)”系統(tǒng)外的其他系統(tǒng)97
　　3.2.9　性能98
　3.3　語(yǔ)音識(shí)別的深度神經(jīng)網(wǎng)絡(luò)98
　3.4　硬件優(yōu)化100
　　3.4.1　低電量喚醒運(yùn)算101
　　3.4.2　特定運(yùn)算的硬件優(yōu)化101
　3.5　穩(wěn)健語(yǔ)音識(shí)別的信號(hào)強(qiáng)化技術(shù)102
　　3.5.1　穩(wěn)健語(yǔ)音識(shí)別102
　　3.5.2　單通道噪聲抑制102
　　3.5.3　多通道噪聲抑制104
　　3.5.4　噪聲消除104
　　3.5.5　回音消除104
　　3.5.6　波束形成105
　3.6　聲音生物計(jì)量106
　　3.6.1　引言106
　　3.6.2　聲音生物計(jì)量面臨的挑戰(zhàn)106
　　3.6.3　聲音生物計(jì)量的新研究領(lǐng)域107
　3.7　語(yǔ)音合成107
　3.8　自然語(yǔ)言理解110
　　3.8.1　混合主導(dǎo)對(duì)話111
　　3.8.2　預(yù)設(shè)和填值技術(shù)的局限113
　3.9　多輪對(duì)話管理116
　3.10　規(guī)劃和推理119
　　3.10.1　技術(shù)挑戰(zhàn)119
　　3.10.2　語(yǔ)義分析和語(yǔ)篇表達(dá)120
　　3.10.3　語(yǔ)用學(xué)121
　　3.10.4　對(duì)話管理協(xié)作122
　　3.10.5　規(guī)劃和再規(guī)劃122
　　3.10.6　知識(shí)呈現(xiàn)與推理123
　　3.10.7　監(jiān)控123
　　3.10.8　推薦閱讀文獻(xiàn)124
　3.11　問(wèn)題解答124
　　3.11.1　問(wèn)題分析125
　　3.11.2　尋找相關(guān)信息125
　　3.11.3　解答與依據(jù)126
　　3.11.4　呈現(xiàn)答案126
　3.12　分布式語(yǔ)音交互架構(gòu)126
　　3.12.1　分布式用戶界面127
　　3.12.2　分布的語(yǔ)音及語(yǔ)言技術(shù)128
　3.13　結(jié)語(yǔ)129
　參考文獻(xiàn)130
第4章　視覺傳感與肢體動(dòng)作交互技術(shù)136
　4.1　引言136
　4.2　圖像技術(shù)：2D和3D 137
　4.3　姿勢(shì)交互140
　4.4　結(jié)語(yǔ)146
　參考文獻(xiàn)147
第5章　實(shí)時(shí)3D傳感與結(jié)構(gòu)光技術(shù)149
　5.1　引言149
　5.2　結(jié)構(gòu)化圖案匯編150
　　5.2.1　2D偽隨機(jī)匯編151
　　5.2.2　二進(jìn)制結(jié)構(gòu)化匯編152
　　5.2.3　多進(jìn)制匯編153
　　5.2.4　連續(xù)正弦相位匯編154
　5.3　結(jié)構(gòu)光系統(tǒng)校準(zhǔn)157
　5.4　數(shù)字條紋投射（DFP）技術(shù)下的3D傳感示例160
　5.5　實(shí)時(shí)3D傳感技術(shù)162
　　5.5.1　數(shù)字光處理（DLP）技術(shù)的原理162
　　5.5.2　實(shí)時(shí)3D數(shù)據(jù)采集164
　　5.5.3　實(shí)時(shí)3D數(shù)據(jù)處理與可視化165
　　5.5.4　實(shí)時(shí)3D傳感實(shí)例166
　5.6　人機(jī)交互應(yīng)用的實(shí)時(shí)3D傳感166
　　5.6.1　實(shí)時(shí)3D面部表情捕捉及其人機(jī)交互的意義167
　　5.6.2　實(shí)時(shí)3D身體部分姿勢(shì)捕捉及其人機(jī)交互的意義167
　　5.6.3　人機(jī)交互意義的總結(jié)168
　5.7　最新發(fā)展169
　　5.7.1　實(shí)時(shí)3D傳感與自然2D彩色紋理捕捉169
　　5.7.2　超高速3D傳感171
　5.8　結(jié)語(yǔ)173
　參考文獻(xiàn)173
第6章　實(shí)時(shí)立體3D成像技術(shù)178
　6.1　引言178
　6.2　背景179
　6.3　立體匹配算法的結(jié)構(gòu)181
　　6.3.1　匹配成本計(jì)算182
　　6.3.2　匹配成本聚合183
　6.4　特征分類184
　　6.4.1　深度估計(jì)密度184
　　6.4.2　優(yōu)化策略185
　6.5　實(shí)施平臺(tái)的分類186
　　6.5.1　僅用CPU的方法187
　　6.5.2　GPU提速的方法187
　　6.5.3　硬件執(zhí)行（FPGA，ASIC）　188
　6.6　結(jié)語(yǔ)190
　參考文獻(xiàn)190
第7章　飛行時(shí)間法3D成像技術(shù)194
　7.1　引言194
　7.2　飛行時(shí)間法3D傳感194
　7.3　脈沖飛行時(shí)間法196
　7.4　持續(xù)飛行時(shí)間法196
　7.5　計(jì)算方法197
　7.6　精度199
　7.7　局限性與改進(jìn)200
　　7.7.1　時(shí)差測(cè)距的挑戰(zhàn)200
　　7.7.2　理論局限200
　　7.7.3　距離混疊201
　　7.7.4　多徑與散射202
　　7.7.5　功率分配與優(yōu)化202
　7.8　飛行時(shí)間法攝像組件203
　7.9　標(biāo)準(zhǔn)值203
　　7.9.1　光的功率范圍203
　　7.9.2　背景光205
　7.10　技術(shù)發(fā)展最新水平206
　7.11　結(jié)語(yǔ)207
　參考文獻(xiàn)207
第8章　凝視跟蹤208
　8.1　引言和研究動(dòng)機(jī)208
　8.2　眼睛210
　8.3　眼動(dòng)儀212
　　8.3.1　眼動(dòng)儀的種類212
　　8.3.2　角膜反射法214
　8.4　反對(duì)和障礙216
　　8.4.1　人為方面216
　　8.4.2　室外應(yīng)用217
　　8.4.3　校準(zhǔn)217
　　8.4.4　精度217
　　8.4.5　點(diǎn)石成金（MidasTouch）問(wèn)題218
　8.5　凝視交互研究218
　8.6　凝視指向219
　　8.6.1　解決點(diǎn)石成金問(wèn)題219
　　8.6.2　精度問(wèn)題的對(duì)策220
　　8.6.3　鼠標(biāo)指向和凝視指向?qū)Ρ?21
　　8.6.4　鼠標(biāo)和凝視協(xié)調(diào)222
　　8.6.5　凝視指向反饋224
　8.7　凝視姿勢(shì)224
　　8.7.1　凝視姿勢(shì)的概念224
　　8.7.2　姿勢(shì)檢測(cè)算法225
　　8.7.3　執(zhí)行凝視姿勢(shì)的人類能力226
　　8.7.4　凝視姿勢(shì)字母表226
　　8.7.5　姿勢(shì)從自然眼動(dòng)中分離227
　　8.7.6　凝視姿勢(shì)的應(yīng)用228
　8.8　作為情境的凝視229
　　8.8.1　活動(dòng)識(shí)別229
　　8.8.2　閱讀檢測(cè)231
　　8.8.3　注意力檢測(cè)232
　　8.8.4　應(yīng)用凝視情境233
　8.9　展望233
　參考文獻(xiàn)234
第9章　感知用戶界面的多模態(tài)輸入237
　9.1　引言237
　9.2　多模態(tài)交互類型237
　9.3　多模態(tài)界面238
　　9.3.1　觸控輸入238
　　9.3.2　3D姿勢(shì)245
　　9.3.3　眼動(dòng)跟蹤和凝視249
　　9.3.4　面部表情250
　　9.3.5　腦機(jī)接口251
　9.4　多模態(tài)集成策略252
　　9.4.1　框架式集成253
　　9.4.2　合并式集成254
　　9.4.3　程序性集成254
　　9.4.4　符號(hào)/統(tǒng)計(jì)集成254
　9.5　多模態(tài)交互的可用性問(wèn)題255
　9.6　結(jié)語(yǔ)256
　參考文獻(xiàn)257
第10章　生物計(jì)量學(xué)中的多模態(tài)交互：技術(shù)與可用性挑戰(zhàn)262
　10.1　引言262
　　10.1.1　身份確認(rèn)動(dòng)機(jī)262
　　10.1.2　生物計(jì)量學(xué)263
　　10.1.3　多模態(tài)生物計(jì)量學(xué)的應(yīng)用特征263
　　10.1.4　2D和3D人臉識(shí)別264
　　10.1.5　多模態(tài)案例研究266
　　10.1.6　適應(yīng)于盲人對(duì)象267
　　10.1.7　本章結(jié)構(gòu)268
　10.2　對(duì)移動(dòng)生物計(jì)量平臺(tái)的應(yīng)用剖析268
　　10.2.1　面部分析268
　　10.2.2　語(yǔ)音分析271
　　10.2.3　模型適應(yīng)272
　　10.2.4　數(shù)據(jù)融合273
　　10.2.5　移動(dòng)平臺(tái)實(shí)施274
　　10.2.6　MoBio數(shù)據(jù)庫(kù)和協(xié)議275
　10.3　案例研究：為視覺缺陷者進(jìn)行可用性研究276
　　10.3.1　頭部姿勢(shì)變化對(duì)性能的影響276
　　10.3.2　用戶交互模塊：頭部姿勢(shì)質(zhì)量評(píng)估278
　　10.3.3　用戶－交互模塊：音頻反饋機(jī)制280
　　10.3.4　視覺缺陷者的可用性測(cè)試282
　10.4　討論與結(jié)語(yǔ)284
　參考文獻(xiàn)285
第11章　邁向“真實(shí)的”3D交互顯示器287
　11.1　引言287
　11.2　生物視覺的起源289
　11.3　光場(chǎng)成像294
　11.4　邁向“真實(shí)的”3D視覺顯示300
　11.5　與3D顯示屏上的視覺內(nèi)容交互308
　11.6　結(jié)語(yǔ)310
　參考文獻(xiàn)311
附錄　縮略語(yǔ)313