一個(gè)完整的基于統(tǒng)計(jì)的語(yǔ)音識(shí)別系統(tǒng)可大致分為三部分：

(1)語(yǔ)音信號(hào)預(yù)處理與特征提??；

(2)聲學(xué)模型與模式匹配；

(3)語(yǔ)言模型與語(yǔ)言處理 選擇識(shí)別單元是語(yǔ)音識(shí)別研究的第一步。語(yǔ)音識(shí)別單元有單詞（句）、音節(jié)和音素三種，具體選擇哪一種，由具體的研究任務(wù)決定。

單詞（句）單元廣泛應(yīng)用于中小詞匯語(yǔ)音識(shí)別系統(tǒng)，但不適合大詞匯系統(tǒng)，原因在于模型庫(kù)太龐大，訓(xùn)練模型任務(wù)繁重，模型匹配算法復(fù)雜，難以滿足實(shí)時(shí)性要求。

音節(jié)單元多見(jiàn)于漢語(yǔ)語(yǔ)音識(shí)別，主要因?yàn)闈h語(yǔ)是單音節(jié)結(jié)構(gòu)的語(yǔ)言，而英語(yǔ)是多音節(jié)，并且漢語(yǔ)雖然有大約1300個(gè)音節(jié)，但若不考慮聲調(diào)，約有408個(gè)無(wú)調(diào)音節(jié)，數(shù)量相對(duì)較少。因此，對(duì)于中、大詞匯量漢語(yǔ)語(yǔ)音識(shí)別系統(tǒng)來(lái)說(shuō)，以音節(jié)為識(shí)別單元基本是可行的。

音素單元以前多見(jiàn)于英語(yǔ)語(yǔ)音識(shí)別的研究中，但目前中、大詞匯量漢語(yǔ)語(yǔ)音識(shí)別系統(tǒng)也在越來(lái)越多地采用。原因在于漢語(yǔ)音節(jié)僅由聲母（包括零聲母有22個(gè)）和韻母（共有28個(gè)）構(gòu)成，且聲韻母聲學(xué)特性相差很大。實(shí)際應(yīng)用中常把聲母依后續(xù)韻母的不同而構(gòu)成細(xì)化聲母，這樣雖然增加了模型數(shù)目，但提高了易混淆音節(jié)的區(qū)分能力。由于協(xié)同發(fā)音的影響，音素單元不穩(wěn)定，所以如何獲得穩(wěn)定的音素單元，還有待研究。

語(yǔ)音識(shí)別一個(gè)根本的問(wèn)題是合理的選用特征。特征參數(shù)提取的目的是對(duì)語(yǔ)音信號(hào)進(jìn)行分析處理，去掉與語(yǔ)音識(shí)別無(wú)關(guān)的冗余信息，獲得影響語(yǔ)音識(shí)別的重要信息，同時(shí)對(duì)語(yǔ)音信號(hào)進(jìn)行壓縮。在實(shí)際應(yīng)用中，語(yǔ)音信號(hào)的壓縮率介于10-100之間。語(yǔ)音信號(hào)包含了大量各種不同的信息，提取哪些信息，用哪種方式提取，需要綜合考慮各方面的因素，如成本，性能，響應(yīng)時(shí)間，計(jì)算量等。非特定人語(yǔ)音識(shí)別系統(tǒng)一般側(cè)重提取反映語(yǔ)義的特征參數(shù)，盡量去除說(shuō)話人的個(gè)人信息；而特定人語(yǔ)音識(shí)別系統(tǒng)則希望在提取反映語(yǔ)義的特征參數(shù)的同時(shí)，盡量也包含說(shuō)話人的個(gè)人信息。 

線性預(yù)測(cè)（LP）分析技術(shù)是目前應(yīng)用廣泛的特征參數(shù)提取技術(shù)，許多成功的應(yīng)用系統(tǒng)都采用基于LP技術(shù)提取的倒譜參數(shù)。但線性預(yù)測(cè)模型是純數(shù)學(xué)模型，沒(méi)有考慮人類聽(tīng)覺(jué)系統(tǒng)對(duì)語(yǔ)音的處理特點(diǎn)。

也有研究者嘗試把小波分析技術(shù)應(yīng)用于特征提取，但目前性能難以與上述技術(shù)相比，有待進(jìn)一步研究。 聲學(xué)模型通常是將獲取的語(yǔ)音特征使用訓(xùn)練算法進(jìn)行訓(xùn)練后產(chǎn)生。在識(shí)別時(shí)將輸入的語(yǔ)音特征同聲學(xué)模型（模式）進(jìn)行匹配與比較，得到最佳的識(shí)別結(jié)果。

聲學(xué)模型是識(shí)別系統(tǒng)的底層模型，并且是語(yǔ)音識(shí)別系統(tǒng)中最關(guān)鍵的一部分。聲學(xué)模型的目的是提供一種有效的方法計(jì)算語(yǔ)音的特征矢量序列和每個(gè)發(fā)音模板之間的距離。聲學(xué)模型的設(shè)計(jì)和語(yǔ)言發(fā)音特點(diǎn)密切相關(guān)。聲學(xué)模型單元大?。ㄗ职l(fā)音模型、半音節(jié)模型或音素模型）對(duì)語(yǔ)音訓(xùn)練數(shù)據(jù)量大小、系統(tǒng)識(shí)別率，以及靈活性有較大的影響。必須根據(jù)不同語(yǔ)言的特點(diǎn)、識(shí)別系統(tǒng)詞匯量的大小決定識(shí)別單元的大小。

以漢語(yǔ)為例：

漢語(yǔ)按音素的發(fā)音特征分類分為輔音、單元音、復(fù)元音、復(fù)鼻尾音四種，按音節(jié)結(jié)構(gòu)分類為聲母和韻母。并且由音素構(gòu)成聲母或韻母。有時(shí)，將含有聲調(diào)的韻母稱為調(diào)母。由單個(gè)調(diào)母或由聲母與調(diào)母拼音成為音節(jié)。漢語(yǔ)的一個(gè)音節(jié)就是漢語(yǔ)一個(gè)字的音，即音節(jié)字。由音節(jié)字構(gòu)成詞，最后再由詞構(gòu)成句子。

漢語(yǔ)聲母共有22個(gè)，其中包括零聲母，韻母共有38個(gè)。按音素分類，漢語(yǔ)輔音共有22個(gè)，單元音13個(gè)，復(fù)元音13個(gè)，復(fù)鼻尾音16個(gè)。

目前常用的聲學(xué)模型基元為聲韻母、音節(jié)或詞，根據(jù)實(shí)現(xiàn)目的不同來(lái)選取不同的基元。漢語(yǔ)加上語(yǔ)氣詞共有412個(gè)音節(jié)，包括輕音字，共有1282個(gè)有調(diào)音節(jié)字，所以當(dāng)在小詞匯表孤立詞語(yǔ)音識(shí)別時(shí)常選用詞作為基元，在大詞匯表語(yǔ)音識(shí)別時(shí)常采用音節(jié)或聲韻母建模，而在連續(xù)語(yǔ)音識(shí)別時(shí)，由于協(xié)同發(fā)音的影響，常采用聲韻母建模。

基于統(tǒng)計(jì)的語(yǔ)音識(shí)別模型常用的就是HMM模型λ(N,M,π,A,B)，涉及到HMM模型的相關(guān)理論包括模型的結(jié)構(gòu)選取、模型的初始化、模型參數(shù)的重估以及相應(yīng)的識(shí)別算法等。 語(yǔ)言模型包括由識(shí)別語(yǔ)音命令構(gòu)成的語(yǔ)法網(wǎng)絡(luò)或由統(tǒng)計(jì)方法構(gòu)成的語(yǔ)言模型，語(yǔ)言處理可以進(jìn)行語(yǔ)法、語(yǔ)義分析。

語(yǔ)言模型對(duì)中、大詞匯量的語(yǔ)音識(shí)別系統(tǒng)特別重要。當(dāng)分類發(fā)生錯(cuò)誤時(shí)可以根據(jù)語(yǔ)言學(xué)模型、語(yǔ)法結(jié)構(gòu)、語(yǔ)義學(xué)進(jìn)行判斷糾正，特別是一些同音字則必須通過(guò)上下文結(jié)構(gòu)才能確定詞義。語(yǔ)言學(xué)理論包括語(yǔ)義結(jié)構(gòu)、語(yǔ)法規(guī)則、語(yǔ)言的數(shù)學(xué)描述模型等有關(guān)方面。目前比較成功的語(yǔ)言模型通常是采用統(tǒng)計(jì)語(yǔ)法的語(yǔ)言模型與基于規(guī)則語(yǔ)法結(jié)構(gòu)命令語(yǔ)言模型。語(yǔ)法結(jié)構(gòu)可以限定不同詞之間的相互連接關(guān)系，減少了識(shí)別系統(tǒng)的搜索空間，這有利于提高系統(tǒng)的識(shí)別。