一般來說，建立統(tǒng)計學(xué)習(xí)模型，簡單是指利用一個或多個輸入變量（一般也稱為自變量，預(yù)測變量）通過擬合適當?shù)年P(guān)系式來預(yù)測輸出變量（也稱因變量，響應(yīng)變量）的方法。其中f(x)是我們希望探求的關(guān)系式，但一般來說是固定但未知。盡管f(x)未知，但是我們的目標就是利用一系列的統(tǒng)計/數(shù)據(jù)挖掘方法來盡可能求出接近f(x)的形式，這個形式可以是一個簡單的線性回歸模型（y=a+bx），也可能是一個曲線形式（y=a+b（x的平方）），當然也有可能是一個神經(jīng)網(wǎng)絡(luò)模型或者一個決策樹模型。

　　，我們希望模型盡可能地精確，相反預(yù)測模型f的形式可能是一個黑箱模型（即模型的本身我們不能很好的解釋或者并不清楚，我們更加關(guān)心這當中的輸入和輸出，并不試圖考察其內(nèi)部結(jié)構(gòu)），只要能夠提高我們的預(yù)測精度我們就認可達到目的了。一般認為，神經(jīng)網(wǎng)絡(luò)模型屬于黑箱模型，如幾年前Google X實驗室開發(fā)出一套具有自主學(xué)習(xí)能力的神經(jīng)網(wǎng)絡(luò)模型，它能夠從一千萬中圖片中找出那些有小貓的照片。在這里，輸入就是這一千萬張圖片，輸出就是對于這些圖片的識別。

　　2在控制任務(wù)中，預(yù)測結(jié)果固然重要，但是我們也十分關(guān)心模型的形式具體是怎么樣，或者借助統(tǒng)計挖掘模型幫助我們生成了怎樣的判別規(guī)則。例如在銀行業(yè)，我們希望通過客戶的個人信用信息來評價個人的借貸風(fēng)險，這就要求我們不但能夠回答這個客戶的風(fēng)險是高是低，還要求我們回答哪些因素對客戶風(fēng)險高低有直接作用，每個因素的影響程度有多大。

　　根據(jù)數(shù)據(jù)類型，預(yù)測可以分為兩個大的類別。如果是discrete data，稱為classification，這也是目前機器學(xué)習(xí)中比較重要的組成部分。如果是continuous data，稱為regression。

　　先說我大學(xué)課程里系統(tǒng)學(xué)過的回歸。現(xiàn)有的很多selection criteria都可以用在回歸里，比如AIC，BIC等等都是很常用的。另外還有常用的likelihood ratio test，比較full model和nested reduced model。我非常同意@慧航說的，

　　。（根據(jù)我目前所學(xué)）一般情況下，人們更傾向于選擇簡單但是在描述數(shù)據(jù)時又不缺失信息的模型，而這也是LRT的核心思想。另外，當你在R中summary一個model，這個model中每個predictor的p value決定了它是否是significant的，即在高度總結(jié)數(shù)據(jù)的過程中它是否是有用的。假如p value很大的話，我們會考慮不把它放進model里。

　　而在prediction model里，我們也不再追求簡單的model，不再過于關(guān)注這些predictor是否significant，因為此時的目的是預(yù)測，而任何一點點的extra information都可能會讓預(yù)測結(jié)果變得更準確。