1、離群值按產(chǎn)生原因分為兩類:
a)第一類離群值是總體固有變異性的極端表現(xiàn),這類離群值與樣本中其余觀測值屬于同一總體;
b)第二類離群值是由于試驗條件和試驗方法的偶然偏離所產(chǎn)生的結(jié)果,或產(chǎn)生于觀測、記錄、計算中的失誤,這類離群值與樣本中其余觀測值不屬于同一總體。對離群值的判定通?筛鶕(jù)技術(shù)上或物理上的理由直接進行,例如當試驗者已經(jīng)知道試驗偏離了規(guī)定的試驗方法,或測試儀器發(fā)生問題等。當上述理由不明確時,可用本標準規(guī)定的方法。
2、離群值的三種情形:
本標準在下述不同情形下判斷樣本中的離群值:
a)上側(cè)情形:根據(jù)實際情況或以往經(jīng)驗,離群值都為高端值;
b)下側(cè)情形:根據(jù)實際情況或以往經(jīng)驗,離群值都為低端值;
c)雙側(cè)情形:根據(jù)實際情況或以往經(jīng)驗,離群值可為高端值,也可為低端值。
3、檢出離群值個數(shù)的上限
應規(guī)定在樣本中檢出離群值個數(shù)的上限(與樣本量相比應較小),當檢出離群值個數(shù)超過了這個上限時,對此樣本應作慎重的研究和處理。
4、單個離群值情形
a)依實際情況或以往經(jīng)驗選定,選定適宜的離群值檢驗規(guī)則(格拉布斯檢驗、狄克遜檢驗等);
b)確定適當?shù)娘@著性水平;
c)根據(jù)顯著性水平及樣本量,確定檢驗的臨界值;d)由觀測值計算相應統(tǒng)計量的值,根據(jù)所得值與臨界值的比較結(jié)果作出判斷。
5、判定多個離群值的檢驗規(guī)則
在允許檢出離群值的個數(shù)大于1的情況下,重復使用檢驗規(guī)則進行檢驗。若沒有檢出離群值,則整個檢驗停止;若檢出離群值,當檢出的離群值總數(shù)超過上限時,檢驗停止,對此樣本應慎重處理,否則,采用相同的檢出水平和相同的規(guī)則,對除去已檢出的離群值后余下的觀測值繼續(xù)檢驗。
1、處理方式
處理離群值的方式有:
a)保留離群值并用于后續(xù)數(shù)據(jù)處理;
b)在找到實際原因時修正離群值,否則予以保留;
c)剔除離群值,不追加觀測值;
d)剔除離群值,并追加新的觀測值或用適宜的插補值代替。
格魯布斯檢驗方法:
在定量分析實驗中,實驗結(jié)束后,必須對分析數(shù)據(jù)進行處理,在一組分析數(shù)據(jù)中,往往有個別數(shù)據(jù)與其它數(shù)據(jù)相差較大,這種個別數(shù)據(jù)稱為可疑值。
對可疑值的處理,應首先回顧和檢查生產(chǎn)可疑值的實驗過程,有無可覺察到的技術(shù)上的異常原因。
當原因不明時,必須按一定的數(shù)理統(tǒng)計方法進行處理,決定是保留還是舍棄。
格魯布斯檢驗法效果比較好的方法。格魯布斯檢驗法的優(yōu)點是在判斷可疑值取舍的過程中,將正態(tài)分布中的兩個最重要的參數(shù)—平均值和標準偏差引進來,故方法的準確性較高。方法計算的過程是這樣的:
1.實驗得出一組數(shù)據(jù)X1;X2;X3;X4……Xn,懷疑其中某個數(shù)據(jù)可疑(X可疑)
2.計算X1;X2;X3;X4……Xn 的平均數(shù)(X平均)標準偏差(S)
3.計算格魯布斯G計算=(X平均-X可疑)/S,取絕對值
4.查表求格魯布斯G查表
5.若G計算≥G查表,則可疑數(shù)據(jù)舍去,反之保留
2、處理規(guī)則
對檢出的離群值,應盡可能尋找其技術(shù)上和物理上的原因,作為處理離群值的依據(jù)。應根據(jù)實際問題的性質(zhì),權(quán)衡尋找和判定產(chǎn)生離群值的原因所需代價、正確判定離群值的得益及錯誤剔除正常觀測值的風險,以確定實施下述三個規(guī)則之一:
a)若在技術(shù)上或物理上找到了產(chǎn)生離群值的原因,則應剔除或修正;若未找到產(chǎn)生它的物理上和技術(shù)上的原因,則不得剔除或進行修正。
b)若在技術(shù)上或物理上找到產(chǎn)生離群值的原因,則應剔除或修正;否則,保留歧離值,剔除或修正統(tǒng)計離群值;在重復使用同一檢驗規(guī)則檢驗多個離群值的情形,每次檢出離群值后,都要再檢驗它是否為統(tǒng)計離群值。
若某次檢出的離群值為統(tǒng)計離群值,則此離群值及在它前面檢出的離群值(含歧離值)都應被剔除或修正。
c)檢出的離群值(含歧離值)都應被剔除或進行修正。
3、備案
被剔除或修正的觀測值及其理由應予記錄,以備查詢。