方差的“學問”

科學網精選文章

方差的“學問”

武漢大學 葉曉明

    自提出誤差無類別的新概念測量理論思維以來，發現這一學術觀點的反對者主要來自測量專業人士。從學術交流的情況看，坦率說，反對者通常自認為對測量理論很精通，完全就不關心新理論的概念邏輯，學術交流經常處于各方自說自話的狀態，完全就不在同一個頻道。甚至很多常識性的問題都能成為爭論焦點，以至于讓非測量專業人士都感到莫名其妙。
    其中一個典型的各方自說自話就是關于方差概念的理解，新理論的方差概念是一個偏差的概率區間評價，而對方的方差概念卻是測量結果的分散性。即使我反復強調方差是誤差的方差跟測量結果沒有直接關系，對方也始終無法走出他的測量結果分散性圈圈。
    還是以珠峰測量結果為例子。2005年國家測繪局公布珠峰高程為8844.43米，標準偏差±0.21米。新理論認為標準偏差±0.21是珠峰高程誤差的概率區間的評價值，是一個誤差（偏差）的存在范圍的概念，標準偏差是誤差的標準偏差；而對方則始終堅持認為標準偏差±0.21是未來重復測量結果的發散度，標準偏差是測量結果的標準偏差，甚至認為是我的書沒有讀好；相反，很多非測量專業人士基本都站在我這一邊：當前的測量誤差都沒說清楚，卻又把未來測量扯進來，這是要干嗎？
    現在，我干脆就從方差的數學定義開始來正面比較這二種方差解釋了。
    一、方差的數學概念
    概率論給出的方差的定義是σ²(L)=E(L-EL)²，表達序列{Li}的發散度。其含義是，隨機變量L是序列{Li}中的一個成員，其存在于一個以EL為中心以σ(L)為標準偏差的概率分布區間內。方差σ²(L)是一個隨機變量L的方差，表達L的所有可能取值分散于數學期望EL的程度。這本身的確沒有邏輯問題。
    二、測量中的方差概念
    如圖1，現有測量結果x是序列{xi}中的一個成員，序列{xi}是測量結果x的所有可能取值的集合；同時，測量結果x與其數學期望Ex之間的偏差Δx=x-Ex也是誤差序列{Δxi}={xi-Ex}中的一個成員，或者說，誤差序列{Δxi}={xi-Ex}是誤差Δx=x-Ex的所有可能取值的集合，偏差ΔA=Δx=x-Ex。

    這樣，我們就有二種方法來套用方差的定義σ²(L)=E(L-EL)²。
    方法1：把測量結果x看作L、把{xi}看作{Li}代入定義σ²(L)=E(L-EL)²中，有：
σ²(x)=E(x-Ex)²                         （1）
    方法2：把Δx=x-Ex看作L、把{Δxi}={xi-Ex}看作{Li}并代入方差的定義σ²(L)=E(L-EL)²中，于是就有：
    σ²(Δx)=E(Δx-EΔx)²
    因為EΔx= E(x-Ex)= Ex-Ex=0，所以
σ²(Δx)=E(Δx)²
=E(x-Ex)²                         （2）
    公式（1）是現有測量理論中的方差概念，方差σ²(x)是測量結果x的方差；公式（2）是新概念測量理論中的方差概念，方差σ²(Δx)是誤差Δx的方差。
     比較公式（1）和（2）可見，σ²(x)和σ²(Δx)在數量上的確是完全相等的。但是，公式（1）表達測量結果x存在于一個以Ex為期望以σ(x)為標準偏差的概率區間內；公式（2）表達的是偏差Δx=x-Ex存在于一個以0為期望以σ(Δx)為標準偏差的概率區間內。稍不留意，人們很容易誤以為它們是從不同角度表達的同一意思，而實際上，它們存在概念本質的不同，公式（1）實際是個邏輯錯誤的表達式。
    三、公式（1）的錯誤要害
    見圖1，測量完成后測量結果值x是一個確定量而不再是一個隨機變量！它根本就沒有資格作為L代入公式σ²(L)=E(L-EL)²。譬如：珠峰高程結果x=8844.43米，x只代表8844.43，它不代表其所有可能取值！σ(x)=±0.21實際是把所有可能取值的分散性±0.21偷換成8844.43的“分散性”，即σ(8844.43)=±0.21。這叫偷換概念！
    而且，把±0.21解釋成未來重復測量的發散性實際也不能自圓其說：
    1、如果未來重復測量條件過程完全相同（儀器內的噪聲過程也相同），那么問題是，同樣的測量對象和絕對同樣的測量條件過程憑什么必然導致測量結果離散？
    2、如果未來測量條件不同，那不同到什么程度時結果的離散度正好是±0.21？當前測量關心未來不同測量的離散度有什么意義？
    3、就算未來重復測量能得到很多不同的測量結果，但每個測量結果也有一個與之相伴的標準偏差，這么多新冒出來的彼此不同的標準偏差又該怎么解釋？那就是更未來的發散度了嗎？
    測量結果已經確定了，還非要糾纏測量結果還有其他的可能取值，并把其他可能取值解釋給未來重復測量結果，就為了說明具有確切數值的當前測量結果仍然還是個隨機變量，活生生地把一個8844.43常量解釋成了一個標準偏差為±0.21的隨機變量。這也就是現有理論把精度和不確定度都定義為測量結果的發散性的根源---方差概念賦予給了測量結果，以至于無法說清精度的發散性和不確定度的發散性究竟有何不同。學測量專業真是不容易，邏輯思維能力強的人多難混喲。
    這就是現有測量理論中的偷換概念的思維方式，把一個明明白白的確定值強行“解釋”成隨機變量，甚至把真正需要關心的誤差評價問題都甩到了腦后。這種自相矛盾是似而非的學問，講述者講不清楚學習者也理解不透，于是越發顯得學問的深奧。以至于一些測量專家把這種偷換概念的晦澀理論看成是自己的大學問（當然也有很多學者早意識到其中有問題），在錯誤的泥潭里不能自拔還在那里自鳴得意、自娛自樂、自說自話，完全不相信新概念測量理論能對方差概念作出不同的解釋。以這種混亂的概念邏輯為前提，當然就不可能有新測量理論的落腳之地。
    四、公式（2）的正確性及其帶來的理論意義
    而按公式（2），方差賦予了未知偏差ΔA=Δx=x-Ex，其含義是，Δx的所有可能取值存在于一個以0為中心以σ(Δx)為標準偏差的概率區間內，就是說，標準偏差σ(Δx)就是偏差ΔA=Δx所存在的概率區間的評價值。在公式（2）中，偏差Δx=x-Ex是隨機變量，始終代表其所有可能取值{Δxi}={xi-Ex}。推理過程完全嚴密，不存在偷換概念問題。
    雖然只是一個小小的概念轉變，但卻把測量理論帶進了一片嶄新的天地。
    在這一解釋中，因為測量結果x已經給定，是個確定量，所以，這一解釋實際給出的含義是數學期望Ex存在于一個以測量結果x為中心以σ(Δx)為標準偏差的概率區間內，數學期望Ex是不確定量，根本不需要去糾纏測量結果x的其他可能取值！自然，我們也就很容易理解偏差ΔB=Ex-xT也是隨機變量，也有它的標準偏差σ(ΔB)。因為誤差ΔA和ΔB完全對等了，也就沒有什么誤差ΔA和ΔB的性質分類之說。
    事實上，數學期望與真值之間的偏差ΔB=Ex-xT也的確有它的標準偏差（只是圖1沒有標出來而已），因為它也是測量產生的，追尋到形成它的上游測量也可以獲得其標準偏差。請見作者的《珠峰案例中誤差類別困擾的全解析》，那里就展示了水準測量中上游誤差對下游誤差的傳遞過程。按這樣的邏輯來理解，任何偏差都是其所在誤差族群中的一員，都有其方差。這樣，方差的定義就推廣為：
σ²(Δx)=E(Δx)²                           （3）
    就是說，公式（3）中的誤差（偏差）Δx不僅限于結果與期望之差，也可以是期望與真值之差，更可以是結果與真值之差。且有EΔx=0。
    EΔx=0其實也可以這樣理解，因為在所有的測量（包括儀器制造）的每一個基本操作中，人們都是設法盡量讓每一個基本誤差源向0靠近，大量基本誤差源的均值當然就是0了。既然最基本的誤差的數學期望是0，所以誤差無論經過怎樣的代數式疊加合成，其合成誤差的數學期望也當然始終是0了。
    誤差未知，就是誤差值不確定，方差就是誤差取值的不確定的程度。一個不確定的值才是隨機變量，一切順理成章，論述者和學習者就都輕松自如了。
    既然公式（3）是針對任何誤差（偏差），那么協方差的概念也就推廣到任何誤差了，按這一概念推導出來的協方差傳播律也就適用于任何誤差了。協方差傳播律就成了誤差之間的概率區間的傳播關系，而不再是測量結果發散性的傳播關系。
    任何誤差都有方差，而且一個測量結果也本來就是當前測量和所有上游測量所共同完成的，我們當然應該把所有上游測量和當前測量看作一個整體。這樣，對于圖1來說，自然有：
Δ=ΔA+ΔB                             （4）
    因為二誤差互不相關，根據協方差傳播律：
σ²(Δ)= σ²(ΔA)+σ²(ΔB)                        （5）
    這個σ(Δ)就是總不確定度，是總誤差Δ所存在的概率區間的評價，不再是測量結果的發散性內涵了。數學推理證明，這種新的方差概念解釋對貝塞爾公式、最小二乘法等沒有任何影響，因為方差公式的形式并沒有改變，改變了的只是其概念內涵。但是，這種概念內涵的轉變卻使得測量誤差理論的解釋中不再需要誤差分類概念精度（precision）、準確度（trueness）了，因為公式（4）（5）中二個分項完全對等，沒有性質差異。
    沒有了誤差分類概念，那么，新理論當然還必須面臨一系列的概念邏輯的重新解釋，譬如，規律誤差的方差問題、測量序列離散與偏離的機理、誤差的函數模型與隨機模型處理、多變量聯合平差結果的不確定度評定、協不確定性分析、離群誤差樣本（粗差）的形成機制與處理等等。有興趣的朋友請參閱《新概念測量誤差理論》，那里還有更多的可發揮空間。
    五、后話
    方差的“學問”也無非是這樣---隨機變量特征的數字描述，任何學過概率論的人都能看懂，千萬別以為測量學能有例外。但如果連隨機變量究竟是個什么東東都搞不清楚，連起碼的邏輯思維能力都沒有，卻還要前來反對我的新理論，那我就真不知道再該說什么了。想起有個年輕的計量工作者居然理直氣壯地指責我憑什么把誤差理論和概率論扯在一起，實在令人欽佩。難道那個世代相傳的晦澀理論還有催生人的自信心的功能？所以我相信仍然還會有人以自說自話的方式來跟我辯論。
    另外，以本內容為題的評論已經在相關專業期刊的審理之中，相信總有期刊會發表的。
                                            2018 4 15于武漢大學

補充內容 (2018-4-25 09:53):
原文鏈接：http://blog.sciencenet.cn/blog-630565-1109240.html

哈哈。沒測量哪來誤差。