朱永生编写的《实验数据分析(下)》介绍实验或测量数据分析中所涉及的概率和数理统计及相关的数学知识,内容包括概率论、经典数理统计、贝叶斯统计、蒙特卡罗方法、极小化方法和去弥散方法六个部分。其中第1—5章和第6—12章分别阐述概率论和经典数理统计的基本内容,第13章则专门介绍在现代统计学中具有重要影响的贝叶斯学派的观点与理论,第14章讨论应用日益广泛的蒙特卡罗方法的基本概念,第15章介绍的极小化(或最优化)方法是求解许多数理统计问题的重要工具(例如,极大似然法、最小二乘法等1,最后第16章介绍去弥散方法,处理从观测数据和测量仪器的分辨函数反演出原分布的问题(第1—11章见本书上册)。
更多科学出版社服务,请扫码获取。
《实验数据分析(下册)》可供实验物理工作者和大专院校相关专业师生、理论物理研究人员、工程技术人员以及从事自然科学和社会科学的数据测量和分析研究人员参考。
目 录
前言
第12章 假设检验 401
12.1 假设检验的一般概念 401
12.1.1 原假设和备择假设 401
12.1.2 假设检验的一般方法 403
12.1.3 检验的比较 406
12.1.4 分布自由检验 408
12.2 参数假设检验 408
12.2.1 简单假设的奈曼皮尔逊检验 408
12.2.2 复合假设的似然比检验 411
12.3 正态总体的参数检验 419
12.3.1 正态总体均值和方差的检验 419
12.3.2 两个正态总体均值的比较 421
12.3.3 两个正态总体方差的比较 423
12.3.4 多个正态总体均值的比较 427
12.4 拟合优度检验 429
12.4.1 似然比检验 430
12.4.2 皮尔逊x2检验 432
12.4.3 最小二乘、极大似然估计中的皮尔逊x2检验 435
12.4.4 拟合优度的一般x2检验 436
12.4.5 柯尔莫哥洛夫检验 443
12.4.6 斯米尔诺夫克拉美冯,迈希斯检验 447
12.5 信号的统计显著性 449
12.5.1 卖验P值 449
12.5.2 信号的统计显著性 451
12.6 独立性检验 454
12.6.1 二维随机变量分量的独立性检验 454
12.6.2 多维随机变量分量的独立性检验 458
12.7 相关性检验 460
12.7.1 Pearson相关系数的检验 460
12.7.2 Spearman秩相关检验 463
12.7.3 Kendall丁相关检验 466
12.7.4 多变量Kendall协和系数检验 471
12.8 一致性检验 474
12.8.1 符号检验 475
12.8.2 两子样的游程检验 480
12.8.3 游程检验作为皮尔逊x2检验的补充 484
12.8.4 两子样的斯米尔诺夫检验 487
12.8.5 两子样的威尔科克森检验 490
12.8.6 多个连续总体子样的克鲁斯卡尔瓦列斯秩检验 495
12.8.7 多个离散总体子样的x2检验 498
第13章 贝叶斯统计 502
13.1 频率概率和贝叶斯概率 503
13.2 贝叶斯公式和贝叶斯统计模型 504
13.2.1 贝叶斯公式 504
13.2.2 贝叶斯统计模型和贝叶斯推断原则 506
13.2.3 先验分布和后验分布,先验分布的选择 508
13.3 贝叶斯统计推断 527
13.3.1 统计决策的基本概念 527
13.3.2 贝叶斯参数点估计 531
13.3.3 经验贝叶斯估计 537
13.3.4 贝叶斯参数区间估计 540
13.3.5 贝叶斯假设检验 545
第14章 蒙特卡罗法 552
14.1 蒙特卡罗法的基本思想 552
14.2 随机数的产生及检验 554
14.2.1 随机数的产生 554
14.2.2 随机数的统计检验 556
14.3 任意随机变量的随机抽样 561
14.3.1 直接抽样方法 561
14.3.2 直接抽样方法的推广变换抽样 564
14.3.3 舍选抽样方法 567
14.3.4 利用极限定理抽样 569
14.3.5 复合分布的抽样方法 570
14.3.6 近似抽样方法 572
14.3.7 多维分布的抽样 574
14.4 蒙特卡罗法计算积分 580
14.4.1 频率法均匀投点法 580
14.4.2 期望值估计法 584
14.4.3 重要抽样方法 587
14.4.4 半解析法 588
14.4.5 自适应蒙特卡罗积分 591
14.5 蒙特卡罗法应用于粒子传播问题 593
第15章 极小化方法 598
15.1 引言 598
15.2 无约束极小化的一维搜索 600
15.2.1 黄金分割法(O.618法) 601
15.2.2 斐波那契法 603
15.2.3 二次函数插值法(抛物线法) 607
15.2.4 进退法 609
15.3 无约束n维极值的解析方法 612
15.3.1 最速下降法(梯度法) 613
15.3.2 牛顿法 617
15.3.3 共轭方向法和共轭梯度法 618
15.3.4 变尺度法 624
15.4 无约束n维极值的直接方法 626
15.4.1 坐标轮换法 627
15.4.2 霍克吉弟斯模式搜索法 628
15.4.3 罗森布洛克转轴法 629
15.4.4 单纯形法 632
15.5 最小二乘Q2函数和似然函数的极值问题 635
15.5.1 最小二乘Q2函数极值 636
15.5.2 似然函数极值 637
15.6 局部极小和全域极小 639
15.6.1 网格法 240
15.6.2 随机搜索法 640
15.7 约束n维极值问题 642
15.7.1 变量代换法 643
15.7.2 罚函数法 644
15.8 参数的误差估计 648
第16章 去弥散方法 651
16.1 去弥散问题的数学表述 652
16.2 响应矩阵求逆法 656
16.3 修正凶子法 660
16.4 正规化去弥散的一般策略 662
16.5 正规函数 663
16.5.1 Tikhonov正规函数 663
16.5.2 基于极大熵原理的正规函数 665
16.5.3 贝叶斯统计的极大熵原理 666
16.5.4 基于交义熵的正规函数 668
16.6 估计量的方差和偏差 669
16.7 正规参数的选择 672
16.8 去弥散计算实例 675
16.9 数值计算 678
参考文献 682
附表 691
示例索引 775
第12章假设检验
12.1 假设检验的一般概念
从第7章到第11章我们讨论了参数估计问题.在这类问题中,随机变量的分布函数的形式一般为已知,但其中包含着待估计的未知参数,参数估计就是根据子样观测值对未知参数的数值或置信区间进行统计推断。如果被观测的随机变量的分布函数的确切形式未知,我们只能以假设的方式提出它所服从的分布,并从统计的观点根据观测值来判断这一假设的合理性。这类问题是数理统计的又一重要内容,称为统计假设的检验。
举例来说,方向相反的高能量正负电子对撞,产生一对μ介子
e+ +e. .→ μ + +μ..
出射的μ.粒子与负电子e.之间的极角.是一个随机变量。假定测量了n个反应事例的.值为.1,.2,,.n,要求确定.的分布是否具有C(1+acos2 .),0...π(12.1.1)的形式,其中C是归一化常数,a是某个参数.这就是一个假设检验问题。
假设检验可以分为参数检验和非参数检验两类,如果有待检验的是分布的某个参数是否等于某个规定值(分布函数形式已知,但包含未知参数),那么这属于参数检验问题。比如上例中已知随机变量,具有式(12.1.1)的分布,要求根据观测值.1,.2,,.n检验未知参数a是否等于某个特定值a0,非参数检验所处理的问题是:被观测的随机变量所服从的分布是否具有某个特定的函数形式,或是从两个总体的各自一组观测值来检验这两个总体是否有相同的分布等,在这种情况下,待检验总体的分布的函数形式,在假设检验完成前是无从知晓的。上例中,如果要根据一组观测值.1,.2,,.n来确定随机变量。是否服从式(12.1.1)的分布(事先并不知道,分布的函数形式),则就是非参数检验问题。
12.1.1 原假设和备择假设
参数检验的一般问题可表述如下:设总体X的概率分布F(x;.)的函数形式为已知,但其中包含未知参数,要求从总体的子样测量值(x1,x2,,xn)来检验未知参数,是否等于某个指定值.0.对我们要验证的假设记为H0:.=.0,(12.1.2)称为原假设或零假设。参数假设检验问题的提出本身就意味着,总体X的真实分布的参数值既可能是H0规定的.0,也可能是不同于0的其他值。因此,与原假设相对,有 H1:.=..,..=.0称为备择假设或备选假设,参数,所有可能值的全体称为容许假设,容许假设(除原假设H0以外)都可作为备择假设,常见的参数备择假设有如下类型:
H1:.=.1(.1为不等于.0的常数),(12.1.3)
H1:.>.0,(12.1.4)
H1:.<.0,(12.1.5)
H1:.=.0.(12.1.6)
如果假设对于参数的规定值是一个常数,或者说是参数空间中的单点集,则该假设称为简单假设;相反,假设对参数的规定值是参数空间中的非单点集,则称为复合假设或复杂假设。于是式(12.1.2)和式(12.1.3)是简单原假设和简单备择假设,而式(12.1.4)~ 式(12.1.6)是复合备择假设。
非参数检验的一类问题是,待检验的总体X的分布F(x)是否等于某个特定函数G(x),或者总体X的分布F(x)与总体Y的分布G(x)是否相同,其原假设可表述为H0:F(x)=G(x), (12.1.7)
备择假设可有不同的类型
H1:F(x)>G(x),(12.1.8)
H1:F(x)H1:F(x).=G(x). (12.1.10)
一个假设检验问题,就是利用待检验总体的子样观测值来决定,究竟应当接受原假设(拒绝备择假设)还是应当拒绝原假设(接受备择假设),至于原假设和备择假设怎样选择,则是根据所要解决的具体问题来决定的。
式(12.1.4),式(12.1.5)的备择假设对于待检验的参数的规定值,完全落在原假设.=.0的一侧(上侧或下侧),这样的检验称为单侧检验;式(12.1.6)备择假设对的规定值落在H0:.=.0的两侧,称为双侧检验.对于非参数检验的情形,式(12.1.8),式(12.1.9)是单侧检验,式(12.1.10)是双侧检验。
12.1 假设检验的一般概念403
……
12.1.2 假设检验的一般方法
设X = {X1,X2,,Xn} 是从待检验总体抽取的随机子样,而U=U(X)为子样统计量(见6.2节统计量的定义),在假设检验中称为检验统计量,令W是U的值域,当零假设H0为真时,U落入W的一个子域R的概率用α表示,0.α.1,α = P (U ∈ R|H0)=R g(u|H0)du,(12.1.11)其中g(u|H0)是H0为真时统计量U的概率密度,一般α为一接近于零的正数,判断待检验的假设是拒绝还是接受,是根据所谓小概率事件的原理,即概率很小的事件在一次随机试验中被认为是几乎不可能发生的。因此,当我们有一组实际观测值x1,x2,,xn并求出U的实际观测值Uobs,如果它落在区域R之中,由于α很小,这一事件是小概率事件,因此,假设H0不大可能是正确的,我们称在显著性(水平)α上拒绝零假设H0而接受备选假设H1;反之,当Uobs落在子域W R内,则在水平α上接受H0而拒绝H1,对零假设H0作出接受或拒绝的判断,通常称为对H0作显著性检验,子域R称为拒绝域或临界域,子域W-R则称为接受域,临界域与接受域分界点的统计量U的值Uc称为临界点或临界值(图12.1(a))。应当指出,在某些检验问题中,特别在某些双侧检验问题中,存在两个分隔开的临界域,因而有两个临界点,如图12.1(b)所示。
图12.1检验统计量U的临界域R和接受域W-RUc(Uc.)为临界值,g(u|H0)是H0为真时U的概率密度
由假设检验的上述判断准则可知,即使零假设H0为真,但检验统计量U的实际观测值仍然有α的概率落入拒绝域R,也就是说,当用Uobs来检验正确地反映观测值的零假设时,有100α%的可能性将拒绝H0.这类错误称为第一类错误,亦即弃真的错误,把本来正确的假设给否定了,为了减少弃真的错误,α应当取得尽可能地小。
此外,还可能出现第二类错误,即取伪的错误,当H0不为真但却接受了H0.出现取伪错误的概率取决于备择假设H1,它等于H1为真而U落入接收域W-R的概率β,β = P (U ∈ W . R|H1)= . W -R g(u|H1)du,(12.1.12)其中g(u|H1)表示H1为真时统计量U的概率密度.零假设H0对备择假设H1的检验势或势函数定义为检验势=1. β = P (U ∈ R|H1)=. R g(u|H1)du,(12.1.13) 即H1为真而统计量U落入零假设拒绝域R的概率。
图12.2是假设检验中犯第一类错误的概率α和犯第二类错误的概率β的图示,显然,检验统计量U及临界值Uc的合理选择应当是使α尽可能地小,使检验势1.β尽可能大,因而假设检验问题的症结在于选择适当的检验统计量U及其适当的临界值Uc。
图12.2参数假设检验中第一类错误的概率α和第二类错误的概率β
例12.1单个π0 和多个π0 事例的区分
考察在氢气泡室中质子反质子湮灭产生的粒子,泡室只能显示带电粒子的径迹,通过对径迹的测量可确定带电粒子的种类、飞行方向和动量;中性粒子则不能显示和鉴别.pˉp反应的产物有许多事例观测到四条径迹,并可鉴别出它们是π± 介子,但测定了这些π介子的动量后发现,反应初态(pˉp)和反应末态(4个π介子) 之间不满足能量和动量守恒,这表明,反应末态中还有“丢失”了的中性粒子没有被观测到,根据反应初态的能、动量和反应末态四个π介子的能、动量可以求出所谓的“丢失质量”(“丢失”的中性粒子的静止能量之和),事例数的丢失质量分布称为丢失质量谱,分析丢失质量谱可知,丢失的中性粒子可能是一个或多个中性π0 介子,因此,pˉp反应事例可以分为产生一个π0 和产生多个π0 两类.按照假设检验的概念,现在的问题可用下述零假设和备择假设来表示:
H0:pˉp π+π+π.π.π0 ,→ H1:pˉp → π+π+π.π.M(M表示多个π0),丢失质量的平方m2 作为检验统计量,如果H0成立,即丢失了一个π0 ,那么m2 应当等于π0 质量的平方,即mπ2 0.显然,临界值mc2 的合理选择应该是略高于mπ2 0.这样,如果一个事例的丢失质量平方小于mc2 ,就有很大可能是产生一个π0 的事例,故接受H0是合理的;反过来若事例的丢失质量平方m2 大于mc2 ,那么有很大可能产生一个以上的π0 ,故应当拒绝H0而接受备择假设H1,认为该事例是一个多π0 事件。
实验中观测到的全部事例的丢失质量谱一般都是连续分布,例如,图12.3(a)就是一个典型的丢失质量谱直方图,这是一个实验分布,其中包含了测量误差即实验分辨函数的效应(见4.17.1节),这样,尽管真实的丢失质量小于mπ2 0,但由于测量误差,测得的m2 却有一定的概率大于m2 π0;反之,真实的丢失质量大于m2 π0时,也有一定的概率实验测定值却小于mπ2 0,这就模糊了单π0 事件与多π0 事件的界限,使m2c 的选择面临两难的境地。如果m2c 选得稍高于m2 π0,可以保证多π0 事例被误认为单π0 事例的概率很小,即取伪错误的概率很小,但真实的单π0 事例却有较大的可能损失掉(弃真的概率较大);反过来,若m2c 比mπ2 0大得多,虽然减小了弃真错误的概率,但取伪错误的概率却由此增大了,这种情况在假设检验问题中是有代表性的,减小α和减小β这两个要求常常互相抵触,必须根据实际问题作适当的折中。