大学数学实验基础知识整理(清华大学)

2024年1月16日发(作者：八数学试卷分析与反思)

Contents

差分方程和数值微分实验 ....................................................................................................................................................... 4

1.1 差分方程的基本定义 ................................................................................................................................................ 4

1.2 一阶线性常系数差分方程 ........................................................................................................................................ 4

1.3高阶线性常系数差分方程 ......................................................................................................................................... 4

1.4 线性常系数差分方程组 ............................................................................................................................................ 5

1.5 非线性差分方程 ........................................................................................................................................................ 5

2 数值微分 ....................................................................................................................................................................... 5

插值与数值积分 ....................................................................................................................................................................... 6

1 插值与拟合 ................................................................................................................................................................... 6

1.1 插值与拟合的基本概念 .................................................................................................................................... 6

1.2 三种插值方法 .................................................................................................................................................... 6

2 数值积分 ....................................................................................................................................................................... 8

2.1 数值积分的基本思路 ........................................................................................................................................ 8

2.2 三种常用数值积分方法 .................................................................................................................................... 8

常微分方程数值解 ................................................................................................................................................................. 10

常微分方程的初值问题 ................................................................................................................................................. 10

2.初值问题的数值解法 .................................................................................................................................................. 10

2.1 欧拉方法 .......................................................................................................................................................... 10

2.2 龙格-库塔方法 ................................................................................................................................................. 11

常微分方程组和高阶方程初值问题的数值方法 ................................................................................................. 11

2.3 龙格-库塔方法的MATLAB实现 ..................................................................................................................... 12

2.4 算法的收敛性、稳定性分析 .......................................................................................................................... 12

刚性现象与刚性方程 ............................................................................................................................................. 13

线性代数方程组数值解法 ..................................................................................................................................................... 13

线性代数方程组的一般形式和解法 ............................................................................................................................. 13

2.求解线性代数方程组的直接法 .................................................................................................................................. 13

2.1 高斯消元法 ...................................................................................................................................................... 13

2.2 LU分解 .............................................................................................................................................................. 14

2.3 解的误差分析P95 ........................................................................................................................................... 14

3.求解线性代数方程组的迭代法 .................................................................................................................................. 15

3.1 雅可比迭代法 .................................................................................................................................................. 15

3.2 高斯-赛德尔迭代法 ......................................................................................................................................... 15

3.3 迭代法的收敛性和收敛速度 .......................................................................................................................... 15

3.4 超松弛迭代 ...................................................................................................................................................... 16

4.超定线性代数方程组的最小二乘解 .................................................................................................................. 16

4.1 超定线性方程组的概念 .................................................................................................................................. 16

4.2 最小二乘准则 .................................................................................................................................................. 16

4.3 最小二乘解 ...................................................................................................................................................... 16

4.4 基函数的选取 .................................................................................................................................................. 17

MATLAB实现 .................................................................................................................................................................. 17

非线性方程求解 ..................................................................................................................................................................... 17

1 非线性方程(组)的定义及特点 ................................................................................................................................... 17

2 非线性方程的基本解法 ............................................................................................................................................. 18

2.1 图形法和二分法 .............................................................................................................................................. 18

2.2 迭代法 .............................................................................................................................................................. 18

2.3 牛顿法 .............................................................................................................................................................. 19

3 非线性方程组的牛顿法、拟牛顿法 ......................................................................................................................... 19

4 用MATLAB工具箱解非线性方程(组) ....................................................................................................................... 20

4.1 fzero的基本用法 .............................................................................................................................................. 20

4.2 fsolve的基本用法 ............................................................................................................................................. 21

4.3 roots的基本用法 .............................................................................................................................................. 22

无约束优化 ............................................................................................................................................................................. 23

1．无约束优化的基本原理、解法 ............................................................................................................................... 23

1.1 无约束优化的一般形式 .................................................................................................................................. 23

1.2 最优性条件 ...................................................................................................................................................... 23

1.3 下降法的基本思想 .......................................................................................................................................... 23

1.4 用MATLAB优化工具箱解无约束优化问题 ................................................................................................... 23

2．非线性最小二乘拟合的基本原理、解法 ............................................................................................................... 25

2.1 非线性最小二乘拟合问题 .............................................................................................................................. 25

2.2 非线性最小二乘拟合问题的解法 .................................................................................................................. 25

2.3 用MATLAB优化工具箱解非线性最小二乘拟合问题 ................................................................................... 26

约束优化 ................................................................................................................................................................................. 27

11.线性规划的基本原理、解法 .................................................................................................................................... 28

1.1 线性规划的图解法 .......................................................................................................................................... 28

1.2 线性规划的标准形 .......................................................................................................................................... 28

1.3基本可行解 ....................................................................................................................................................... 28

1.4 线性规划的基本性质 ...................................................................................................................................... 28

1.5 单纯形法的基本思路 ...................................................................................................................................... 28

1.6 线性规划解的几种可能 .................................................................................................................................. 29

1.7 用MATLAB优化工具包解线性规划 .............................................................................................................. 29

2.非线性规划的基本原理、解法 .................................................................................................................................. 31

2.1 非线性规划的一般形式 .................................................................................................................................. 31

2.2 可行方向与下降方向 ...................................................................................................................................... 31

2.3 最优解的必要条件 .......................................................................................................................................... 31

2.4 二次规划的一般形式 ...................................................................................................................................... 32

2.5 二次规划的有效集方法 .................................................................................................................................. 32

2.6 用MATLAB优化工具包解二次规划 .............................................................................................................. 33

2.7 非线性规划的解法 .......................................................................................................................................... 34

2.8 用MATLAB优化工具包解非线性规划 .......................................................................................................... 34

数据的统计与分析 ................................................................................................................................................................. 36

1 统计的基本概念 ......................................................................................................................................................... 36

2 频数表和直方图 ......................................................................................................................................................... 37

3 统计量 ......................................................................................................................................................................... 37

4 统计中几个重要的概率分布 ..................................................................................................................................... 38

4.1 分布函数、密度函数和分位数 ...................................................................................................................... 38

4.2 统计中几个重要的概率分布 .......................................................................................................................... 38

4.3 MATLAB统计工具箱(ToolboxStats)中的概率分布 P246 .............................................................................. 39

5 正态总体统计量的分布 ............................................................................................................................................. 39

6. 用随机模拟计算数值积分 ........................................................................................................................................ 40

6.1两种方法 ........................................................................................................................................................... 40

6.2重积分的计算 ................................................................................................................................................... 40

6.3MATLAB实现 ..................................................................................................................................................... 40

统计推断 ................................................................................................................................................................................. 40

1、参数估计 ................................................................................................................................................................... 40

概述 ......................................................................................................................................................................... 40

1.1 点估计 .............................................................................................................................................................. 41

1.2 点估计的评价标准 .......................................................................................................................................... 41

1.3 总体均值的区间估计 ...................................................................................................................................... 42

1.4 总体方差的区间估计 ...................................................................................................................................... 44

1.5 参数估计的MATLAB实现............................................................................................................................... 44

2、假设检验 ................................................................................................................................................................... 45

概述 ......................................................................................................................................................................... 45

2.1 均值的假设检验 .............................................................................................................................................. 45

2.2 方差（或标准差）的假设检验 ...................................................................................................................... 46

2.3 两总体的假设检验 .......................................................................................................................................... 46

2.4 0-1分布总体均值的假设检验 ......................................................................................................................... 47

2.5 总体分布正态性检验 ...................................................................................................................................... 47

2.6 假设检验与Matlab命令汇总 ......................................................................................................................... 49

差分方程和数值微分实验

1.1 差分方程的基本定义

差分方程是在离散时段上描述现实世界中变化过程的数学模型。

现实中的问题通常是连续变化的，但我们常常只能在离散的时间点上对其进行观测和描述。为了表述这一类的数学模型，我们引入了差分方程的方法。

1.2 一阶线性常系数差分方程

一阶线性常系数差分方程的一般形式

差分方程的平衡点

差分方程的解

平衡点稳定的条件

1.3高阶线性常系数差分方程

高阶线性常系数差分方程的一般形式

特征方程

特征根

平衡点

差分方程的解

平衡点稳定的条件所有特征值的模均小于1 (用roots(c)---c:多项式的系数（降幂）P125)

1.4 线性常系数差分方程组

当我们研究的对象是若干变量构成的一个向量的离散动态过程时，就需要引入差分方程组来描述，详见前面对一阶或高阶线性常系数差分方程的描述。

平衡点——X=Ax+b

稳定条件：A的所有特征根小于1（eig）

1.5 非线性差分方程

2 数值微分

数值微分是用离散方法近似地计算函数y=f(x)在某点x=a的导数值。常用公式有：

前差公式

后差公式

中点公式

三点公式

插值与数值积分

1 插值与拟合

1.1 插值与拟合的基本概念

插值与插值函数：已知由

互异插值节点

值条件：

(可能未知或非常复杂)产生的一批离散数据

，在插值区间内寻找一个相对简单的函数

，且个，使其满足下列插

再利用已求得的

数，

计算任一非插值节点的近似值，这就是插值。其中称为插值函称为被插函数。

，互不相同，寻求一个拟合函数，最小二乘拟合：已知一批离散的数据

使

1.2 三种插值方法

与的误差平方和在最小二乘意义下最小。在最小二乘意义下确定的称为最小二乘拟合函数。

1）Lagrange插值法

a．待定系数法：假设插值多项式

插值条件的插值函数。关键在于确定待定系数

个满足条件：的

，利用待定系数法即可求得满足。

次插值基函数，再将其 b．利用基函数的构造方法首先构造

线性组合即可得如下的Lagrange插值多项式：

其中

c．Lagrange插值余项

注：上述两种构造方法所得的Lagrange插值多项式是一样的，即满足插值条件

Lagrange插值多项式是唯一的。Lagrange插值会发生Runge现象。

2）分段线性插值

作分段线性插值的目的在于克服Lagrange插值方法可能发生的不收敛性缺点。所谓分段线性插值就是利用每两个相邻插值节点作线性插值，即可得如下分段线性插值函数：

的

其中

特点：插值函数序列具有一致收敛性，克服了高次Lagrange插值方法的缺点，故可通过增加插值节点的方法提高其插值精度。但存在于节点处不光滑、插值精度低的缺点。

3）三次样条插值

三次样条插值的目的在于克服Lagrange插值的不收敛性和提高分段线性插值函数在节点处的光滑性。所谓三次样条插值方法就是在满足下列条件：

a． b．

在每个子区间上是三次多项式的三次样条函数中寻找满足如下插值条件：

一及形如

等边界条件的插值函数

的方法。

特点：三次样条插值函数序列

4）插值方法的Matlab实现

一致收敛于被插函数，因此可通过增加节点的方法提高插值的精度。

a．对于Lagrange插值必须自编程序

b．低次插值的Matlab命令

分段线性插值：

y=interp1(x0, y0, x)，其中输入离散数据x0、y0、x，输出对应x的插值y。

三次样条插值：

y=interp1(x0, y0, \'spline\')

或

y=spline(x0, y0, x)

其中，x0、y0、x和y的意义同上。

2 数值积分

2.1 数值积分的基本思路

2.2 三种常用数值积分方法

1) 梯形公式

2) 辛普森公式

3) 高斯求积公式

Gauss-Lobatto公式 P60

4）数值积分的Matlab实现

trapz(x)

用梯形公式计算(h=1)，输入数组x为各区间端点的函数值。

trapz(x,y)

用梯形公式计算，输入x,y为同长度的数组，输出y对x的积分(步长可不相等)。

quad(\'fun\',a,b,tol)

用自适应辛普森公式计算，输入被积函数fun可以自定义如exp(-x.^2)，也可以是fun.m命名的函数M文件，积分区间(a,b)，绝对误差tol，输出积分值。

quadl(\'fun\',a,b,tol)

用自适应的Gauss-Lobatto公式计算，其余同上。

常微分方程数值解

常微分方程的初值问题

2.初值问题的数值解法

2.1 欧拉方法

欧拉方法的基本思想

向前欧拉公式

向后欧拉公式

改进的欧拉公式

精度归纳：

向前1阶向后1阶梯形2阶改进欧拉2阶

O（h^p+1）——p阶精度

2.2 龙格-库塔方法

龙格-库塔方法的基本思想

龙格-库塔方法一般形式

经典的龙格-库塔方法

常微分方程组和高阶方程初值问题的数值方法

P7374

高阶方程，需要先降阶化为一阶常微分方程组

2.3 龙格-库塔方法的MATLAB实现

2.4 算法的收敛性、稳定性分析

收敛性分析P81

稳定性分析P81

向后欧拉公式无条件稳定

刚性现象与刚性方程

精度——慢稳态解的特征根决定步长——快稳态解

快慢稳态解衰减速度（两个特征根）相差悬殊——刚性现象——刚性方程

求解ode23s,ode15s

线性代数方程组数值解法

线性代数方程组的一般形式和解法

2.求解线性代数方程组的直接法

2.1 高斯消元法

高斯消元法

列主元消去法

2.2 LU分解

LU分解和Cholesky分解

求解三对角线性方程组的追赶法

2.3 解的误差分析P95

病态是解的固有性质，与解法无关。

向量范数和矩阵范数P96 相容性条件

3.求解线性代数方程组的迭代法

3.1 雅可比迭代法

3.2 高斯-赛德尔迭代法

高斯赛德尔收敛快于雅可比

3.3 迭代法的收敛性和收敛速度

迭代公式收敛——B的谱半径ρ（B）<1。

谱半径不超过任一种范数ρ（B）<||B||

3.4 超松弛迭代

4.超定线性代数方程组的最小二乘解

4.1 超定线性方程组的概念

方程个数超过了未知数个数的方程组称为超定线性方程组。

一般来说，超定线性方程组在普通意义下是无解的，只能在新设定的准则下定义它的解。

求解超定线性方程组的一个重要实际应用背景是数据拟合,我们下面的讨论也将就这个问题展开.

4.2 最小二乘准则

4.3 最小二乘解

4.4 基函数的选取

MATLAB实现

x=Ab;%求解方程Ax=b。若A为可逆方阵，输出原方程组的解；若A列多于行，输出最小二乘解

n=norm(x,1);n=norm(x);n=norm(x,inf);%输出x的1、2、无穷范数

c=cond(x,1);c=cond(x);c=cond(x,inf);%输出x的1、2、无穷条件数

r=rank(x);%输出向量x的秩

e=eig(x);%输出矩阵x的全部特征值

v=diag(x);v=diag(diag(x)); %提取对角矩阵

v=triu(x);v=tril(x);%输出矩阵x的上三角阵、下三角阵

v=triu(x,1);v=tril(x,-1);%输出矩阵x的上三角阵、下三角阵，对角元素为0

h=hilb(n);p=pascal(n);%n阶希尔伯特矩阵、Pascal矩阵

S=sparse(i,j,s,m,n)%稀疏矩阵，在第i行，第j列输入s，矩阵共m行，n列

SS=full(S);%输出S的满矩阵

tic;x=ab;t1=toc;%计算求解时间

a=eye(3)%矩阵I

a=inv(b)%矩阵求逆

a=polyfit(x,y,m);%完全多项式拟合，x，y要拟合的数据，m多项式的次数,a为拟合系数（降幂排列）

y=polyval(a,x);%计算上述多项式在x处的值

关键是列出Ax=b的式子，其中x为包含要求量的矩阵，即列出方程后把包含要求量的项挪到一边，把其系数整理成A，剩下的部分就是b。

通常需要用稀疏矩阵整理A：A=sparse(i,j,s,m,n)%稀疏矩阵，在第i行，第j列输入s，矩阵共m行，n列

x=Ab即可求解

实验考点是雅可比迭代法和高斯-赛德尔迭代法的相关理论和迭代范围等

非线性方程求解

1 非线性方程(组)的定义及特点

n(>2)次代数方程(a0xn+a1xn-1+„+an=0)和超越方程(包含超越函数(如sinx, lnx)的方程) 通称为非线性方程。方程中的未知数也称为变量或变元，只含一个未知数的方程（即一元方程或单变量方程）可以记作17

，该方程

的解也称为方程的根（或函数的零点）。n次代数方程有且只有n个根(包括复根、重根)； 5次以上的代数，其中是一个向量，称为非方程无求根公式；超越方程有无根，有几个根通常难以判断。这里仅讨论方程的实根。

包含n个未知数的m个方程称为方程组，可以记作

是一个向量值函数。当中至少有一个非线性函数时，线性方程组。多数情况下，方程组中包含的方程的个数等于未知数的个数（即m=n) 。

求解非线性方程（组）的一般方法是迭代法，会出现分岔——混沌现象。

2 非线性方程的基本解法

2.1 图形法和二分法

解方程的第一步通常是确定根的近似位置或大致范围。有两种方法：图形法和二分法。图形法是利用后，可以用简单的二分法将区间缩小，具体步骤如下：即是根。否则，如, 令。再取; 如的中点MATLAB的函数图形功能作f(x)的图形,观察f(x)与x轴的交点，确定根的个数和范围。二分法是基于连续函数的零点存在定理，通过试探，确定函数值异号的区间取的中点, 令, 若。在, 则内至少有一个根，且, 如此进行下去，包含根的区间的长度每次缩小一半 (n=1, 2, „)，n足够大时即可达到满意的精度。图形法和二分法都可提供迭代法的初始迭代点。

2.2 迭代法

迭代法的基本思想是将原方程即为原方程f(x)=0的根。

迭代法的关键在于如何构造迭代函数率。（P118）

关于迭代法的收敛性，理论上有如下的所谓局部收敛性定理：设则对于该邻域内的任意初值，序列{xn}收敛于。

在的一个邻域内连续、可微，且

，使迭代序列以较快速度收敛。迭代法是否收敛取决于曲线的斜改写成等价形式收敛到, 选择适当的初值, 则满足, 按照迭代公式，称为迭代函数的不动点，计算，若迭代序列对迭代序列，记，若为，为一个正数，其中||·||表示某种范数（对实数可以认为就是绝对值），则称序列c=0，则称阶收敛。特别地，1阶收敛称线性收敛，二阶收敛称平方收敛；若p=1,

为超线性收敛。P越大收敛越快。

利用在的泰勒展开：可得，从而可知

若收敛。

2.3 牛顿法

，则为1阶收敛（线性收敛）；若，则为阶将在作泰勒展开，去掉2阶及2阶以上项（即线性化）后得。设，令上面的其几何意义是过，用代替右端的，就得到迭代公式点的曲线的切线与轴的交点即为。对应的迭代函数为(点击看图1)，称为牛顿切线法。由，知，若则是是

的单根，即，，，这时牛顿切线法2阶收敛。当

的重根时，，牛顿切线法只是1阶收敛，并且重数越高收敛越慢。

用差商代替，迭代公式变为，其几何意义是用割线代替了原来的切线(点击看图2)，称为割线法（或称弦截法）其收敛速度比切线法稍慢（对于单根其收敛阶数是1.618），且需要两个初值x0, x1开始迭代。

3 非线性方程组的牛顿法、拟牛顿法

将求解非线性方程的牛顿切线法推广到解方程组F(x)=0，其中是第步近似解，在作泰勒展开，线性化后用19

。设代替可得

，其中为F的雅可比 (Jacobi) 矩阵

在处的值。若。

可逆，则可得求解方程组F(x)=0的牛顿迭代公式实际计算中，在计算过程的第k步，通常是先计算得到后，令是平方收敛的。

当函数F比较复杂时计算雅可比矩阵。

和，再解线性方程组即可。牛顿迭代公式是超线性收敛的（即收敛阶不小于1），稍加条件就至少很不方便，所以希望能用较简单的矩阵近似，即仿照割线法中用差商代替的作法，使满足和，又有不同的构造方法，例如DFP、BFGS计算之。这种方法称为拟牛顿法。至于如何确定等。

4 用MATLAB工具箱解非线性方程(组)

4.1 fzero的基本用法

fzero命令用于求单变量方程的根，所采用的算法主要是二分法、割线法和逆二次插值法等的混合方法。

其最简单的调用方式为

x= fzero(@f,x0)

函数简单可以用句柄形式：fzero(inline(\'x^3-2*x-5\'),0)%初值取0

或fzero(inline(\'x^3-2*x-5\'),[1,3])%有根区间取[1,3]

或fzero(@(x)x^3-2*x-5,0)

fzero求的可能只是变号点而不是零点：连续函数近似零点，不连续函数，间断点；连续没变号找不到

其最一般的调用方式为

[x,fv,ef,out] = fzero(@f,x0,opt,P1,P2,...)

输出参数输入参数注意事项（控件）

4.1.1 命令的输出参数

其中fzero命令输出参数的含义为：

x：变号点的近似值

fv：x点所对应的函数值

ef：程序停止时的状态

l 1：找到异号点

l -1：没有找到异号点

Out：包含以下数据的一个结构变量

l Iterations：迭代次数

l funcCount：函数被调用的次数

l algorithm：实际使用的算法

4.1.2 命令的输入参数

其中fzero命令输出参数的含义为：

1. f 函数名（必须输入的参数）

2. x0迭代初值（或有根区间）（必须输入的参数）

3. opt控制参数的结构变量，设定（或显示）控制参数的命令为Optimset(参见约束优化实验)，用户不指定或指定为[]时将采用缺省值。对fzero命令可选择的参数只有Display和TolX（含义见约束优化实验)

4. P1,P2,...是传给f函数的参数（如果需要的话）

4.1.3 命令注意事项

1. 对简单函数f(x)可直接用MATLAB提供的inline函数输入（inline函数返回一个字符串表示的函数的句柄）

2. fzero实际上求得的不一定是函数的零点，而只是函数值发生变号的点。对于连续函数，这个点就是近似零点；但对于不连续的函数，这个点很可能只是一个间断点（且在该点两边，函数值异号）。

4.2 fsolve的基本用法

fsolve命令用于非线性方程组的求解（当然也可以用于方程求根，但效果一般不如fzero程序），最一般的调用方式是：

[x,fv,ef,out,jac] = fsolve(@F,x0,opt,P1,P2, ... )

输出参数输入参数（控件）

4.2.1 命令的输出参数

其中fsolve命令输出参数的含义为：

1. x：方程组的解

2. fv：解所对应的向量函数值

3. ef：程序停止时的状态

l 1：收敛

l -1：不收敛

l 0：达到了迭代或函数调用的最大次数

4. out：包含以下数据的一个结构变量

l Iterations：迭代次数

l funcCount：函数被调用的次数

l algorithm：实际使用的算法

l firstorderopt：结果处梯度向量的1-范数

5. jac：x点所对应的雅可比矩阵

4.2.2 命令的输入参数

其中输入参数的含义为：

1. f 函数名（必须输入的参数）

2. x0迭代初值（必须输入的参数）

3. opt控制参数的结构变量，设定（或显示）控制参数的命令为Optimset，有以下一些用法：

Optimset //显示控制参数

optimset optfun //显示程序\'optfun的控制参数

opt=optimset //控制参数设为[]（即缺省值

opt=optimset(optfun)// 设定为程序\'optfun的控制参数缺省值

Opt=optimset(\'par1\',val1,\'par2\',val2,...)

Opt=optimset(oldopts,\'par1\',val1,...)

opt=optimset(oldopts,newopts)

对fsolve命令可选择的常用参数有

Diagnostics 是否显示诊断信息（ \'on\' 或\'off）

Display 显示信息的级别（\'off\' ， \'iter\' ， \'final，\'notify）

LargeScale 是否采用大规模算法（ \'on\' 或\'off）缺省值为off

MaxIter 最大迭代次数

TolFun 函数计算的误差限

TolX 决策变量的误差限

Jacobian 目标函数是否采用分析Jacobi矩阵（\'on\' ，\'off）

MaxFunEvals 目标函数最大调用次数

4. P1,P2,...是传给f函数的参数（如果需要的话）

4.3 roots的基本用法

Roots命令用于一元多项式求根。两个相关的命令是：

l r=roots(c) 输入多项式的系数c（按降幂排列），输出r为l c=poly(r) 输入的全部根（包括复根）；

的全部根r，输出c为多项式的系数（按降幂排列）。

无约束优化

1．无约束优化的基本原理、解法

1.1 无约束优化的一般形式

无约束非线性规划问题为

其最优解通常都是局部最优解，寻找全局最优解需要对局部最优解进行比较以后得到（如果能够求出所有局部最优解的话）。

1.2 最优性条件

是最优解的必要条件为

1.3 下降法的基本思想

在迭代的第k步，确定一个搜索方向和一个步长，使沿此方向、按此步长走一步到达下一点时，函数值其基本步骤为

1）选初始解<3）若搜索方向2）牛顿法

3）拟牛顿法：利用第和构造正定矩阵或近似代替；

，确定搜索方向并在此方向确定搜索步长；否则，转2。

令，使；

符合给定的迭代终止原则，停止迭代，最优解的选择（不同方向产生不同的算法）：

（P142）

步得到的，或直接构造k+1；充分条件为，且正定。

下降。2）对于第次迭代解1）最速下降法（梯度法）牛顿法的优点是在接近最优解时具有2阶收敛性局部收敛性

，用BFGS公式，DFP公式，GM公式等迭代公式近似代替，从而由，得到下降方向d。

搜索步长的确定——线性搜索：用二分法、黄金分割法（即0.618法）、Fibonacci法，牛顿切线法和割线法，插值方法等近似方法求一维优化问题：

来确定步长。

1.4 用MATLAB优化工具箱解无约束优化问题

用MATLAB优化工具包求解无约束非线性规划时必须先化为如下形式：

Min f(x) (NLP)

求解程序名为fminunc，其最简单的调用格式为：

x = fminunc(\'fun\',x0)

其最复杂的调用格式为：

[x,fval,exitflag,output,grad,hessian] = fminunc(@f,x0,options,P1,P2,...)

输出参数输入参数注意事项

1.4.1 程序fminunc输出变量

其中输出变量的含义为：

1） x ：最优解

2） fval ：最优解处的函数值

3） exitflag ：程序结束时的状态指示：

· >0：收敛

· 0：函数调用次数或迭代次数达到最大值（该值在options中指定）

· <0：不收敛

4) Output: 包含以下数据的一个结构变量

· funcCount 函数调用次数

· iterations 实际迭代次数

· cgiterations 实际PCG迭代次数（大规模计算用）

· algorithm 实际使用的算法

· stepsize 最后迭代步长（中等规模计算用）

5) grad: 目标函数梯度

6) hessian: 目标函数的hessian矩阵

1.4.2 程序fminunc输入参数

其中输入变量的含义为：

· x0为初始解（缺省时程序自动取x0=0）

· fun.m给出目标函数，当GradObj=\'on时必须给出其梯度，当Hessian=\'on时还必须给出其Jacobi矩阵，一般形式为

· function [f,g,H] = fun(x)

· f = ... % objective function value

· if nargout > 1

· g = ... % gradient of the function

· if nargout > 2

· H = ... % Hessian of the function

· end

· options：包含算法控制参数的结构

设定（或显示）控制参数的命令为Optimset，有以下一些用法：

Optimset //显示控制参数

optimset optfun //显示程序\'optfun的控制参数

opt=optimset //控制参数设为[]（即缺省值

opt=optimset(optfun)// 设定为程序\'optfun的控制参数缺省值

Opt=optimset(\'par1\',val1,\'par2\',val2,...)

Opt=optimset(oldopts,\'par1\',val1,...)

opt=optimset(oldopts,newopts)

可以设定的参数比较多，对fminunc，常用的有以下一些参数：

Diagnostics 是否显示诊断信息（ \'on\' 或\'off）

Display 显示信息的级别（\'off\' ， \'iter\' ， \'final，\'notify）

LargeScale 是否采用大规模算法（ \'on\' 或\'off）缺省值为on

MaxIter 最大迭代次数

TolFun 函数计算的误差限

TolX 决策变量的误差限

GradObj 目标函数是否采用分析梯度（\'on\' ，\'off）

Hessian 目标函数是否采用分析Hess矩阵（\'on\' ，\'off）

MaxFunEvals 目标函数最大调用次数

HessUpdate 拟牛顿法修改方法（’bfgs’(缺省值)，’dfp’,’gillmurray’,’steepdesc’）

LineSearchType 线搜索方法(‘cubicpoly’,’quadcubic’(缺省值))

1.4.3 注意事项

· fminunc中输出变量、输入参数不一定写全，可以缺省。采用缺省值效果一般会很好。

· 当中间某个输入参数缺省时，需用[]占据其位置。

· 当函数高度非线性或严重不连续时，用程序fminsearch代替fminunc。

2．非线性最小二乘拟合的基本原理、解法

2.1 非线性最小二乘拟合问题

有一组数据，

型：

要拟合一个已知函数y=f(x, t), x=(x1,x2,„,xm),

，拟合误差定义为, x为待定系数。记误差的平方和，于是问题表示为如下的优化模当二乘拟合。

2.2 非线性最小二乘拟合问题的解法

1）高斯—牛顿法：下降方向依赖于由对（的某些分量）是非线性函数时，称非线性最小解出，称高斯—牛顿法（GN法）。其收敛速度的大小，适用于对近似于线性及较小的情况。当对高度非线性对的线性程度，及误差或很大时，高斯—牛顿法可能不收敛。

2） LM方法

将高斯—牛顿法中修正为

其中是单位阵，>0是在每次迭代中修正的参数。这个方法称为Levenbery-Marquardt法（LM法）。当很小时此法接近高斯—牛顿法，当很大时接近于梯度法，所以每次迭代的下降方向在牛顿方向与负梯度方向之间。

2.3 用MATLAB优化工具箱解非线性最小二乘拟合问题

l 非线性最小二乘问题

min

s.t. v1xv2

求解程序名为lsqnonlin，其最简单的调用格式为：

x=lsqnonlin(@F,x0, v1,v2)

其最复杂的调用格式为：

[x,norm,res,ef,out,lam,jac] = lsqnonlin(@F,x0,v1,v2,opt,P1,P2, ... )

l 非线性拟合问题

min

s.t. v1xv2

求解程序名为lsqcurvefit，其最简单的调用格式为：

x=lsqcurvefit(@F, x0,t,y,v1,v2)

其最复杂的调用格式为：

[x,norm,res,ef,out,lam,jac] = lsqcurvefit(@F,x0,t,y,v1,v2,opt,P1,P2,...)

输出参数输入参数注意事项

2.3.1 程序lsqnonlin和lsqcurvefit的输出参数

其中输出变量的含义为：

1） x ：最优解

2） norm ：误差的平方和，即res*res’

3）res: 误差向量

4） ef ：程序结束时的状态指示：

· >0：收敛

· 0：函数调用次数或迭代次数达到最大值（该值在options中指定）

· <0：不收敛

5) out: 包含以下数据的一个结构变量

· funcCount 函数调用次数

· iterations 实际迭代次数

· cgiterations 实际PCG迭代次数（大规模计算用）

· algorithm 实际使用的算法

· stepsize 最后迭代步长（中等规模计算用）

· firstorderopt 一阶最优条件满足的情况（大规模计算用）

6) lam：上下界所对应的Lagrange乘子

7) jac：结果（x点）处的雅可比矩阵

2.3.2程序lsqnonlin和lsqcurvefit的输入参数

其中输入变量的含义为：

· x0为初始解（缺省时程序自动取x0=0）

· F给出目标函数的M文件，当Jacobian=\'on时必须给出其Jacobi矩阵，一般形式为：

function [F,J] = Fun(x)(对程序lsqcurvefit为Fun(x,t))

F = ... % objective function values at x

if nargout > 1 % two output arguments

J = ... % Jacobian of the function evaluated at x

end

· t,y: 拟合数据

· v1,v2: 上下界

· options：包含算法控制参数的结构

设定（或显示）控制参数的命令为Optimset，有以下一些用法：

Optimset //显示控制参数

optimset optfun //显示程序\'optfun的控制参数

opt=optimset //控制参数设为[]（即缺省值

opt=optimset(optfun)// 设定为程序\'optfun的控制参数缺省值

Opt=optimset(\'par1\',val1,\'par2\',val2,...)

Opt=optimset(oldopts,\'par1\',val1,...)

opt=optimset(oldopts,newopts)

可以设定的参数比较多，对lsqnonlin和lsqcurvefit，常用的有以下一些参数：

Diagnostics 是否显示诊断信息（ \'on\' 或\'off）

Display 显示信息的级别（\'off\' ， \'iter\' ， \'final，\'notify）

LargeScale 是否采用大规模算法（ \'on\' 或\'off）缺省值为on

MaxIter 最大迭代次数

TolFun 函数计算的误差限

TolX 决策变量的误差限

Jacobian 目标函数是否采用分析Jacobi矩阵（\'on\' ，\'off）

MaxFunEvals 目标函数最大调用次数

LevenbergMarquardt 搜索方向选用LM法(‘on’), GN法(‘off’,缺省值)

LineSearchType 线搜索方法(‘cubicpoly’,’quadcubic’(缺省值))

2.3.3 注意事项

· fminunc中输出变量、输入参数不一定写全，可以缺省。

· 当中间某个输入参数缺省时，需用[]占据其位置

约束优化

11.线性规划的基本原理、解法

1.1 线性规划的图解法

线性规划的图解法只能用于求解两个决策变量（2维）的情形。由于线性规划的约束条件和目标函数均为线性函数，所以对于2维情形，可以在平面坐标系下画出可行域和目标函数的等值线。可行域为直线组成的凸多边形，目标函数的等值线为直线，这样，最优解一定在凸多边形的某个顶点取得。

1.2 线性规划的标准形

（一般假设A的秩为m）

等式约束和非负约束

如果不是等式约束，则增加松弛变量或剩余变量，使Ax<=b中的<=化成=。目标函数中那些新增变量的系数等于0即可。

1.3基本可行解

假设A的秩为m，任取A的m个线性独立的列向量组成基AB（AB可逆），其余列向量为非基AN，将A的列向量重排次序后可写作

变量和非基变量，于是

称为基本解。

，相应地重排x的分量有

。令非基变量 xN = 0，解得基变量

， xB，xN分别称基，这个解当基变量时（令非基变量xN = 0），Ax = b的基解

本可行解。基本可行解正好对应于可行域（凸多面体）的顶点。

1.4 线性规划的基本性质

若存在可行域，它必是凸集（凸多面体）；

基可行解对应于可行域的顶点；

若有最优解，必在可行域的顶点取得。

1.5 单纯形法的基本思路

也满足约束，称为基用迭代法从一个顶点转换到另一个顶点，每一步转换只将一个非基变量（指一个分量）变为基变量，称为进基，同时将一个基变量变为非基变量，称为离基，进基和离基的确定应使目标函数下降。

实现这一思路的算法要解决以下问题：选取初始基可行解（顶点）；判断当前顶点是否最优；确定进基和离基变量。单纯形法的具体步骤可参阅其他线性规划书籍。

1.6 线性规划解的几种可能

可行域为空集，无可行解，更没有最优解；

最优值为无穷（无最优解），可行域无界（当只是可行域无界时，也可能仍有（有限）最优解）；

最优解存在唯一，在凸多边形的顶点达到；

最优解存在但不唯一，在一条边（或面、体等）上取得（无穷多最优解）。

1.7 用MATLAB优化工具包解线性规划

用MATLAB优化工具包求解线性规划时必须先化为如下形式：

（LP）

求解程序名为linprog，其最简单的调用格式为：

x = linprog(c,A1,b1) （用于不含有等式约束和上下解约束的问题）

其最复杂的调用格式为：

[x,fval,exitflag,output,lambda] = linprog(c,A1,b1,A2,b2,v1,v2,x0,options)

1.7.1 程序linprog输出变量

其中输出变量的含义为：

1） x：最优解

2） fval：最优解处的函数值

3） exitflag：程序结束时的状态指示：



>0：收敛



0：函数调用次数或迭代次数达到最大值（该值在

<0：不收敛

options中指定）

4) Output: 包含以下数据的一个结构变量



iterations 实际迭代次数



cgiterations 实际PCG迭代次数（大规模计算用）



algorithm 实际使用的算法

5) lambda: 包含以下数据（LAGRANGE乘子）的一个结构变量,总维数等于约束条件的个数，其非零分量对应于起作用的约束条件：



ineqlin 不等式约束的LAGRANGE乘子



eqlin 等式约束的LAGRANGE乘子



upper 上界约束的LAGRANGE乘子



lower 下界约束的LAGRANGE乘子

不等于0时起作用

1.7.2 程序linprog输入参数

其中输入变量的含义为：



c,A1,b1,A2,b2,v1,v2：含义见模型（LP）



x0为初始解（缺省时程序自动取x0=0）



options：包含算法控制参数的结构

算法选择方法：P177（默认大规模算法，二次规划用中规模算法）

设定（或显示）控制参数的命令为Optimset，有以下一些用法：

Optimset //显示控制参数

optimset optfun //显示程序\'optfun\'的控制参数

opt=optimset //控制参数设为[]（即缺省值）

opt=optimset(optfun)// 设定为程序\'optfun\'的控制参数缺省值

Opt=optimset(\'par1\',val1,\'par2\',val2,...)

Opt=optimset(oldopts,\'par1\',val1,...)

opt=optimset(oldopts,newopts)

可以设定的参数比较多，对linprog，常用的有以下一些参数：

Diagnostics：是否显示诊断信息（ \'on\' 或\'off\'）

Display 显示信息的级别（\'off\' ， \'iter\' ， \'final\'，\'notify\'）

LargeScale 是否采用大规模算法（ \'on\' 或\'off\'）

MaxIter 最大迭代次数

TolCon 约束的误差限

TolFun 函数计算的误差限

TolX 决策变量的误差限

1.7.3 程序linprog注意事项

linprog中输出变量、输入参数不一定写全，可以缺省。



当中间某个输入参数缺省时，需用[]占据其位置。



2.非线性规划的基本原理、解法

2.1 非线性规划的一般形式

(1)

或

(2)

2.2 可行方向与下降方向

记可行域为

；

是起作用约束，

图2中x位于

对于对于，设x为可行解，使

是不起作用约束，且。

，称d为x的可行方向。

，称d为x的下降方向。

上，g1是起作用约束，g2,g3是不起作用约束。起作用约束又称有效约束。

和一方向d，若存在实数λ0使

和一方向d，若存在λ0使

2.3 最优解的必要条件

若x是（2）的最优解，且线性无关，则存在使

（3）

（4）

（3）、（4）称KKT条件，满足KKT条件的点x称KKT点，所以最优解一定是KKT点。

2.4 二次规划的一般形式

（5）

其中c,A,b与线性规划相同，为对称矩阵，叫做二次规划(Quadratic Programming，记作QP)。

特别，当H正定时目标函数为凸函数，线性约束下可行域又是凸集，式（5）称为凸二次规划

（以下仍记作QP），是一种最简单的非线性规划。QP有如下良好的性质：

K-T条件不仅是最优解的必要条件，而且是充分条件；

局部最优解就是全局最优解

2.5 二次规划的有效集方法

等式约束下二次规划的拉格朗日乘子法

如果是等式约束下的二次规划，即

（6）

那么用解条件极值问题的乘子法，构造拉格朗日函数

（7）

令

对x和λ的导数为零，得方程组

（8）

可解出x, λ，其中x即为（6）的最优解。

解二次规划的有效集方法

对于存在不等式约束的二次规划（5），一个重要的方法是有效集方法。直观上，将不起作用约束去掉，将起作用约束作为等式约束，通过解一系列等式约束的二次规划来实现不等式约束的优化。这个方法的基本原理是：若x为（5）的最优解，则它也是

（9）

的最优解，其中aj是A的第j行，J2为起作用约束集（有效集）。反之，若x为（5）的可行解，又是（9）的KKT点，且相应的乘子，则x为（5）的最优解。

，为寻求xk点的迭代方向d，用乘子法求像许多数值算法一样，有效集方法仍是一种迭代法，基本步骤为：

设当前迭代点（是（5）的可行解）为xk，该点的有效集记作

解

（10）

得子

若，取则p应加入有效集，

。若，则xk是（9）的最优解。为判断它是否（5）的最优解，考察对应于有效约束的乘，在xk+1为可行点的条件下确定dk方向的步长αk，如果存在

，继续进行。

使，是否成立。若成立，则xk是KKT点，由二次规划的重要性质xk是（5）的最优解。

若存在

使，则x(k)不是最优解，有效集应去掉q，，继续进行。

2.6 用MATLAB优化工具包解二次规划

用MATLAB优化工具包求解二次规划时必须先化为如下形式：

(QP)

求解程序名为quadprog，其最简单的调用格式为：

x = quadprog(H,c,A1,b1) （用于不含有等式约束和上下解约束的问题）其最复杂的调用格式为：

[x,fval,exitflag,output,lambda] = quadprog(H,c,A1,b1,A2,b2,v1,v2,x0,options)

2.7 非线性规划的解法

SQP方法的基本原理

用SQP解LNP（1）的基本原理是：构造拉格朗日函数

（11）

用二次函数近似后化为QP问题，然后解一系列如下形式的QP子问题

（12）

其中xk是第k次迭代的初始点，Gk是

代的搜索方向，新的迭代点为

部分：

的海赛阵的近似。由（12）得到的最优解dk取作第k次迭，其中αk是按一定搜索准则得到的步长。这样，SQP包括3个主要求解QP子问题（12）；



用线性搜索计算步长；



确定矩阵Gk的迭代公式。

2.8 用MATLAB优化工具包解非线性规划

用MATLAB优化工具包求解非线性规划时必须先化为如下形式：

(NLP)

求解程序名为fmincon，其最简单的调用格式为：

x = fmincon(\'fun\',x0,A1,b1) （用于不含有等式约束和上下解约束的问题）其最复杂的调用格式为：

[x,fval,exitflag,output,lambda,grad,hessian] =

fmincon(\'fun\',x0,A1,b1,A2,b2,v1,v2,\'nlcon\',options,P1,P2, ...)

2.8.1 程序fmincon输出变量

其中输出变量的含义为：

1） x ：最优解

2） fval ：最优解处的函数值

3） exitflag ：程序结束时的状态指示：

>0：收敛



0：函数调用次数或迭代次数达到最大值（该值在options中指定）



<0：不收敛



4) Output: 包含以下数据的一个结构变量



funcCount 函数调用次数

iterations 实际迭代次数

cgiterations 实际PCG迭代次数（大规模计算用）

algorithm 实际使用的算法

stepsize 最后迭代步长（中等规模计算用）

firstorderopt 一阶最优条件满足的情况（目标函数梯度的范数）

5) lambda: 包含以下数据（LAGRANGE乘子）的一个结构变量,总维数等于约束条件的个数，其非零分量对应于起作用的约束条件：

ineqlin 不等式约束的LAGRANGE乘子



eqlin 等式约束的LAGRANGE乘子



upper 上界约束的LAGRANGE乘子



lower 下界约束的LAGRANGE乘子



6) grad: 目标函数梯度

7) hessian: 目标函数的hessian矩阵

2.8.2 程序fmincon输入参数

其中输入变量的含义为：



x0为初始解（缺省时程序自动取x0=0）

A1,b1,A2,b2,v1,v2：含义见模型（NLP）

Fun.m给出目标函数，当GradObj=\'on\'时必须给出其梯度，当Hessian=\'on\'时还必须给出其Jacobi矩阵，一般形式为

function [f,g,H] = fun(x)

f = ... % objective function value

if nargout > 1

g = ... % gradient of the function

if nargout > 2

H = ... % Hessian of the function

end



nlcon.m给出非线性约束,GradConstr=\'on\'时还给出梯度,一般形式为

function [c1,c2,GC1,GC2] = nlcon(x)

c1 = ... % nonlinear inequalities at x

c2 = ... % nonlinear equalities at x

if nargout > 2

GC1 = ... % gradients of c1

GC2 = ... % gradients of c2

end

options：包含算法控制参数的结构

设定（或显示）控制参数的命令为Optimset，有以下一些用法：

Optimset //显示控制参数

optimset optfun //显示程序\'optfun\'的控制参数

opt=optimset //控制参数设为[]（即缺省值

opt=optimset(optfun)// 设定为程序\'optfun\'的控制参数缺省值

Opt=optimset(\'par1\',val1,\'par2\',val2,...)

Opt=optimset(oldopts,\'par1\',val1,...)

opt=optimset(oldopts,newopts)

可以设定的参数比较多，对fmincon，常用的有以下一些参数：

Diagnostics 是否显示诊断信息（ \'on\' 或\'off\'）

Display 显示信息的级别（\'off\' ， \'iter\' ， \'final\'，\'notify\'）

LargeScale 是否采用大规模算法（ \'on\' 或\'off\'）

MaxIter 最大迭代次数

TolCon 约束的误差限

TolFun 函数计算的误差限

TolX 决策变量的误差限

GradObj 目标函数是否采用分析梯度（\'on\' ，\'off\'）

Jacobian 目标函数是否采用分析Jacob矩阵（\'on\' ，\'off\'）

MaxFunEvals 目标函数最大调用次数

GradConstr 非线性约束函数是否采用分析梯度（\'on\' ，\'off\'）

2.8.3 注意事项

fmincon中输出变量、输入参数不一定写全，可以缺省。



当中间某个输入参数缺省时，需用[]占据其位置



数据的统计与分析

1 统计的基本概念

总体：人们研究对象的全体，又称为母体。

个体：总体中的每一个基本单位。

样本（或子样）：从总体中随机产生的若干个个体的集合。

样本容量：从总体中随机取得的一批数据的规模大小。

统计的任务是由样本推断总体。

2 频数表和直方图

将数据的取值范围划分为若干个区间，然后统计这组数据在每个区间中出现的次数，称为频数，

由此得到一个频数表。以数据的取值为横坐标，频数为纵坐标，画出一个台阶形的图，称为直方图，

或频数分布图。

作频数表及直方图

用hist 命令实现，其用法是：

[N,X]=hist(data,k) 数组（行、列均可）data的频数表。它将区间[min(data),max(data)]等分为k

（缺省时k设定为10），N返回k个小区间的频数，X返回k个小区间的中点

hist(data,k) 数组（行、列均可）data的直方图。k的意义同上

3 统计量

假设有一个容量为n的样本（即一组数据）,记作x=(x1,x2,„,xn), 需要对它进行一定的加工，

才能提取有用的信息，用作对总体（分布）参数的估计或检验。统计量就是加工出来的、反映样本

数量特征的函数，它不含任何未知量。

1）表示位置的统计量--平均值和中位数

平均值（简称均值）

中位数是将数据由小到大排序后位于中间位置的那个数值。

MATLAB中 mean(x) 返回x的均值，median(x) 返回中位数。

2）标准差、方差和极差

标准差

方差是标准差的平方s。

S1 P237

极差是x=(x1,x2,„xn)的最大值与最小值之差。

MATLAB中 std（x）返回x的标准差, var（x）返回方差, range（x）返回极差。Std(x,1)——s1

3）表示分布形状的统计量--偏度和峰度

偏度g1和峰度g2分别定义为

正态分布的峰度为3，若g2比3大很多，表示有沉重的尾巴，说明偏离均值的数据多。

MATLAB中skewness(x) 返回x的偏度，kurtosis(x) 返回峰度。

写入数据文件中读入的命令P240

4 统计中几个重要的概率分布

4.1 分布函数、密度函数和分位数

设有随机变量X，其分布函数定义为

期望，方差P241

4.2 统计中几个重要的概率分布

1）正态分布

正态分布随机变量X的密度函数为

的概率，即

分位数定义为：对于0< α< 1 ，使某分布函数 F(x)= α的x，称为这个分布的α分位数，记作xα。

„„ (5)

期望（均值）EX = μ ，方差DX = σ ，记作

当μ = 0，σ = 1时称为标准正态分布，记作

2) 分布（Chi square）

2，称均方差或标准差。

若X1, X2,..., Xn 为相互独立的、服从标准正态分布N(0 ,1)随机变量，

则它们的平方和

3）t 分布

服从分布，记作，称n自由度。EY = n ，DY = 2n 。

若

度。

，，且相互独立，则服从t 分布，记作，称n自由t 分布又称学生氏（Student）分布。

4）F 分布

若

，，且相互独立，则

服从F分布，

记作， (n1, n2)称自由度。

4.3 MATLAB统计工具箱(ToolboxStats)中的概率分布 P246

MATLAB统计工具箱中有20种概率分布，上述4种分布列出命令的字符：

norm：正态分布； chi2：分布； t： t 分布； f： F 分布。

工具箱对每一种分布都提供5类函数，其命令的字符是:

pdf 概率密度； cdf 概率分布； inv 逆概率分布（求分位数）； stat 均值与方差； rnd

随机数生成。

y=normpdf(1.5,1,2) %正态分布（mu=1,sigma=2）,x=1.5处的概率密度

y=normpdf(1:5,1,2)%1-5的概率

y=normpdf([1 2 4],1,2)%1,2,4的概率

5 正态总体统计量的分布

设总体， x1, x2,..., xn 为一容量n的样本，

或

设有两个总体和，及由容量分别为n1, n2的两个样本

确定的均值，和标准差s1, s2，则

6. 用随机模拟计算数值积分

6.1两种方法

1）随机投点法

大数定律（贝努利定理）

2) 均值估计法

• 可用于任意的f,

Ω, 且可推广至高维

• 结果的精度和收敛速度与维数无关

• 计算量大，精度低，结果具有随机性

6.2重积分的计算

6.3MATLAB实现

随机数的产生：unifrnd(a,b,m,n)

产生m行n列[a,b]区间上的均匀分布随机数。当a=0, b=1时，可用rand(m,n)

用蒙特卡罗方法算面积P252，P253例6重要！

统计推断

1、参数估计

概述

参数估计一般指的是，假定总体的概率分布的类型（如正态分布、指数分布）已知，由样本估计分布的参数（如正态分布的m和s、指数分布的l）。我们知道，实际中最有用的数字特征——期望和方差与分布的参数之间有确定的关系，并且由于实际中最常见的分布是正态分布，理论上也只有在总体正态分布的前提下，才能得到方便、适用的结果，所以在这个实验中，如不特别说明，都假定总体服从正态分布。

1.1 点估计

点估计是在总体分布已知的前提下，用样本统计量确定总体参数的一个数值，估计的方法有矩法、极大似然法等。

样本的一阶矩就是它的均值，即

二阶中心矩定义为

可以用方法。

和对总体均值和方差作点估计，记作。这种方法称为矩估计法，是本实验用的极大似然估计法的基本思想是，对于给定的样本使得出现的概率，即概率密度函数的乘积

和总体的概率密度函数，待估计的参数应达到最大，即求使得

1.2 点估计的评价标准

根据同一样本用矩估计和极大似然估计可能对一个总体参数给出不同的点估计，如何评价其优劣呢？当然要看它“接近”所估计的总体参数的程度，而对“接近”则有几种常用的评价标准。

1）无偏性

待估的总体参数记作，从样本果的期望得到的的一个估计量记作，由于样本的随机性，也是随机的，如，则称是的无偏估计量。

对于正态总体为

，容易计算，所以样本均值是的无偏估计。二阶中心矩是否的无偏估计呢？需要计算一下：

可见二阶中心矩不是的无偏估计，但是显然有，而正是样本方差，所以用如果当样本容量趋于无穷大时，渐近无偏的。

作为的估计，即，它是无偏的。

，二阶中心矩是趋于，则称是的渐近无偏估计量。显然，对于无偏是一个平均性的标准，只有当进行多次估计时才能说它平均起来“接近” 总体参数，所以无偏性对于只作一两次估计的问题是没有多大实际意义的。

2）有效性

作为的估计量，自然希望它的方差量，如果根据一个样本（的平均值3）一致性

由容量为的样本得到的估计量记作，自然希望越大估计越准，如果对任给的满足

，则称作为比越小越好。设是从一个样本得到的的两个无偏估计达到最小，则称为的有效估计量。

的估计，也可以只用其中个，所以比更有效。

有效。如果对固定的，某个使，你可以用所有个数据的平均值作为总体均值的估计，它们都是无偏的，容易推出

则称依概率收敛于，这样的称为的一致估计量。

和方差都是和的一致无偏估计，所以总体均值和方可以证明，不论随机变量X总体分布如何，样本均值差（及标准差）的点估计通常取„„P265

1.3 总体均值的区间估计

一般地，对于总体的待估参数（如较大的概率落在这个区间内。若

则置信区间称为的置信区间，，），希望通过样本的计算给出一个区间，使以分别称为置信下限和置信上限，称为置信概率或置信水平，称为显著性水平，一般取一个很小的数，如0.05或0.01。

的大小给出了估计的精度，置信水平给出了估计的可信程度。可信程度可以这样理解：随机，置信水平是0.95，可，这样的区间是否包含？设选一个容量为的样本，得到一个置信区间以粗略地理解为：重复取100个容量为n的样本，得到的100个置信区间中约有95个包含了。而实际上我们只取1个样本，得到1个置信区间并断言它包含了，这样做当然可能犯错误，但是犯错误的概率只有0.05。

给出了置信区间越大（即尽量小的置信区间。

和置信水平的估计，称为的区间估计。置信区间越小，估计的精度越高；置信水平越小），估计的可信程度越高。但是这两个指标显然是矛盾的，通常的做法是在一定的置信水平下选取下面在正态总体的假定下，分总体方差已知和未知两种情况讨论总体均值的区间估计。

1）总体方差已知

区间估计的基本思想是用样本构造一个其分布为已知的统计量，

。

给定置信水平，寻找u1, u2 使。由的对称性，的对称区间长度最小，所以u2取的分位数，，满足，即得

于是在置信水平下，的置信区间为。

2）总体方差未知

这种情况下只好用样本方差代替，根据实验10中的分布和分布的定义，可以证明

，

。

由于分布也是对称的，且图形与有

相似，所以可以用的分位数代替（7）式的，（10）

即在置信水平下，的置信区间为。

从总体均值的区间估计的结果看出，对于一定的，或越大，置信区间长度越大，即估计的精度越低；样本容量越大，置信区间越短，即估计的精度越高。这显然是合理的。

1.4 总体方差的区间估计

由于分布不对称，给定置信水平，严格地寻求长度最短的置信区间是困难的。统计上，为了简单起见，仍分布的分位数和分位数，满足然仿照均值区间估计的方法，选取，

它等价于

。

即在置信水平下，的置信区间为，或者的置信区间为。

1.5 参数估计的MATLAB实现

MATLAB统计工具箱中，有专门计算总体均值、标准差的点估计和区间估计的程序。对于正态总体,命令是

[mu sigma muci sigmaci]=normfit(x,alpha)

其中 x是样本（数组），alpha是显著性水平准差的点估计, muci和sigmaci是总体均值(alpha缺省时设定为0.05)，输出mu和sigma是总体均值和标准差和标的区间估计。当x是矩阵（列为变量）时输出行向量。

需要说明，上面的区间估计是在正态总体的假定下做出的，如果无法保证这个假定成立，有两种处理办法。一是取容量充分大的样本，仍可按照上面给出的区间估计公式计算，因为根据概率论的中心极限定理，只要样本足够大（实用中可取n>50）均值就近似地服从正态分布；二是MATLAB统计工具箱中提供了一些具有特定分布总体的区间估计44

的命令，如expfit ，poissfit，gamfit，分别用于指数分布、Possion分布和Gamma分布的区间估计，具体用法参见MATLAB帮助系统。

2、假设检验

概述

假设检验是另一类统计推断问题，是对总体的参数先行假设为一个定值，然后根据样本对这个假设进行检验，回答只有两种：接受或拒绝。这类统计推断问题称为假设检验。

像参数估计一样，如不特别指明，以下的讨论都是在总体服从正态分布的假定下进行的。

2.1 均值的假设检验

2.1.1总体均值的假设检验

1）总体方差已知

记H1）。

2）总体方差，假设检验的规则（称检验或检验）为：当时接受H0；否则拒绝H0（接受未知

，假设检验的规则（称检验）为：当2.1.2双侧检验与单侧检验

将拒绝域放在一侧的情况可称为单侧检验。P270

2.1.3用 MATLAB实现均值的假设检验

总体方差已知时用z检验，命令为

,sigma是总体标准差时接受H0；否则拒绝H0（接受H1）。

[h,p,ci]=ztest(x,mu,sigma,alpha,tail)

其中输入参数x是样本,mu是H0中的,alpha是显著性水平（alpha缺省时设定为时用tail=1； H1为 0.05）,tail是对备选假设H1的选择： H1为时用tail=0（可缺省）； H1为45

时用tail=-1。输出参数h=0表示接受H0, h=1表示拒绝H0, p表示在假设H0下样本均值出现的概率，p越小H0越值得怀疑，ci是总体方差的置信区间。

未知时用检验，命令为

外，其余全都一样。

[h,p,ci]=ttest(x,mu,alpha,tail)

与上面的ztest相比，除了不需输入总体标准差

2.2 方差（或标准差）的假设检验

方差的假设检验也有：

1）

2）

3）

对于第1种假设，作双侧检验，即选取当分布的分位数和分位数，令，时接受H0, 否则拒绝。对于第2、3种假设，作单侧检验。

2.3 两总体的假设检验

2.3.1两总体均值的假设检验

设有两个总体，要作的假设检验为

当当当当已知时，假设检验的规则(检验)为：

时接受H0；否则拒绝H0（接受H1）。

未知,若H0成立，假设检验的规则（检验）为：

时接受H0；否则拒绝H0（接受H1）。

和，及由容量分别为的两个样本确定的均值，和标准差实现检验的MATLAB命令为：

[h,p,ci]=ttest2(x,y,alpha,tail)。

2.3.2两总体方差的假设检验

假设检验

假设检验的规则(称当其置信水平仍为检验)为：

。

时接受H0；否则拒绝H0（接受H1）。

2.4 0-1分布总体均值的假设检验

对总体的废品率作如下的假设检验：

记，假设检验的规则为：

当时接受H0；否则拒绝H0（接受H1）。

上面是双侧检验，单侧检验

取的分位数，假设检验的规则为：

当时接受H0；否则拒绝H0（接受H1）。

2.5 总体分布正态性检验

进行参数估计和假设检验时，通常总是假定总体服从正态分布，虽然在许多情况下这个假定是合理的，但是当要以此为前提进行重要的参数估计或假设检验，或者人们对它有较大怀疑的时候，就确有必要对这个假设进行检验，

进行总体正态性检验的方法有很多种，以下针对MATLAB统计工具箱中提供的程序，简单介绍几种方法。

1）Jarque-Bera检验

利用正态分布的偏度g1和峰度g2，构造一个包含g1，g2的分布统计量小于分布的分位数分布统计量（自由度n=2），对于显著性水平，当时，接受H0：总体服从正态分布；否则拒绝H0，即总体不服从正态分布。这个检验适用于大样本，当样本容量n较小时需慎用。Matlab命令：h =jbtest(x)，[h,p,jbstat,cv]

=jbtest(x,alpha)。

2）Kolmogorov-Smirnov检验

通过样本的经验分布函数与给定分布函数的比较，推断该样本是否来自给定分布函数的总体。容量n的样本的经验分布函数记为Fn(x)，可由样本中小于x的数据所占的比例得到，给定分布函数记为G(x)，构造的统计量为，即两个分布函数之差的最大值，对于假设H0：总体服从给定的分布G(x)，及给定的根据Dn的极限分布（n®¥时的分布）确定统计量关于是否接受H0的数量界限。

因为这个检验需要给定G(x)，所以当用于正态性检验时只能做标准正态检验，即H0：总体服从标准正态分布Matlab命令：h =kstest(x)。

3）Lilliefors检验

它将Kolmogorov-Smirnov检验改进用于一般的正态性检验，即H0：总体服从正态分布本均值和方差估计。Matlab命令：h =lillietest(x)，[h,p,lstat,cv]=

lillietest(x,alpha)。

，其中由样。，48

2.6 假设检验与Matlab命令汇总

假设检验

单个总体均值(s2已知)

统计量检验规则

接受H0

MATLAB命令

h=ztest(x,mu,sigma)

[h,sig,ci,zval]=

ztest(x,mu,sigma,

alpha,tail)

h=ttest(x,mu)

[h,sig,ci]=ttest(x,mu,alpha,tail)

（z检验）

单个总体均值(s2未知）

单个总体方差

接受H0

（t检验）

无

接受H0

两个总体均值(s12,s22已知）

两个总体均值(s12=s22未知）

两个总体方差

无

接受H0

h=ttest2(x,y)

[h,sig,ci]=ttest2

(x,y,alpha,tail)

无

接受H0

无

接受H0

0-1分布总体均值

接受H0

H0：总体服从略

总体分布正态性

H0：总体服从略

略

h =jbtest(x)

[h,p,jbstat,cv]=jbtest(x,alpha)

h=kstest(x)

略

h=lillietest(x)

[h,p,lstat,cv]=

lillietest(x,alpha)

更多推荐

函数,总体,估计,分布,参数,迭代,方程

大学数学实验基础知识整理(清华大学)

发布评论取消回复

最近发表

热门文章

标签列表

大学数学实验基础知识整理(清华大学)

相关文章

发布评论取消回复

最近发表

热门文章

标签列表