mobile wallpaper 1mobile wallpaper 2mobile wallpaper 3
2206 字
6 分钟
非标准形式二元正态分布概率密度函数的参数确定

非标准形式二元正态分布概率密度函数的参数确定#

结论内容使用红色标出, 有需要可以直接快速定位查看

背景#

题目: 随机变量X, Y的概率密度函数如下, 试确定EX,  EY,  DX,  DY,  ρXYEX,\;EY,\;DX,\;DY,\;\rho_{XY}. (为方便, 相关系数在后文写作ρ\rho)

f(x,y)=Ce12(x22xy6x+2y2+8y+10),  Cf(x,y)=Ce^{-\frac{1}{2}(x^2-2xy-6x+2y^2+8y+10)},\text{\;C\,为\,常\,数}

简单分析:

  1. 显然X, Y服从二元正态分布.

  2. 但本题相比一般的题目而言,还把表征方差与相关系数关系的常数C设为未知.

  3. 我们当然可以将其化为标准的二元正态分布形式, 并对比系数.

    1. 二元正态分布的指数如下:

      12(1ρ2)[(xμ1)2σ122ρxμ1σ1yμ2σ2+(yμ2)2σ22](1)-\frac{1}{2(1-\rho^2)}[\frac{(x-\mu_1)^2}{\sigma_1^2}-2\rho\frac{x-\mu_1}{\sigma_1}\frac{y-\mu_2}{\sigma_2}+\frac{(y-\mu_2)^2}{\sigma_2^2}]\tag1
    2. 但显然, 在所有参数一无所知时, 凑出这个形式是不容易的.(并非不能做,只是复杂)

更加一般且方便的做法#

​ 对于二元正态分布的密度函数, 我们可以分析其指数中各项的系数,以及指数的整体性质,得到一些一般性的二级结论, 以方便我们使用.

分析二次项得到相关系数和方差#

​ 简单分析指数中各项系数, 不难发现, 各二次项(x2,y2,xyx^2,y^2,xy)的系数均只与方差和相关系数有关, 而不含均值.所以我们可以只关注各二次项及其系数.

所以后面别问一次项去哪儿啦!我们不管一次项!本部分只关心二次项!

相关系数的确定#

  • 我们可以证明以下这个结论:

    • 若指数项中的二次项可以写成如下形式:

      c2(Ax2+Bxy+Cy2).  cR,c0(2)-c^2(Ax^2+Bxy+Cy^2).\;c\in\mathbb{R},c\neq0 \tag2
    • 则相关系数可以用以下式子求出:

      ρ=12BAC(3)\color{red}\rho=-\frac{1}{2}\frac{B}{\sqrt{AC}}\tag3
  • 证明如下:

    • 对于原指数上的二次项, 记12(1ρ2)=c2-\frac{1}{2(1-\rho^2)}=-c^2, 打开内部括号算平方可得: c2(1σ12x2+2ρσ1σ2xy+1σ22y2)(4)-c^2(\frac{1}{\sigma_1^2}x^2+\frac{-2\rho}{\sigma_1\sigma_2}xy+\frac{1}{\sigma_2^2}y^2)\tag4
    • 对比系数有: {A=1σ12B=2ρσ1σ2C=1σ22ρ=12BAC\begin{cases} A=\frac{1}{\sigma_1^2}\\ B=\frac{-2\rho}{\sigma_1\sigma_2}\\ C=\frac{1}{\sigma_2^2} \end{cases}\quad \Longrightarrow \quad \rho=-\frac{1}{2}\frac{B}{\sqrt{AC}}

方差的确定#

确定了相关系数之后, 再确定方差就很容易了. 按照标准形式对比即可.

  • 根据式(3), 并还原其中的c2-c^2, 有:

    12(1ρ2)(1σ12x2+2ρσ1σ2xy+1σ22y2)(5)-\frac{1}{2(1-\rho^2)}(\frac{1}{\sigma_1^2}x^2+\frac{-2\rho}{\sigma_1\sigma_2}xy+\frac{1}{\sigma_2^2}y^2)\tag5
  • 对比式(2)与式(5), 可得:

    {A=12(1ρ2)1σ12C=12(1ρ2)1σ22{DX=σ12=12(1ρ2)ADY=σ12=12(1ρ2)C\color{red} \begin{cases} A=-\frac{1}{2(1-\rho^2)} \frac{1}{\sigma_1^2}\\ C=-\frac{1}{2(1-\rho^2)}\frac{1}{\sigma_2^2} \end{cases}\quad \Longrightarrow \quad \begin{cases} DX=\sigma_1^2=-\frac{1}{2(1-\rho^2)A}\\ DY=\sigma_1^2=-\frac{1}{2(1-\rho^2)C} \end{cases}
    • 不管是通过原本的表达式还是此处的分析, 均可知: 确定方差时, 我们并不关心交叉项(xy)的系数
  • 本文就不再带入 ρ\rho 的表达式进一步计算了.实际计算中只要掌握这种思想, 计算起来是很简单的, 没有必要背这么多东西


均值的确定#

​ 本文最麻烦的地方应该就在于确定均值. 虽然我们已经确定了相关系数和方差, 但回过头又去凑标准形式的话未免有些不够优雅(主要是稍显复杂), 所以本文介绍一种较为简单的方法用于确定均值.

​ 并且需要注意的是, 这种方法不依赖于提前确定相关系数和方差. 只要指数项中各项的系数完全确定即可(就是说没有哪一项的系数是一个待定未知数需要求解的)

  • 依然先说结论:

    • 若二元状态分布的指数可以写作如下形式:

      b2W(x,y),  bR,b0W(x,y)=(c1x2+c2x+c3xy+c4y2+c5y+c6).  c1,c4>0(6)-b^2W(x,y),\;b\in \mathbb{R},\,b\neq0 \\\text{其\,中\,}W(x,y)=(c_1x^2+c_2x+c_3xy+c_4y^2+c_5y+c_6). \;c_1,\,c_4>0\tag{6}
    • 则均值 (μ1,μ2)(\mu_1,\mu_2) 就是如下二元一次方程组的解 (x,y)(x,y):

      {Wx=0Wy=0{x=μ1=EXy=μ2=EY\color{red}\begin{cases} \frac{\partial W}{\partial x}=0 \\\\ \frac{\partial W}{\partial y}=0 \end{cases}\quad \Longrightarrow \quad \begin{cases} x=\mu_1=EX \\ y=\mu_2=EY \end{cases}
  • 证明:

    • 为方便, 我们记 u=xμ1,v=yμ2u=x-\mu_1,\,v=y-\mu_2, 于是式(1)可以写作: 12(1ρ2)(1σ12u2+2ρσ1σ2uv+1σ22v2)12(1ρ2)W(u,v)(7)-\frac{1}{2(1-\rho^2)}(\frac{1}{\sigma_1^2}u^2+\frac{-2\rho}{\sigma_1\sigma_2}uv+\frac{1}{\sigma_2^2}v^2) \triangleq -\frac{1}{2(1-\rho^2)}W(u,v)\tag7
    • uu 为准进行配方:

      W(u,v)=1σ12u2+2ρσ1σ2uv+1σ22v2=(1σ12u2+2ρσ1σ2uv+ρ2σ22v2)+(ρ2σ22v2+1σ22v2)=(1σ1uρσ2v)2+1ρ2σ22v2\begin{align} W(u,v) & = \frac{1}{\sigma_1^2}u^2+\frac{-2\rho}{\sigma_1\sigma_2}uv+\frac{1}{\sigma_2^2}v^2 \notag \\& =(\frac{1}{\sigma_1^2}u^2+\frac{-2\rho}{\sigma_1\sigma_2}uv+ \color{blue}{ \frac{\rho^2}{\sigma_2^2}v^2} \color{black} )+ ( \color{blue}{-\frac{\rho^2}{\sigma_2^2}v^2} \color{black} +\frac{1}{\sigma_2^2}v^2) \notag \\ & = (\frac{1}{\sigma_1}u-\frac{\rho}{\sigma_2}v)^2+\frac{1-\rho^2}{\sigma_2^2}v^2 \tag{8} \end{align}
    • 对于式(8), 由于 1ρ20  (ρ1)1-\rho^2\geq 0\;(|\rho|\leq 1), 所以, 当且仅当 u=v=0u=v=0 时, W(u,v)W(u,v) 取得最小值 0

      W(u,v)min=W(0,0)W(u,v)0,  when  uv0W(u,v)_{min}=W(0,0)\\\\ W(u,v)\geq0,\;when\;uv\neq0
  • u=v=0u=v=0, 也即 x=μ1,y=μ2x=\mu_1,\,y=\mu_2

    • 式(6)与证明中使用的式子(1)形式上基本一致, 差别在 b2-b^212(1ρ2)(c2) -\frac{1}{2(1-\rho^2)}(\text{或}-c^2) 可能有一定(正)倍数关系
    • 证明思想是一致的, 即证明二元函数的唯一极值是0. 读者可以仿照该写法, 按照自己喜欢的形式证明.

至此我们已经完成了所有参数的确定.


解决背景题目#

我们按照前文的思路进行实战, 解决背景中提到的题目.(虽然前文写的稍显繁琐, 但看完实战部分会觉得并不复杂)

为方便读者查看, 将题目中的密度函数再次给出:

f(x,y)=Ce12(x22xy6x+2y2+8y+10),  Cf(x,y)=Ce^{-\frac{1}{2}(x^2-2xy-6x+2y^2+8y+10)},\text{\;C\,为\,常\,数}

求解相关系数与方差#

  • 这个部分关心指数上的二次项:

    • 省略一次项与常数项保留二次项如下:

      12(x22xy+2y2)-\frac{1}{2}(x^2-2xy+2y^2)
      • A=1,B=2,C=2A=1,\,B=-2,\,C=2 (这里的 12-\frac{1}{2} 对应前文的 b2-b^2 而不是 c2-c^2 )

      • 于是相关系数为:

        ρ=12BAC=1221×2=22\rho=-\frac{1}{2}\frac{B}{\sqrt{AC}}=-\frac{1}{2}\frac{-2}{\sqrt{1\times 2}}=\frac{\sqrt{2}}{2}
    • 相关系数已经求出, 我们将指数部分化为标准形式:(由前文分析, 这里可以忽略交叉项)

      12[1(22)2][1(2)2x2+112y2]-\frac{1}{2[1-(\frac{\sqrt{2}}{2})^2]}[\frac{1}{(\sqrt{2})^2}x^2+\frac{1}{1^2}y^2]
      • 对比标准式, 易得: σ1=2σ2=1DX=σ12=2DY=σ22=1\sigma_1=\sqrt 2\quad \sigma_2=1\\ \therefore DX=\sigma_1^2=2\quad DY=\sigma_2^2=1

求解均值#

  • 指数项如下:
12(x22xy6x+2y2+8y+10)12W(x,y)-\frac{1}{2}(x^2-2xy-6x+2y^2+8y+10)\triangleq-\frac{1}{2}W(x,y)
  • 构建求极值的偏导方程组:

    {Wx=0Wy=0{2x2y6=002x+4y+8=0\begin{cases} \frac{\partial W}{\partial x}=0 \\\\ \frac{\partial W}{\partial y}=0 \end{cases}\quad \Longrightarrow \quad \begin{cases} 2x-2y-6=0 \\ 0-2x+4y+8=0 \end{cases}
    • 读者可以使用一般解法、行列式解法,或者任何自己喜欢的方法求解这个二元一次方程组.

    • 解之得:

      x=2,y=1μ1=2μ2=1    x=2,\quad y=-1\\ \therefore \mu_1=2\quad \mu_2=-1\;\;
  • 综上所述:

    (X,Y)N(2,1;2,1;22)(X,Y)\sim N(2,-1;2,1;\frac{\sqrt 2}{2})

总结和一些补充#

  • 总结部分:
  1. 读者需要掌握二元正态分布概率密度函数的标准形式

  2. 求解方差和相关系数只考虑二次项, 不用考虑一次项和常数项

    1. 求解相关系数建议直接背公式(背不到?那就仿照文中思路推, 第一点才说了让你记住标准形式的)

    2. 求解方差时, 化为标准形式(其实不是严格标准), 不用管交叉项.

  3. 求解均值时, 直接把指数部分令为W(x,y)

    1. 然后按照微积分中求二元函数极值的方法做即可
    2. 可以直接令指数部分为W(x,y), 但这个时候是唯一最大值为0(这个唯一保证了不会解出其他值, 也保证了提出任何非零常数都能计算)
      1. 文中提出一个系数主要是为了方便说明
      2. 并且少一个负号比较好看
      3. 实际中随便提出非零常数再令W(x,y)都是可以的
  • 补充部分:
  1. 题目为数学学院李福波老师在2024秋季学期概率统计课程群中, 于12月25日给出

    1. 并在当周答疑课(12月27日早十课)给出解答
    2. 本文中思路都是由李老师给出, 我只是进行了一些重述和整理
  2. 李老师在书写时更加习惯如下的写法:

    12(ax22bxy+cy2)ρ=bac-\frac{1}{2}(ax^2-2bxy+cy^2) \\ \therefore \rho=\frac{b}{\sqrt{ac}}
    • 如果有同学看到本文和老师书写习惯有所不同, 请多加注意, 以免考试中(如果考的话)出错
  3. 基于2. 中的式子, 李老师指出, 满足以下条件时才可能让对应函数构成概率密度函数.

    a,c>0,ac<b2a,c>0\,,\quad ac<b^2
    • 至于原因, 笔者还未仔细探究.(第二个可使用相关系数公式易证)
  4. 老师在讲完后还意犹未尽, 断断续续写了一些线性代数的计算式子, 但最后并没有讲解.

    • 笔者由于线性代数学的不好, 故而也没有拍下研究
  5. 笔者在计算此题目时只想到了相关系数的求解和方差的求解。

    1. 也寻找了网络上的资料,但并没有发现相关的内容(也许有,可能只是我没检索到)
    2. 所以索性自己整理了这个优秀的做法,供各位学习交流
  6. 个人认为数学老师中, 陈浩(微积分), 李福波(概率论与数理统计)均是十分有水平的

    1. 二者都在上课中讲了一些十分有趣、有用的东西.(微积分中我记得有求解带有三角函数的微分方程的简便解法---使用欧拉公式转换, 以及一个十分方便的确定微分方程中待定系数的方法)
    2. 但笔者并未能完全记录, 也算一大遗憾

  • 说明:
  1. 前置知识要求:

    1. 二元一次方程的求解
    2. 基本配方法
    3. 正态分布的基本知识
    4. 了解过二元正态分布,能够根据标准形式得出5个参数
    5. 二元函数求极值的方法
  2. 符号“\triangleq”表示“记作”的意思

  3. 本文为自习过程中仓促写出(完稿于12月27日 11:30左右),并且对于Latex的部分格式和规范还不是很熟悉,如有错漏欢迎指出。

    1. 在28日上午修改了第二版,主要修改了一些符号的使用,看起来更加逻辑清晰了一点。
分享

如果这篇文章对你有帮助,欢迎分享给更多人!

非标准形式二元正态分布概率密度函数的参数确定
https://asround-blog-ctourhp9.edgeone.cool/posts/2025-01-02_normal-distribution-probability-density-function/
作者
Asround
发布于
2025-01-02
许可协议
CC BY-SA 4.0

部分信息可能已经过时

封面
Sample Song
Sample Artist
封面
Sample Song
Sample Artist
0:00 / 0:00