贝叶斯公式
内容来源
贝叶斯统计（第二版）中国统计出版社
贝叶斯公式的密度函数形式
-
p ( x ∣ θ ) p(x|\theta) p(x∣θ) 表示随机变量 θ \theta θ 给定某个值时，总体指标 X X X 的条件分布
-
π ( θ ) \pi(\theta) π(θ) 根据参数 θ \theta θ 的先验信息确定的先验分布
-
从贝叶斯的观点看，样本 x x x 的产生要分两步进行。首先从先验分布 π ( θ ) \pi(\theta) π(θ) 产生一个样本 θ ′ \theta' θ′ 。然后从总体分布 p ( x ∣ θ ′ ) p(x|\theta') p(x∣θ′) 产生一个样本 x x x ，此样本的发生概率与如下联合密度函数成正比。
p ( x ∣ θ ′ ) = ∏ i = 1 n p ( x i ∣ θ ′ ) p(x|\theta')=\prod^n_{i=1}p(x_i|\theta') p(x∣θ′)=i=1∏np(xi∣θ′)
这个联合密度函数是综合了总体信息和样本信息，常称为似然函数，记为 L ( θ ′ ) L(\theta') L(θ′)
-
θ ′ \theta' θ′ 是按照先验分布 π ( θ ) \pi(\theta) π(θ) 产生的，要把先验信息进行综合，不能只考虑 θ ′ \theta' θ′ ，而应对 θ \theta θ 的一切可能加以考虑。故要用 π ( θ ) \pi(\theta) π(θ) 参与进一步综合。
h ( x , θ ) = p ( x ∣ θ ) π ( θ ) h(x,\theta)=p(x|\theta)\pi(\theta) h(x,θ)=p(x∣θ)π(θ)
这样就把三种可用的信息都综合进去了。
-
我们的任务是对未知数 θ \theta θ 作出统计推断。为此对 h ( x , θ ) h(x,\theta) h(x,θ) 作如下分解
h ( x , θ ) = π ( θ ∣ x ) m ( x ) h(x,\theta)=\pi(\theta|x)m(x) h(x,θ)=π(θ∣x)m(x)
其中 m ( x ) m(x) m(x) 是 x x x 的边缘密度函数
m ( x ) = ∫ h ( x , θ ) d θ m(x)=\int h(x,\theta)\mathrm{d}\theta m(x)=∫h(x,θ)dθ
它与 θ \theta θ 无关。
因此能用来对 θ \theta θ 作出推断的仅是条件分布 π ( θ ∣ x ) \pi(\theta|x) π(θ∣x)
π ( θ ∣ x ) = h ( x , θ ) m ( x ) = p ( x ∣ θ ) π ( θ ) ∫ p ( x ∣ θ ) π ( θ ) d θ \pi(\theta|x)=\frac{h(x,\theta)}{m(x)}= \frac{p(x|\theta)\pi(\theta)}{\int p(x|\theta)\pi(\theta)\mathrm{d}\theta} π(θ∣x)=m(x)h(x,θ)=∫p(x∣θ)π(θ)dθp(x∣θ)π(θ)
这就是贝叶斯公式的密度函数形式
一般来说，先验分布 π ( θ ) \pi(\theta) π(θ) 是反映人们在抽样前对 θ \theta θ 的认识，后验分布 π ( θ ∣ x ) \pi(\theta|x) π(θ∣x) 是反映人们在抽样后对 θ \theta θ 的认识。之间的差异是由于样本 x x x 出现后人们对 θ \theta θ 认识的一种调整。
原文地址：https://blog.csdn.net/HEHEE1029/article/details/143040107
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！