首页 > 编程知识 正文

贝叶斯层次模型例子,贝叶斯模型原理

时间:2023-05-04 05:21:12 阅读:226180 作者:4706

读了之前一篇文章,应该对先验信息和最大似然函数有了一定的理解,那下面来说贝叶斯模型最后一个总要概念:后验概率。
在上篇文章中,我们通过求解似然函数的概率最大值,求得了参数r,大家还会发现,提前抛硬币的次数不同,r最后的取值是不同的。
大家记住这个公式:后验概率公式

下面解释这个公式中的组成成分的意义:

1.这个公式中p(r)就是先验信息,正面朝上的概率。

2.p(yN|r)就是是似然函数,似然函数就是用来衡量已经发生的事可能性(比如已经抛了10次硬币,9次朝上),是一个概率值,如果我们的 r 很合适,那么p(yN|r)就应该很大—就是我们叫的 最大化似然函数,也就是这个函数对现象解释的很合理。

在给定 r 的条件下,抛硬币是一个独立重复实验,故p(yN|r)服从二项分布,而且,要注意的是
似然函数与实验过程中观测到的数据息息相关。下图给出了两个不同抛硬币次数的实验下的似然函数。其中一个抛了100次硬币,出现了70次正面;另一个抛了10次硬币,出现了6次正面。

从图中可以得到两个结论:
1.似然函数不是概率密度函数。因为概率密度函数的积分为1(曲线围成的面积为1),而上图中两个似然函数曲线围成的面积显然不相等。
2.抛100次出现70次正面的这次实验 所代表的似然函数的参数 r 的取值范围大约为[0.6,0.8],而抛10次出现6次正面的实验 所代表的似然函数的参数 r 的取值范围约为[0.2,0.9],其变化范围要大于前者

于是我们可以知道:进行的实验次数越多,我们掌握的信息也就越多,关于先验信息 r 的不确定性也就越小。根据上面的似然函数的图像,在给定一次实验数据的前提下,比如抛100次硬币,出现了70次正面,我们的目标就是寻找使得似然函数取最大值的r,比如图中的r=0.7,这个0.7也更加符合先验信息。

3.p(yN)是边界似然函数
计算公式:
这是一个条件概率公式,从上式可以看出,(marginal likelihood)边界似然函数p(yN),其实还是由似然函数p(yN|r) 和 先验分布p(r) 来决定。

边界似然函数的作用是用来:选择最合适的先验信息。大家先记住这句话。

4.开始介绍后验概率:p(r|yN)

作用:后验分布就是用来对未知数据进行预测的模型,这也是利用贝叶斯模型的原因,利用已知的,估计未知的。
在后验分布p(r|yN)中,我们基于已观测到的数据yN(训练样本),求出具体的最合适的模型参数 r″,因而也就确定了一个具体的二项分布B(N,r″)。

那么对于下一轮试验,比如抛20次硬币,其中有8次正面向上的概率怎么计算呢:就可以讲利用后验概率公式去计算,yN变量 =8。

总结贝叶斯就是:贝叶斯后验分布就是利用,我们在实验前已经掌握了的信息(先验知识),和做了若干次实验发现的一些规律(似然函数),确定出合适的二项分布模型参数 r ,然后基于 r 来预测新的实验结果。

好了,后验概率介绍完了,用了比较特殊的二项分布的例子,于是大家注意二项分布有下面的特殊性:
大家要注意,投硬币是一个很特殊的问题,因为符合二项分布。
所有有了下面这句话:
概率论里面的一个理论知识:当似然函数服从二项分布时,选择服从beta概率密度函数来表示 先验分布 是一个很好的选择,这样似然函数与先验分布就构成了“共轭”关系。
共轭关系的好处就是:不用计算边界似然函数(公式1中的分母)了,从而简化了后验分布p(r|yN)的计算
所以,上面“8次正面向上的概率怎么计算”可以直接用没有分母的后验概率去计算:

上面的beta概率密度函数,可以完美的表达所有的先验信息,就是只告诉你这是一枚硬币,没有说做没做手脚。
就是对于先验信息,有如下三种情况:

1:一无所知,我们不知道抛一次硬币出现正面的概率是大于 还是小于 还是等于 出现反面的概率2:抛一次硬币出现正面的概率 等于 出现反面的概率3:抛一次硬币出现正面的概率 大于 出现反面的概率

对于上述三种情况而言,它们其实可以统一用beta 分布来表示( beta density function)。beta概率密度带有两个参数α 和 β,它的表达式如下:

对应的曲线为:

第1种情况 p(r)概率密度是均匀分布,因为我们对 r 一无所知,认为 r 在[0,1]范围内取值是等概率的。第2种情况 p(r)表示:抛一次硬币出现正面的概率 等于 出现反面的概率,也即,在 r=0.5 是最可能的。因此在0.5处,概率密度最大。第3种情况:硬币出现正面的概率r 大于 出现反面的概率。概率密度越大,表示 r 越可能取 接近于1的值。

在上面我的讲解中,设置了先验信息是第3中情况,所以已经将两个参数取值。

下节介绍更加一般的贝叶斯情况。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。