在概率图模型中，贝叶斯网络通常用来表示变量之间的独立性假设，通过贝叶斯网络，我们可以很容易的从中获取我们想要的信息，比如概率的条件和边缘独立信息，但是单纯的贝叶斯网络不能刻画变量间所有的关系，然而贝叶斯网络很擅长描述变量间的因果关系(causal)
注明：
此文章大部分思想和例子参考Bayesian Reasoning and Machine Learning
关于贝叶斯基本原理，可参考文章数学之美番外篇：平凡而又神奇的贝叶斯方法
关于贝叶斯网络的优点：
简化模型表达方式相比于传统的计算方式更加易于计算贝叶斯网络Belief Networks 模型的独立性问题 条件独立性推断
模型的独立性问题
假设我们有这样一个例子：
有一天早晨，Bruce离开他的房子的时候发现他家花园中的草地是湿的，有两种可能，第一：昨天晚上下雨了，第二：他昨天晚上忘记关掉花园中的喷水器，接下来，他观察他的邻居现实的睫毛，发现他家花园中的草地也是湿的，因此，他推断，他家的草地湿了是因为昨天晚上下雨的缘故
我们可以通过模型来刻画这样的事件：
R∈{0,1} R=1表示下雨0表示没有
S∈{0,1} S=1表示Bruce忘记关喷水器0表示没有忘
J∈{0,1} J=1表示现实的睫毛家里的花园草地也湿了0表示没有
B∈{0,1} T=1表示Bruce的花园草地湿了0表示没有
在这里，有四个变量，每一个变量有两种状态属性0和1，如果要全部表示出来所有的可能性，需要 24=16 种方式，e.g. p(T=1,J=0,R=1,S=1)=0.7 etc. 根据贝叶斯法则，我们可以得到如下公式：
条件独立性
对于一个系统来说，模型的建立者基本上是知道模型的约束和限制的，比如在上面的模型中，我们可以假设Bruce花园中的草地是否湿了只于是否下雨或者喷水器是否没关有关，而与现实的睫毛家中的花园中的草地是否湿了没有直接的关系，因此，我们就可以做条件独立性的假设
同样，现实的睫毛家中的花园是否湿了在我们的模型中也只于是否下雨有关
p(J|R,S)=p(J|R)
同理，模型最后可以简化为：
p(B,J,R,S)=p(T|R,S)p(J|R)p(R)p(S)
在模型简化以后，我们通过4+2+1+1=8种组合value就可以表达整个模型了
最后，我们根据贝叶斯法则，给模型赋予先验概率来完成模型：
p(R=1)=0.2,(S=1)=0.1,p(J=1|R=1)=1
p(J=1|R=0)=0.2,p(B=1|R=1,S=0)=1
p(B=1|R=1,S=1)=1,p(B=1,R=0,S=1)=0.9
p(B=1,R=0,S=0)=0
推断
根据贝叶斯公式可以计算出
p(S=1|B=1,J=1)=p(S=1,B=1,J=1)p(B=1,J=1)=∑Rp(B=1,J=1,R,S=1)∑R,Sp(B=1,J=1,R,S)=∑Rp(J=1|R)p(B=1|R,S=1)p(R)p(S=1)∑R,Sp(J=1|R)p(B=1|R,S)p(R)p(S)=0.03440.2144=0.1604
由通过推断得到的结果可以看出，在现实的睫毛家中花园的草湿了的前提下，喷水器忘关的概率比没有此假设的前提下的概率要低的多
这一整套方法就可以被称为贝叶斯统计推断，在贝叶斯模型中，开始的模型简化是非常重要的，它可以很大程度上的降低我们的计算量，如果可视化的表达这个思想，就好像下面这个图：
p(y|x1,…,x5)=∑z1,z2p(y|z1,z2)p(z1|x1,x2,x3)p(z2|x4,x5)
上左图中：需要 25=32 的计算量，而右图只需要 23+22+22=16 的计算量