介绍贝叶斯网络前，我们先说一下贝叶斯定理。我们在大学学概率论的时候就听过贝叶斯定理了。
在贝叶斯中，经常提到的就是条件概率，也叫作后验概率。它的意思是事件A在事件B已经发生的条件下仍然发生的概率，表示为P(A|B)，读作“在B条件下A的概率”。
先验概率：通过经验来判断事情发生的概率，就是先验概率，再比如南方的mhdjmg是 6-7 月，就是通过往年的气候总结出来的经验，这个时候下雨的概率就比其他时间高出很多。
后验概率：后验概率就是发生结果之后，推测原因的概率。它是属于条件概率的一种。
条件概率：事件 A 在另外一个事件 B已经发生条件下的发生概率，表示为 P(A|B)，读作“在 B 发生的条件下 A 发生的概率”。
接下来我们讲一下算法的核心思想，朴素贝叶斯是什么。朴素贝叶斯是一种简单但是却很强大的预测建模算法。因为它们之间的变量是独立的，所以它称作朴素贝叶斯。但这是一个强硬的假设，实际情况并不一定符合，但是这项技术对于绝大部分的复杂问题仍然非常有效。在日常生活中，如果我们遇见一个陌生人。一般要判断这个人的性别，那么根据经验，我们就会以身高、体重、鞋码、头发长短、声音等角度来判断。
如果我们没有假定特征之间是相互独立的，会怎么样呢：
首先：假设这里有一个例子具备4个特征，其中帅包括{帅，不帅}，性格包括{不好，好，爆好}，身高包括{高，矮，中}，上进包括{不上进，上进}，那么四个特征的联合概率分布总共是4维空间，总个数为233*2=36个。36个，计算机扫描统计还可以，但是现实生活中，往往有非常多的特征，每一个特征的取值也是非常之多，那么通过统计来估计后面概率的值，变得几乎不可做，这也是为什么需要假设特征之间独立的原因。
其次：倘若特征之间没有相互独立，我们做统计的时候就要去整个特征空间中去寻找。由于数据的稀疏性，很容易统计到0的情况。
贝叶斯分类贝叶斯分类，也叫贝叶斯网络又叫做有向无环图模型，是一种概率图模型，有向无环图中的每个节点表示随机变量，它们可以是可观察到的变量或者隐藏变量，未知参数等。若两个节点之间可以用一个单向的箭头连接，就认为它们之间是因果关系，并且它们的关系是独立的。一个节点代表因，另一个节点代表果，两个节点就会产生一个条件概率。这样就形成了贝叶斯网络。
在sklearn 机器学习包中，给我们提供了 3 个朴素贝叶斯分类算法，分别是
jqdsl朴素贝叶斯（GaussianNB）、多项式朴素贝叶斯（MultinomialNB）和伯努利朴素贝叶斯（BernoulliNB）。
这三种算法适合应用在不同的场景下，我们应该根据特征变量的不同选择不同的算法：
值等。(TF是指词频，也就是一个单词在文档中出现的次数。在NLP中，一般认为一个单词出现的次数与它的重要性成正比。而IDF是逆向文档频率，是指一个单词在文档中的区分度。如果一个单词在一个文档中出现的次数越少，那么就容易通过这个单词将这个文档和其他文档区分开。IDF
越大就代表该单词的区分度越大。)伯努利朴素贝叶斯：特征变量是布尔变量，符合 0/1 分布，在文档分类中特征是单词是否出现。
伯努利朴素贝叶斯是以文件为粒度，如果该单词在某文件中出现了即为 1，否则为
0。而多项式朴素贝叶斯是以单词为粒度，会计算在某个文件中的具体次数。而jqdsl朴素贝叶斯适合处理特征变量是连续变量，且符合正态分布（jqdsl分布）的情况。比如身高、体重这种自然界的现象就比较适合用jqdsl朴素贝叶斯来处理。而文本分类是使用多项式朴素贝叶斯或者伯努利朴素贝叶斯。
对于朴素贝叶斯来说，算法逻辑简单，只要使用贝叶斯公式转化就可以了，而且在分类过程中时空开销小（特征相互独立，只会涉及到二维存储）。在文本分类，情感预测上经常使用，特别是在英文等语言上分类效果很好。
为什么要将贝叶斯和马尔科夫放在一起讲呢，因为它们都是涉及到图模型的算法。我们先理清这几个概念：
1.将随机变量作为结点，如果他们之间是相关的，或者不独立，就将他们练成一条线；如果给定若干个随机变量，那么这样就会形成一个有向图，也就是网络。
2.如果这个网络是有向无环图，就称之为贝叶斯网络。
3.如果这个图退化成线性链的方式，就可以得到马尔科夫模型；因为其中的每一个结点都是随机变量，当将这些看成每个时刻或者空间的相关变化，叫做马尔科夫过程。
4.如果这个网络是无向的，就是无向图模型，又称作马尔科夫随机场或者马尔科夫网络。
上面说了，有向图的模型叫做贝叶斯网络，没有方向的模型就叫马尔科夫随机场或者马尔科夫网络，广泛应用在语音识别，词性自动标注，音字转换，概率文法等各个自然语言处理等应用领域。经过长期发展，尤其是在语音识别中的成功应用，使它成为一种通用的统计工具。到目前为止，它一直被认为是实现快速精确的语音识别系统的最成功的方法。
马尔科夫过程是一类随机过程，它代表在目前这个已知的状态下，它接下来这个时刻的状态不会依赖于当下它这个过去的状态。如液体中微粒所作的布朗运动、传染病受感染的人数、车站的候车人数等，都可视为马尔可夫过程。
每个状态的转移只依赖于之前的n个状态，这个过程被称为1个n阶的模型，其中n是影响转移状态的数目。最简单的马尔可夫过程就是一阶过程，每一个状态的转移只依赖于其之前的那一个状态，这个也叫作马尔可夫性质。
听过马尔科夫，又听到了隐马尔科夫，那么这个隐马尔科夫又是什么来的？隐马尔科夫模型是一类基于概率统计的模型，是一种结构最简单的动态贝叶斯网，是一种重要的有向图模型。自上世纪80年代发展起来，在时序数据建模，例如：语音识别、文字识别、自然语言处理等领域广泛应用。
这个模型可以用三个参数来确定：
同样，隐马尔科夫也有三个重要假设：
当前观测值只由当前隐藏状态确定，而与其他隐藏状态或观测值无关（隐藏状态假设）当前隐藏状态由其前一个隐藏状态决定（一阶马尔科夫假设）隐藏状态之间的转换函数概率不随时间变化（转换函数稳定性假设）通过隐马尔科夫，主要研究三个问题：
1.估算问题: 在给定HMM的参数(S V A B π)和观测序列O = (o1,o2,……oT)的情况下,如何有效的计算出观测序列的概率,即P(O | 入)?
解决办法：前向-后向算法(一种动态规划算法)。
2.解码问题： 在给定HMM的参数(S V A B π)和观测序列O = (o1,o2,……oT)的情况下,如何寻找一个状态转换序列q =
(q1,q2,……qT),使得该状态转换序列最有可能产生上述观测序列?
解决办法：Viterbi算法(一种动态规划算法)。
3.学习问题：
在模型参数未知或者不准确的情况下,如何根据观测序列O =
(o1,o2,……oT)得到模型参数或者是调整模型参数,即如何确定一组模型参数’入*’使得P(O | 入*)达到最大?
解决办法：如果状态序列已知，那用最大似然估计，但隐马尔科夫的状态序列未知，即含有隐变量，所以要使用Baum-welch算法(中文名好像叫朴素的荔枝，这个算法本质也是EM算法)。
在最后，就和大家介绍一下什么是生成式模型，什么是判别式模型？
生成式模型和判别式模型的区别判别模型(discriminative model)通过求解条件概率分布P(y|x)或者直接计算y的值来预测y。
线性回归（Linear Regression）,逻辑回归（Logistic Regression）,支持向量机（SVM）, 传统神经网络（Traditional Neural Networks）,线性判别分析（Linear Discriminative
Analysis），条件随机场（Conditional Random Field）
生成模型（generative model）通过对观测值和标注数据计算联合概率分布P(x,y)来达到判定估算y的目的。
朴素贝叶斯（Naive Bayes）, 隐马尔科夫模型（HMM）,贝叶斯网络（Bayesian Networks）和隐含狄利克雷分布（Latent Dirichlet Allocation）、混合jqdsl模型