什么是马尔可夫链？ 我应该什么时候使用那些？ 它是如何工作的？
马尔可夫链相当常见，是一种相当简单的对随机过程进行统计建模的方式。 被应用于从文本生成到金融建模的各个领域。 一个常见的示例是SubredditSimulator，它使用马尔可夫链自动创建整个SubredditSimulator的内容。 无论如何，马尔可夫链在概念上非常直观，容易理解，不用高级统计和数学概念就能实现。 马尔可夫链是入门概率建模和数据科学技术的良好开端。
个人资料
首先，用一般的例子进行说明。
请考虑一下。 有两种可能的天气状况：晴天和阴天。 你总是可以直接观察现在的天气状况，而且保证是前面提到的两者之一。 现在你决定预测明天的天气了。 假设这个过程中有潜在的转移，因为现在的天气会影响第二天的天气状况。 因此，作为敬业的人，我收集了几年的天气数据，计算出阴天过后天晴的概率为0.25。 另请注意，阴天后出现阴天的概率为0.75。 因为可能的天气状况只有两种。 现在，利用这个分布，可以根据当地现在的天气状态预测未来几天的天气。
这个例子给出了马尔可夫链的许多重要概念。 马尔可夫链本质上由满足马尔可夫性质的一系列跃迁组成，这些跃迁服从某种概率分布。
在本例中，我们来观察一下如何仅观察从当天到第二天的变换就能得到概率分布。 这其实是指马尔可夫性，即马尔可夫过程独自的状态迁移不具有记忆的性质。 这通常会导致无法正常生成出现预期的潜在趋势的序列。 例如，马尔科夫链可以根据词数模仿某个作者的文章风格，但不能生成含有深刻含义的文本或含有某个主题含义的文本。 因为这些文本是基于更长的文本序列开发的。 因此，无法考虑以前的整个状态链，因此缺乏生成上下文相关内容的能力。
天气预测例的可视化
模特
形式上，马尔可夫链是概率自动机。 状态转移的概率分布通常表示为马尔可夫链的转移矩阵。 如果马尔可夫链有n个可能的状态，这个转移矩阵就是N*x*N的矩阵。 因此，要素(I，j )表示从状态I迁移到状态j的概率。 另外，状态转移矩阵必须是随机矩阵，该各行的元素之和必须是1。 这是完全有道理的。 因为每行代表自己的概率分布。
马尔可夫链的典型视图是，圆表示状态，边表示过渡。
具有三种可能状态的状态转移矩阵。
另外，马尔可夫链有一个初始状态向量，由N x 1的向量表示。 使用这个向量，记述n个状态中从某个状态开始的概率分布。 初始向量中的要素I表示其马尔可夫链从I状态开始的概率。
具有四种可能状态的初始向量。
这两个实体通常是描述马尔可夫链所需的全部内容。
我知道如何获得从一个状态转移到另一个状态的可能性，但是如何知道经过多个步骤转移的概率呢？ 为了将其也形式化，这里定义在m步从状态I迁移到状态j的概率。 事实证明，这很简单。 给出了状态转移矩阵p。 这可以通过计算矩阵p的m次方中的要素(I，j )来决定。 但是，当m值较大时，如果熟悉简单的线性代数，则将矩阵对角化后再计算m次方会更有效。
结论
因为知道马尔可夫链的基本知识，所以现在就应该可以用你选择的语言很容易地实现。 如果你不擅长编程，有很多更高级的马尔可夫链和马尔可夫过程的属性。 我认为马尔可夫链沿着理论路线的自然发展将是隐性马尔可夫过程或MCMC (马尔可夫链蒙特卡罗)。 由于简单的马尔可夫链是其他更复杂的建模技术的基本组成部分，掌握了这些知识后，可以多尝试一些这种主题的技术，如信念建模和采样。