xlddd方法和推理，这篇文章应该作为我教程的背景。 本教程将介绍xlddd回归(使用(Py ) Stan轻松应用xlddd推理，使用r-INLA )。

本文对xlddd推理和蒙特卡罗方法进行了非常简短和系统的介绍。 我建议通过包括一些参考文献进行更深入的研究。

基于图像的图像拾取库

xlddd的推论/回归/建模/分析……你可能听说过。 或者只是在合格之前相遇，并没有真正怀疑其用途。 或者，可能没有优秀的入门资源。

现实中，xlddd推理[1]比其频繁的理论推理要复杂得多，许多人在学术界和非常专业的工业应用中实际使用过。 但是，它提供了一个非常丰富的框架，可以在推理的过程中享受，最终可以利用更多的信息。 它还用一种奇怪的方法提高了概率与应用统计的关联——真正的xlddd模型是生成模型。

对于这一系列文章，我将采用基于(传统的)似然的建模方法。

使用

5分钟xlddd推断

xlddd推理，可以将一些成见(即预先的信念)纳入建模中。 进行实验后，我们可以从后验概率分布中进行采样，从而更好地了解目标参数的行为，而无需寻找我们能够最大化似然的参数值(最大似然估计)。

theprimordialbayesianidentityinthecontextofmodelfittingandinference。

简单地说，声明模型参数() )的先验分布，然后将其乘以观察到的数据的可能性) ) d )。 为了使该数起到概率密度函数的作用，必须除以归一化常数。 然后得到后验分布函数。

请注意，上述归一化常数很棘手。 使用蒙特卡罗从事后分布进行这个推测的话，可以不失眠地消除这个数量。

“你为什么要这样做？

更好的科学，更严格的推理，正则化，数值稳定性，高价数据获取，这不能完全考虑MLE，还有很多其他原因。

“什么是好的事前？

牵引性？ 共轭！ 例如，正常事前x正常似然度发生正常事后！

科学相关

正则化。 对于标准线性回归，回归/beta服务的n (0，1 )可用作L2正则化。

理想情况下，先决条件决不要看数据。

你说“那里有什么先决条件？

没有信息的“决定”事前。 在大多数情况下，更具体地说，在下一个抛硬币问题上，原无先验的分布会变得均匀。

事前信息弱。 我在以下扔硬币问题上声明的贝塔优先级信息不足。 因为我不放弃贝塔参数空间中的间隔和点，我赞成“公平”。

信息事前(通常基于专家的意见和扎实的科学知识。

例如，假设我在地板上找到硬币，想知道这是否公平。 p=是硬币在给定的掷硬币中发生“正面”(y=1)的概率。 那么q=1-就是硬币产生“尾巴”的概率(y=0)。 请注意，硬币的这种行为可以通过以下函数的形式建模为伯努利随机变量：

假设你扔了4枚硬币，观察到它总是给我“反面”。 如果我采用“最大似然”框架，则得到以下ML估计值(样本比率)。

我们的情况是，上述结果为0。 但这有点太极端了……具有相等表面积的两个面意味着硬币应该以非零的概率落在“正面”。 很快就会意识到一侧比另一侧小得多。

现在，正如xlddd主义者所说，我们遇到了同样的问题。 在自己扔硬币之前，我们需要对硬币树立事先的信念。 根据我的经验，硬币通常是公平的，所以我认为这个硬币很可能是公平的，很可能不是。 然后进行实验，以了解这枚硬币是否符合我的信念。 啊，我得到了同样的结果{ 0，0，0，0 }。

为了获得有效的(信息量有限的)先验知识，我使用带有a，b个非负整数的贝塔(a，b )分布。 由于伽马分布的域，事前是有道理的

是[0,1]，并且to在这里对应于概率，并且不能小于0或大于1。设置a = b = u其中u是一个正整数，得出a 分布对称约0.5。 此外，β分布与伯努利分布共轭（也与二项分布共轭，因为二项式随机变量由伯努利随机变量之和组成）。

Simulation of a beta(5,5) distribution

然后，我考虑以下模型：

这导致：

在此，C≥0表示归一化常数，出于本申请的目的，不必对其进行估计。

如果我们在上面的先验中设置a = b = 5，则Stan [2]-有关如何执行此操作的信息，请参见教程-收益率和mean的近似后均值0.36 <0.5。 因此，我们的估算表明存在偏差的硬币，没有立即变为0。

5分钟蒙特卡洛方法

出于本教程的目的，蒙特卡洛方法[3]将允许我们从模型参数的后验分布中进行采样。

用于估计实值可积函数f（x）的积分（I）（例如0≤x≤1）的最简单的蒙特卡洛方法表明，我们在[0,1 ]，为每个x_ {i}计算f（x}），然后求和并求平均值。 我们要求I <∞。 然后，我们引用大数定律[4]，我们可以体会以下几点：

As K goes to infinity, this vanilla Monte 壮观的奇迹 estimate should converge to the value of the integra

上面的内容很容易，但是通过观察以下内容，我们实际上可以使用更多的统计知识：

We can think of the integral I as the expected value of f(x) and the below quantity as its unbiased

我们的估计量只是一个近似值，因此我们应该量化其准确性：

Here we simply change the notation a bit and show the formula for the standard error

那么，现在我们有了均值的无偏估计和标准误差的估计，该怎么办？ 让我们调用中心极限定理，这对于足够大的K是合理的。

使用上述方法，我们可以为积分的估计量建立95％的置信区间：

上面的方法非常幼稚且不准确，尤其是随着目标（概率）在维数，多峰等方面的增长。然而，这为您提供了MC方法的要点：从分布中采样以近似于另一个分布或感兴趣的数量。

请注意，蒙特卡洛方法是一个非常活跃的研究领域，具有非常丰富的理论和应用程序，我鼓励您阅读有关它们的更多信息。 蒙特卡洛计算引擎（PyMC3，Stan，BUGS等）上也有几个包，可以轻松地集成到Python，R和其他现代统计/机器学习软件中。

以下是一些非常基本的入门方法：

· 重要抽样

· 拒绝采样

· Metropolis-Hastings算法（马尔可夫链蒙特卡洛）

· 奖励：模拟退火（优化）

LaTeX和数学交流

最后一件事。 如果您对开发简洁，准确地传达数学/统计思想的能力很认真，那么我鼓励您开始使用LaTeX [5]。 LaTeX是功能强大的排版系统，可让您编写漂亮的方程式并将其无缝呈现在文档中。 我在本文档和所有工作中的所有数学表达式中都使用LaTeX。

结论

xlddd推理和计算最近凭借出色的计算硬件和软件获得了辉煌的复兴。 此外，xlddd方法跨越了活跃的研究领域，涉及统计学，数学，计算机科学，人口统计学，经济学以及许多其他领域。

以下是现代ML和统计学研究中的一些最热门主题，这些主题依赖或大量使用xlddd推理框架：

· 因果推论

· 可解释性（DL和RL）

· xlddd超参数优化（AlphaGo）

· 多任务学习

· RL中的探索与开发

· 高效，计算稳定的MCMC（HMC）

参考文献

[1] R. Neal，关于ML的xlddd推理教程（2004），2004 NeurIPS。

[2] B. Carpenter等人，《斯坦：一种概率编程语言》（2017年），《统计软件》。

[3] C. Robert和G. Casella，《蒙特卡洛统计方法》（2005年），《 Springer Texts in Statistics》。

[4] D. Wackerley等人，《数学统计及其应用》（2014年），参与学习

[5] LaTeX3项目，LaTeX-文件准备系统（1985年），LaTeX项目公共许可证（

(本文翻译自Sergio E. Betancourt的文章《15-Minute Conceptual and Painless Introduction to Monte 壮观的奇迹 Methods and Applied Bayesian Inference》，参考：https://towardsdatascience.com/conceptual-background-for-painless-introduction-to-applied-bayesian-regression-using-pystan-c8f744e3823f)