神说，要有正态分布，就有了正态分布。神看正态分布是好的，就让随机误差就服从了正态分布。
本文来自一个很牛的帖子：https://tieba.baidu.com/p/4206679461?pn=1
鄙人不才，虽然大学学过正态分布及大数定律，但是一直都只是知道，了解，会用，并不知道他们的来龙去脉，正好借这个帖子也了解一下产生的背景，略有改动。
一、正态分布学过基础统计学的同学大都对正态分布非常熟悉。这个钟型的分布曲线不但形状优雅，其密度函数写成数学表达式：
更加的简洁漂亮,两个最重要的数学常量π、e都出现在了公式之中。在我个人的审美之中，它也属于top-N的最美丽的数学公式之一。如果有人问我数理统计领域哪个公式最能让人感觉到上帝的存在，那我一定投正态分布的票。因为这个分布戴着神秘的面纱，在自然界中无处不在，让你在纷繁芜杂的数据背后看到隐隐的秩序。
正态分布又通常被称为高斯分布，在科学领域，冠名权那是一个很高的荣誉。去过德国的兄弟们还会发现，德国的钢镚和10马克的纸币上都留有高斯的头像和正态密度曲线。正态分布被冠名高斯分布，我们也容易认为是高斯发现了正态分布，其实不然，不过高斯对于正态分布的历史地位的确立是起到了决定性的作用。
正态曲线虽然看上去很美，却不是一拍脑袋就能想到的。我在本科学习数理统计的时候，课本一上来介绍正态分布就给出密度分布函数，却从来不说明这个分布函数是通过什么原理推导出来的。所以我一直搞不明白数学家当年是怎么找到这个概率分布曲线的，又是怎么发现误差服从这个奇妙的分布的。
二、正态曲线的首次发现第一个故事和概率论的发展密切相关，主角是棣莫弗(De Moivre) 和拉普拉斯(Laplace)。
拉普拉斯是个大科学家，被称为法国的牛顿；棣莫弗名气可能不算很大，不过大家应该都熟悉这个名字，因为我们在高中数学学复数的时候我们都学过棣莫弗定理：
古典概率论发源于赌博，惠更斯、帕斯卡、费马、贝努力都是古典概率的奠基人，他们那会研究的概率问题大都来自赌桌上，最早的概率论问题是赌徒梅累在1654年向帕斯卡提出的如何分赌金的问题。统计学中的总体均值之所以被称为期望(Expectation)，就是源自惠更斯、帕斯卡这些人研究平均情况下一个赌徒在赌桌上可以期望自己赢得多少钱。
这是大学本科概率论与数理统计课本上的一个有趣案例
接下来会有许多图，因为公式太多实在是没法码出来
正态分布的密度函数的形式在积分公式中出现了！这也就是在数理统计课本上学到的二项分布的极限分布是正态分布。
在数理统计课本上，都是先学习了正态分布，然后才学习中心极限定理。而学习到正态分布的时候，直接就描述了其概率密度的数学形式，但是当时很困惑数学家们是如何凭空就找到这个分布的，后来看了陈希孺的《数理统计学简史》之后，才发现正态分布的密度形式首次发现是在棣莫弗-拉普拉斯的中心极限定理中。
现代的数学课本都是按照数学内在的逻辑进行组织编排的，虽然逻辑结构上严谨优美，却把数学问题研究的历史痕迹抹得一干二净，我们难以在数学课本上看到数学家对数学问题是如何研究推进的。
棣莫弗给出他的发现后40年（大约是 1770），拉普拉斯建立了中心极限定理较一般的形式，中心极限定理后续又被其它数学家们推广到了其它任意分布的情形，而不限于二项分布。后续的统计学家发现，一系列的重要统计量，在样本量N趋于无穷的时候，其极限分布都有正态的形式，这构成了数理统计学中大样本理论的基础。
棣莫弗在二项分布的计算中瞥见了正态曲线的模样，不过他并没有能展现这个曲线的美妙之处。棣莫弗的这个工作当时并没有引起人们足够的重视，原因在于棣莫弗不是个统计学家，从未从统计学的角度去考虑其工作的意义。正态分布(当时也没有被命名为正态分布) 在当时也只是以极限分布的形式出现，并没有在统计学，而是在误差分析中发挥作用。这也就是正态分布最终没有被冠名棣莫弗分布的重要原因。
那Gauss做了啥工作导致统计学家把正态分布的这顶桂冠戴在了他的头上呢？这先得从最小二乘法的发展说起。
三、最小二乘法十七、十八世纪是科学发展的黄金年代，微积分的发展和牛顿万有引力定律的建立，直接的推动了天文学和测地学的迅猛发展。当时的大科学家们都在考虑许多天文学上的问题。几个典型的问题如下：
1，土星和木星是太阳系中的大行星，由于相互吸引对各自的运动轨道产生了影响，许多大数学家，包括欧拉和拉普拉斯都在基于长期积累的天文观测数据计算土星和木星的运行轨道。
2，勒让德承担了一个政府给的重要任务，测量通过巴黎的子午线的长度，
3，海上航行经纬度的定位。主要是通过对恒星和月面上的一些定点的观测来确定经纬度。
这些天文学和测地学的问题，无不涉及到数据的多次测量，数据的计算与分析；十七、八世纪的天文观测，也积累了大量的数据需要进行分析和计算。很多年以前，学者们就已经经验性的认为，对于有误差的测量数据，多次测量取平均是比较好的处理方法，虽然缺乏理论上的论证，也不断的受到一些人的质疑。取平均作为一种异常直观的方式，已经被使用了千百年，在多年积累的数据的处理经验中也得到一定的验证，被认为是一种良好的数据处理方法。
但是面临的一个问题是，有 n组观测数据，p 1个变量，如果n>p 1, 则得到的线性矛盾方程组，无法直接求解。所以欧拉和拉普拉斯采用的方法都是通过一定的对数据的观察，把n个线性方程分为p 1组，然后把每个组内的方程线性求和后归并为一个方程，从而就把n个方程的方程组划归为p 1个方程的方程组，进一步解方程求解参数。这些方法初看有一些道理，但是都过于经验化，无法形成统一处理这一类问题的一个通用解决框架。
在今人看来，就是统计学中的线性回归问题，直接用最小二乘法就解决了，可是即便如欧拉、拉普拉斯这些数学大牛，当时也未能对这些问题提出有效的解决方案。可见在科学研究中，要想在观念上有所突破并不容易。
有效的最小二乘法是勒让德在 1805 年发表的，基本思想就是认为测量中有误差，所以所有方程的累积误差为
勒让德在论文中对最小二乘法的优良性做了几点说明：
1，最小二乘使得误差平方和最小，并在各个方程的误差之间建立了一种平衡，从而防止某一个极端误差取得支配地位
2，计算中只要求偏导后求解线性方程组，计算过程明确便捷
3，最小二乘可以导出算术平均值作为估计值
由于算术平均是一个历经考验的方法，而以上的推理说明，算术平均是最小二乘的一个特例，所以从另一个角度说明了最小二乘方法的优良性，使我们对最小二乘法更加有信心。
最小二乘法发表之后很快得到了大家的认可接受，并迅速的在数据分析实践中被广泛使用。
不过历史上又有人把最小二乘法的发明归功于高斯，这又是怎么一回事呢？
高斯在1809年也发表了最小二乘法，并且声称自己已经使用这个方法多年。高斯发明了小行星定位的数学方法，并在数据分析中使用最小二乘方法进行计算，准确的预测了谷神星的位置。
说了半天最小二乘法，没看出和正态分布有任何关系啊？单就最小二乘法本身，虽然很实用，不过看上去更多的算是一个代数方法，虽然可以推导出最优解，对于解的误差有多大，无法给出有效的分析，而这个就是正态分布粉墨登场发挥作用的地方。
勒让德提出的最小二乘法，确实是一把在数据分析领域披荆斩棘的利器，但是刀刃还是不够锋利；而这把刀的打造后来至少一半功劳被归到高斯，是因为高斯不单独自的给出了造刀的方法，而且把最小二乘这把利刀的刀刃造得无比锋利，把最小二乘打造为了一把瑞士军刀。高斯拓展了最小二乘法，把正态分布和最小二乘法联系在一起，并使得正态分布在统计误差分析中确立了自己的定位，否则正态分布就不会被称为高斯分布了。那高斯这位神人是如何把正态分布引入到误差分析之中的呢？
四、误差分布曲线的确立天文学是第一个被测量误差困扰的学科，从古代至十八世纪天文学一直是应用数学最发达的领域，到十八世纪，天文学的发展积累了大量的天文学数据需要分析计算，应该如何来处理数据中的观测误差成为一个很棘手的问题。我们在数据处理中经常使用平均的常识性法则，千百来来的数据使用经验说明算术平均能够消除误差，提高精度。平均有如此的魅力，道理何在，之前没有人做过理论上的证明。算术平均的合理性问题在天文学的数据分析工作中被提出来讨论：测量中的随机误差服应该服从怎样的概率分布？算术平均的优良性和误差的分布有怎样的密切联系？
伽利略在他著名的《关于两个主要世界系统的对话》中，对误差的分布做过一些定性的描述，主要包括：
1，误差是对称分布的；
2，大的误差出现频率低，小的误差出现频率高。
用数学的语言描述，也就是说误差分布函数f(x)关于0对称分布，概率密度随|x|增加而减小，这两个定性的描述都很符合常识。
以这个函数作为误差分布，拉普拉斯开始考虑如何基于测量的结果去估计未知参数的值。拉普拉斯可以算是一个贝叶斯主义者，他的参数估计的原则和现代贝叶斯方法非常相似，假设先验分布是均匀的，计算出参数的后验分布后，取后验分布的中值点，即1/2分位点，作为参数估计值。可是基于这个误差分布函数做了一些计算之后，拉普拉斯发现计算过于复杂，最终没能给出什么有用的结果。
在轮到高斯登场了，高斯在数学史中的地位极高，号称数学史上的狐狸，数学家阿贝尔对他的评论是 "He is like the fox, who effaces histracks in the sand with his tail." 我们的数学大师陈省身把黎曼和庞加莱称为数学家中的菩萨，而称自己为罗汉；高斯是黎曼的导师，数学圈里有些教授把高斯称为数学家中的佛。在数学家中上既能仰望理论数学的星空，又能脚踏应用数学的实地的可不多见，高斯是数学家中少有的顶"天"立"地"的人物，它既对纯理论数学有深刻的洞察力，又极其重视数学在实践中的应用。
在误差分布的处理中，高斯以及其简单的手法确立了随机误差的概率分布，其结果成为数理统计发展史上的一块里程碑。
高斯的介入首先要从天文学界的一个事件说起。
1801年1月，天文学家Giuseppe Piazzi发现了一颗从未见过的光度8等的星在移动，这颗现在被称作谷神星（Ceres）的小行星在夜空中出现6个星期，扫过八度角后在就在太阳的光芒下没了踪影，无法观测。而留下的观测数据有限，难以计算出他的轨道，天文学家也因此无法确定这颗新星是彗星还是行星，这个问题很快成了学术界关注的焦点。高斯当时已经是很有名望的年轻数学家了，这个问题引起了他的兴趣。高斯以其卓越的数学才能创立了一种崭新的行星轨道的计算方法，一个小时之内就计算出了行星的轨道，并预言了他在夜空中出现的时间和位置。 1801年12月31日夜，德国天文爱好者奥伯斯(Heinrich Olbers)，在高斯预言的时间里，用望远镜对准了这片天空。果然不出所料，谷神星出现了！
高斯为此名声大震，但是高斯当时拒绝透露计算轨道的方法，原因可能是高斯认为自己的方法的理论基础还不够成熟，而高斯一向治学严谨、精益求精，不轻易发表没有思考成熟的理论。直到1809年高斯系统地完善了相关的数学理论后，才将他的方法公布于众，而其中使用的数据分析方法，就是以正态误差分布为基础的最小二乘法。
那高斯是如何推导出误差分布为正态分布的？让我们看看高斯是如何猜测上帝的意图的—极大似然法。
高斯把整个问题的思考模式倒过来：既然千百年来大家都认为算术平均是一个好的估计，那我就认为极大似然估计导出的就应该是算术平均！所以高斯猜测：误差分布导出的极大似然估计 = 算术平均值
高斯所拓展的最小二乘法成为了十九世纪统计学的最重要成就，它在十九世纪统计学的重要性就相当于十八世紀的微积分之于数学。而勒让德和高斯的最小二乘的发明权之争，成了数学史上仅次于牛顿、莱布尼茨微积分发明的争端。相比于勒让德1805给出的最小二乘法描述，高斯基于误差正态分布的最小二乘理论显然更高一筹，高斯的工作中既提出了极大似然估计的思想，又解决了误差的概率密度分布的问题，由此我们可以对误差的大小的影响进行统计度量了。
高斯的这项工作对后世的影响极大，而正态分布也因此被冠名高斯分布。估计高斯本人当时是完全没有意识到他的这个工作给现代数理统计学带来的深刻影响。高斯在数学上的贡献特多，去世前他是要求给自己的墓碑上雕刻上正十七边形，以说明他在正十七边形尺规作图上的杰出工作。而后世的德国钞票和钢镚上是以正态密度曲线来纪念高斯，这足以说明高斯的这项工作在当代科学发展中的分量。
高斯设定的准则"最大似然估计应该导出优良的算术平均"，并导出了误差服从正态分布，推导的形式上非常简洁优美。但是高斯给的准则在逻辑上并不足以让人完全信服，因为算术平均的优良性当时更多的是一个直觉经验，缺乏严格的理论支持。高斯的推导存在循环论证的味道：因为算术平均是优良的，推出误差必须服从正态分布；反过来，又基于正态分布推导出最小二乘和算术平均，来说明最小二乘法和算术平均的优良性。这陷入了一个鸡生蛋蛋生鸡的怪圈，逻辑上算术平均的优良性到底有没有自行成立的理由呢？
高斯的文章发表之后，拉普拉斯很快得知了高斯的工作。拉普拉斯看到，正态分布既可以从作为抛钢镚产生的序列和中生成出来，又可以被优雅的作为误差分布定律，这难道是偶然现象？拉普拉斯不愧为概率论的大牛，他马上将误差的正态分布理论和中心极限定理联系起来，提出了元误差解释。他指出如果误差可以看成许多量的叠加，则根据他的中心极限定理，则随机误差理所应当是高斯分布。而20世纪中心极限定理的进一步发展，也给这个解释提供了更多的理论支持。因此有了这个解释为出发点，高斯的循环论证的圈子就可以打破。
至此，误差分布曲线的寻找尘埃落定，正态分布在误差分析中确立了自己的地位，开始并在整个19世纪不断的开疆扩土，直至在统计学中鹤立鸡群，傲世其它一切概率分布；而高斯和拉普拉斯的工作，为现代统计学的发展开启了一扇大门。
在整个正态分布被发现与应用的历史中，棣莫弗、拉普拉斯、高斯各有贡献，拉普拉斯从中心极限定理的角度解释它，高斯把它应用在误差分析中，殊途同归。正态分布被人们发现有这么好的性质，各国人民都争抢他的冠名权。因为Laplace是法国人，所以当时在法国被称为拉普拉斯分布；而高斯是德国人，所以在德国叫做高斯分布；第三中立国的人民称他为拉普拉斯-高斯分布。后来法国的大数学家庞加莱(Henri Poincaré)建议改用正态分布这一中立名称，而随后统计学家卡尔.皮尔森使得这个名称被广泛接受
不过因为高斯在数学家中的名气是在太大，正态分布的桂冠还是更多的被戴在了高斯的脑门上，目前数学界通行的用语是正态分布高斯分布，两者并用。
正态分布在高斯的推动下，迅速在测量误差分析中被广泛使用，然而早期也仅限于测量误差的分析中，其重用性远没有被自然科学和社会科学领域中的人们所认识，那正态分布是如何从测量误差分析的小溪，冲向自然科学和社会科学的汪洋大海的呢？
