概率和统计概率是已知模型、参数的推送数据，统计是已知数据的推送模型和参数。
似然和概率是意思很相似的词，但意思不同。 相当于从不同的视角理解同样的东西。
函数p(x )) p ) x|(theta ) p ) x ))，其中x是数据，) theta 是参数。
如果参数 theta 确定且数据x未知，则p称为概率函数。 对于不同的样本x，其出现时的概率是多少； 如果数据x已知且参数 theta 未知，则p称为似然函数。 对于不同的参数 theta ，样本点x出现的概率是多少； 贝叶斯公式p(a ) b )=p ) b ) a ) p ) a ) p ) b ) a ) p ) a ) p ) p ) b ) a ) a ) p ) p ) p ) p ) b ) p ) p )
( A ) P(A|B)=frac{P(B|A)P(A)}{P(B)} = frac{P(B|A)P(A)}{P(B|A)P(A)+P(B|~A)P(~A)} P(A∣B)=P(B)P(B∣A)P(A)=P(B∣A)P(A)+P(B∣ A)P( A)P(B∣A)P(A) 最大似然估计已知一组样本 x 1 , x 2 , . . . , x n x_1,x_2,...,x_n x1,x2,...,xn，和模型 f ( x ∣ θ ) f(x|theta) f(x∣θ)，估计其参数 θ theta θ。
似然估计认为，已经出现的事件就是发生可能性最大的事件。
任一样本 x i x_i xi，发生的概率为 f ( x i ∣ θ ) f(x_i|theta) f(xi∣θ)。因此对于这组样本，其整体发生的概率，即联合分布概率为 L ( x 1 ; . . . ; x n ∣ θ ) = ∏ i = 1 n f ( x i ∣ θ ) L(x_1;...;x_n|theta)=prod _{i=1}^{n}f(x_i|theta) L(x1;...;xn∣θ)=i=1∏nf(xi∣θ)
只需要对L求极大值即可，一般会根据情况取ln，求导。若不可导，则利用函数特性求解。
最大似然估计时，估计的是 P ( x ∣ θ ) P(x|theta) P(x∣θ)（P即f）。而最大后验概率估计，估计的是 P ( x ∣ θ ) P ( θ ) P(x|theta)P(theta) P(x∣θ)P(θ)，即将参数本身的概率也考虑进去，既希望概率最大，也希望参数自身先验概率也最大，相当于是一个期望更大值的正则项。举例解释见例子
P ( x ∣ θ ) P ( θ ) P ( x ) = P ( θ ∣ x ) frac{P(x|theta)P(theta)}{P(x)}=P(theta|x) P(x)P(x∣θ)P(θ)=P(θ∣x)，其中P(x)已知了，所以估计 P ( x ∣ θ ) P ( θ ) P(x|theta)P(theta) P(x∣θ)P(θ)就是估计 P ( θ ∣ x ) P(theta|x) P(θ∣x)，即后验概率。
在求解时可将 P ( θ ) P(theta) P(θ)代入，同理求解最大值，得到得到最大后验概率估计。
参考：最大似然与最大后验·理解，二者的具体计算,例子