1什么是神经网络1.1基本结构
说明：
通常，一个神经网络由一个输入层、多个隐藏层和一个输出层构成。 图中圆表示一个神经元(也称为感知器)设计神经网络的重要工作是设计hidden layer，在神经元之间的权重上增加少量的隐藏层以获得浅层神经网络SNN； 在隐藏层较多的情况下，深层神经网络DNN 1.2从逻辑回归到神经元线性聚集模型：
sigmoid函数：
LR可以理解为：
所以逻辑回归是单层传感器(没有隐藏层)结构。
如果这篇文章看起来还有点费劲，或者想系统地学习人工智能，建议你看一下床长人工智能教程。 是很棒的大神的作品。 教程不仅简单易懂，而且很幽默。 单击此处可查看教程。
2为什么需要神经网络，神经网络应用于分类问题效果较好。 工业界分类问题很多。
LR或linear SVM适合线性分割。 当数据为非线性时，LR通常需要在特征工程中进行特征映射，增加高斯项或耦合项； 必须为SVM选择核心。 另一方面，增加高斯项、结合项会产生很多无用的维度，计算量会增加。 GBDT可以使用弱线性分类器被组合成强分类器，而高维度的话效果可能不佳。
2.1如何使非线性不可分成为下图的非线性不可分
从逻辑回归看，单层传感器只能解决线性问题。 要解决非线性问题，需要引入多层感知器。
此时，使用两个线性分类器，通过求逻辑积可以得到分类的效果。 请注意，前两个线性分类器都是部分正确的分类器
2.2可以使用神经元互补逻辑和上述两个线性分类器的逻辑，以及上述示例的非线性分割。 在一段时间内，不管两个线性分类器如何，现在首先使用神经元(百分号)来达到逻辑乘积的效果
假说
因此，g(z )与逻辑
可以调整z的参数，实现逻辑和等操作
2.3流程图
可以看出，首先imput layer生产了两个线性分类器，由两个线性分类器的权重组合构成逻辑积，完成了非线性分类。
请注意，训练两个线性分类器需要imput权重，而逻辑乘积需要两个线性分类器权重。
2.4效应线性分类器的逻辑和组合可以完美地对平面样本进行分类
隐藏层决定了最终的分类效果
从上图可以看出，随着隐藏层数的增多，凸域将变为任意形状，因此任何复杂的分类问题都可以解决。 事实上，根据Kolmogorov理论，双层隐层探测器足以解决复杂的分类问题。
3在神经网络的表达力和过拟合理论上，单隐层神经网络可以近似为任何连续函数。 (如果隐层神经元数量足够)数学上多隐层和单隐层的表达能力一致，但多隐层神经网络比单隐层神经网络的工程效果非常好(例如CTR估计)，三层神经网络的效果为两层随着层数的增加) 4、5、6层)，对于最后结果的帮助那么大的跳跃图像数据并不特别，而是深层的结构化数据。 深层卷积神经网络可以更充分、准确地表达这些层次信息，提高隐层数或隐层神经元数，神经网络“容量”变大，空间表达能力过强的隐层和神经元节点存在过拟合问题
4神经网络结构4.1网络结构
n个输入； 输出m个概率
4.2传递函数/激活函数前面各层的输入经过线性变换wx b也用于sigmoid函数，神经网络结构中被称为传递函数或激活函数。 除了sigmoid以外，还有tanh、relu等其他激活函数。 激活函数使线性结果非线性化。 12 4.2.1在简单理解为什么需要传递函数的基础上，如果不加入激活函数，无论有多少隐藏层，最终的结果都是原始输入的线性变化。 这样，隐层就能达到结果，多层感知器就没有意义了。 因此，每个隐藏层都有一个激活函数，提供非线性变化。 12介绍12 4.2.2种激活函数
双s函数也称为tanh函数
5 BP算法5.1网络配置
1 .正向传播求损耗，反向传播返回误差
2 .根据误差信号修改各层权重
3. f是激活函数f(netj )是隐藏层的输出，f(netk )是输出层的输出o； d是target
5.2如何逆向传播——以三层探测器为例：
结合BP网络结构，误差从输出扩展到输入的过程如下。
如果存在误差e，则可以通过求出偏导来求出最佳的权重。 (请不要忘记学习率)
BP算法类似于学习规则，这类算法常常被称为误差梯度下降算法。 在这种算法中，变换函数必须能够导数(例如
5.3例
图中的元素：
两个输入；
隐藏层： b1、w1、w2、w3、w4 (有初始值) ) ) ) ) ) ) ) ) )。
输出层： b2、w5、w6、w7、w8 (赋予初始值) ) ) ) ) )
5.3.1前向运算计算误差
误差：
5.3.2求反向传播引起的误差对w5的偏导过程
更新参数：
求出误差相对于w1的偏导数
请注意，w1会影响这两个输出的误差
您可以在以上过程中更新所有权重，以便在满足条件之前再次重复更新。