caffe 框架介绍 什么是caffeCafee的特点CNN框架：美满的小蘑菇Net数据层（data_layer）数据传递（blob）卷积层（convolution）受限线性单元（RELU）池化层（POOLING）局部响应归一化层（LRN）全连接层（INNER_PRODUCT）Dropout层输出（分类）层（softmax）
什么是caffe
Caffe 全称：Convolution Architecture For Feature Extraction(用于特征抽取的卷积框架)。
Caffe是一个清晰、可读性高、快速的深度学习框架。
背景：
Caffe前身是decaf,由加州伯克利大学博士贾扬青开发的一个用于深度卷积网络的Python框架（无GPU）模式，之后被伯克利大学实验室团队丰富成caffe。
#CNN框架：LeNet
1998年LeCun 提出的用于手写字体的卷积神经网络
美满的小蘑菇Net :2012年Hinton教授和其他学生美满的小蘑菇 Krizhevsky, llya Sutskever提出的用于图像识别的CNN框架
caffe 通过数据层获取数据。数据的来源可以是多种形式。例如：
LevelDB,LMDB(两种键值对嵌入式数据库管理系统编程库，一般LMDB比LevelDB存取速度快，所以caffe默认的事LMDB)直接从内存读取HDF5文件原始图片类 data_layer.hpp/data_layer.cpp
在定义网络的prototxt 文件中可以定义数据层的形式，比如手写字体数据层定义如下：
在具体的形式上blob是回一个4-D结构的array，是按照（Num, Channels. Height, Width）的顺序存储的。
Nums:表示一次训练输入的图片数量Channels:表示通道数Height:表示图片高度Width:表示图片的宽度实际上blob 是存储的数据在内存中的索引，比如index(n,k,h,w）定位在((n*k + k)*H + h)*W+w。示意图如下：
卷积层（convolution）
卷积层定义了图像的卷积操作（即特征抽象），参数设置在prototxt中 ，它相关的类定义在conv_layer.cpp
例如用到的一个卷积
RELU的全称：rectified linear units
受限线性单元实际上就是激活函数max(0,x)， 它的相关类定义在relu_layer.cpp中。
相比之下，ReLU的速度非常快，而且精准度更高。因此ReLU逐渐取代sigmoid成为主流
池化层定义了对对象的降维操作。它的相关类定义在pooling_layer.cpp。参数设置prototxt中。
LRN全称是Local Response Normalization，相关的类定义在lrn_layer.cpp中，其参数定义在prototxt中。局部响应归一化层完成一种“临近抑制”操作，对局部输入区域进行归一化。本质上是防止激活函数饱和，能提升网络的泛化能力，将错误率降低。
local_size:两种表示
alpha：缩放因子，默认值为1
beta：指数项，默认值为1
NormRegion:选择对相邻通道间归一化or通道内空间区域归一化，默认为ACROSS_CHANNELS。
在通道间归一化模式中，局部区域范围在相邻通道间，但没有空间扩展（即尺寸为local_size11）；在通道内归一化模式中，局部区域在空间上扩展，但只针对独立通道进行（即尺寸为1local_sizelocal_size）；每个输入值都将除以
全连接层（INNER_PRODUCT）全连接层相关的类定义在inner_product_layer.cpp中,输出特征都是1*1的特征，参数定义在prototxt中。
Dropout层的相关类定义在dropout.cpp中，它的作用是防止过拟合和降低计算复杂度。
在实际训练中，每个节点都以相互独立的以p概率出现，实验证明p=0.5时在大规模网络中效果最优。
相关类定义在softmax_lay,cpp中