全连接神经网络

全连接神经网络（fully connected neural network），理学-统计学-大数据统计分析-深度神经网络-全连接神经网络，相邻两层之间神经元全部两两连接的多层感知机。是一种最简单的神经网络。人工神经网络（artificial neural network; ANN），简称神经网络，起源于1943年心理学家W.S.莫克罗和数理逻辑学家W.彼特建立的MP模型，由神经元组成，由从信息处理角度对人脑神经元进行抽象后建立的模型连接而成。感知机由美国心理学家F.罗森布拉特（Frank Rosenblatt）在1958年提出，是由两层神经元组成的单层计算神经网络，也是深度学习的起源算法。只有两个输入神经元和一个输出神经元的单层感知机结构（图1），即感知机的基本结构。图1 单层感知机结构在单层感知机的基础上，多层感知机采用单向多层结构，在输入层与输出层之间加入了若干隐藏层；第0层叫作输入层，最后一层叫作输出层，其他中间层叫作隐含层；隐含层可以是一层，也可以是多层。每一层中的神经元接收前一层神经元的输出、并输出到下一层。如图2所示，为含有两个隐藏层的简单多层感知机。