DeepLearning overview
1. 感知器
2. S型神经元
权重和偏置的微小改变只引起输出的微小变化 \(y=\sigma(\sum_j w_jx_j -b)\) y是输出，\(\sigma\)为激活函数，w是权重，x是输入，b为偏置
3. 神经网络的架构
输入神经元：最左边的，如果输入是一张64 X 64的灰度图像，那么我们需要4096=64 X 64个输入神经元
输出神经元：最右边的；如果要输出0-9这些数字，那么输出可以是一个10维的向量（10个神经元）；
隐藏层：既不是输入也不是输出的神经元；网络可以有多个神经元。
4. 代价函数
为什么不用被正确分类的图像数量作为评价指标呢？因为他不是一个关于权重和偏置的平滑函数，而均方误差是一个二次官话函数。
5. 学习速率
步长