1. 前馈神经网络、网络层数、输入层、隐藏层、输出层、隐藏单元、激活函数的概念。
1.1 前馈网络包括一个输入层和一个输出层，若干隐单元。隐单元可以分层也可以不分层，若分层，则称为多层前馈网络。网络的输入、输出神经元其激活函数一般取为线性函数，而隐单元则为非线性函数。任意的前馈网络,不一定是分层网络或全连接的网络。
1.2 网络层数是指神经网络中的层级。
1.3 输入层是指神经网络中的输入参数这一层这是神经网络的第0层。
1.4 隐藏层是指除输入层和输出层以外的其他各层叫做隐藏层。隐藏层不直接接受外界的信号,也不直接向外界发送信号。
1.5 输出层是指最终结果的输入结果这一层，也是神经网络最后一层。
1.6 隐藏单元是指在隐藏层中一个神经元。
1.7 激活函数是一个能让模型进行收敛的一个函数。
2. 感知机相关；利用tensorflow等工具定义简单的几层网络（激活函数sigmoid），递归使用链式法则来实现反向传播。
import tensorflow as tf
input_data = tf.Variable( [[0, 10, -10],[1,2,3]] , dtype = tf.float32 )
output = tf.nn.sigmoid(input_data)
with tf.Session() as sess:
init = tf.initialize_all_variables()
sess.run(init)
print(sess.run(output))
3. 激活函数的种类以及各自的提出背景、优缺点。（和线性模型对比，线性模型的局限性，去线性化）
https://blog.csdn.net/yangdashi888/article/details/78015448
4. 深度学习中的正则化（参数范数惩罚：L1正则化、L2正则化；数据集增强；噪声添加；early stop；Dropout层）、正则化的介绍。
正则化作用是为了防止过拟合。也叫惩罚项。