因为有志赶LLM的风潮所以分享的均为关于LLM的一些明确defination，若有问题，和大家一起交流学习改正：

1、Pytorch神经网络、深度学习训练框架：训练的意思是autograd；

2、cuda是nvidia gpu调用多处理器进行并行训练人物的策略；

3、cudnn是nvidia gpu加速神经网络训练及推理的策略；

4、Tensor RT是nvidia gpu加速模型推理的策略，具有两个优点可以加速模型推理的速度：1、对可合并算子进行合并运算，配置资源使资源利用最大化，无需重复调用计算策略2、模型训练的float精度较高，推理所需的float精度可由Tensor RT来设置，提升推理效率；

5、conv深度学习的卷积算子，bn神经网络层的归一化算子（含均值和方差），relu深度学习的激活函数算子；

6、激活函数（relu、softmax、line、sigma等）均为确定神经网络层间输入输出关系的函数

7、损失函数(loss)是由最后激活层导出的预测值与真值间的差值所构造的函数，确定二者是否接近输出的关键证据