数据科学家Jeremy Howard在fast.ai的《生成对抗网络（GAN）》课程中曾经讲过这样一句话：

“从本质上来说，生成对抗网络（GAN）是一种特殊的损失函数。”

你是否能够理解这句话的意思？读完本文，你会更好的理解这句话的含义。

神经网络的函数逼近理论

在数学中，我们可以将函数看做一个“机器”或“黑匣子”，我们为这个“机器”或“黑匣子”提供了一个或多个数字作为输入，则会输出一个或多个数字，如下图所示：

一般来说，我们可以用一个数学表达式来表示我们想要的函数。但是，在一些特殊的情况下，我们就没办法将函数写成一堆加法和乘法的明确组合，比如：我们希望拥有这样一个函数，即能够判断输入图像的类别是猫还是狗。

如果不能用明确的用数学表达式来表达这个函数，那么，我们可以用某种方法近似表示吗？

这个近似方法就是神经网络。通用近似定理表明，如果一个前馈神经网络具有线性输出层和至少一层隐藏层，只要给予网络足够数量的神经元，便可以表示任何一个函数。