1. 拟合和过拟合
- 拟合：模型学习到了训练数据中的真实规律。
- 过拟合：模型"死记硬背"了训练数据，连噪声都学了进去，导致对新数据预测差。
2. 符号主义和联结主义
- 符号主义：智能就是 "计算" 。用显式的符号（如单词、数字、逻辑变量）和操作这些符号的规则（如"如果A则B"）来模拟智能。
- 联结主义：智能就是 "连接" 。用模拟大脑神经元网络的方式，通过调整神经元之间连接的权重来学习。连蒙带猜。
3. 权重和偏移量
- 权重：决定输入信号有多重要。
- 偏移量：决定神经元多容易被激活。
权重决定了"这件事有多重要"，偏移量决定了"我的默认倾向是什么"。两者配合，神经网络才能拟合出任意复杂的函数。
4. 激活函数
核心问题：如果没有激活函数（或者使用线性激活函数），那么无论神经网络有多少层，最终的输出仍然是输入的线性组合。这就相当于一个"多层"的网络实际上等价于一个"单层"的线性模型，根本无法解决异或问题这种最简单的非线性分类，更不用说识别图像了。
激活函数的作用：通过引入非线性，使得神经网络可以拟合任意复杂的函数，从而解决任何复杂的问题。