模型评估与模型选择

训练集、验证集、测试集：
- 训练集：用于训练模型参数
- 验证集：用于选择模型结构和超参数
- 测试集：仅用于最终评估模型泛化能力，不能用于任何模型选择
交叉验证（Cross-Validation, CV）：
当数据有限时，使用交叉验证：
1. $K$折交叉验证：将数据分成 $K$ 份，每次用 $K-1$ 份训练，1份验证，重复 $K$ 次，平均误差
2. 留一交叉验证（LOOCV）：$K = n$，每次留一个样本做验证
3. 分层交叉验证：保证每折中各类别比例与总体一致
过拟合与欠拟合：
- 欠拟合（Underfitting）：模型太简单，无法捕捉数据的真实模式，训练误差和测试误差都高
- 过拟合（Overfitting）：模型太复杂，"记住"了训练数据的噪声，训练误差低但测试误差高
偏差-方差分解：
$$E[(Y - \hat{f}(X))^2] = Bias^2 + Variance + \sigma^2$$
- 简单模型：高偏差，低方差（欠拟合）
- 复杂模型：低偏差，高方差（过拟合）
- 最优模型：在偏差和方差之间取得平衡