1.4.4 回归算法

为什么需要回归？
回归用于预测连续数值（如疾病风险评分、药物IC50值、基因表达量），而不是类别。
线性回归（Linear Regression）：
- 原理：假设因变量与自变量之间存在线性关系，拟合一条直线（或超平面）
- 公式：y = β₀ + β₁x₁ + β₂x₂ + ... + βₙxₙ
- 类比：根据房屋面积、地段等特征，预测房价
- 生物应用：基因表达量预测、表型-基因型关联分析、药物剂量-效应关系
- 优点：简单、可解释、理论基础扎实
- 局限：只能捕获线性关系、对异常值敏感
逻辑回归（Logistic Regression）：
- 原理：虽然名字里有"回归"，但它用于分类——通过sigmoid函数将线性输出映射到0-1概率
- 公式：P(y=1|x) = 1 / (1 + e^-(β₀ + β₁x₁ + ...))
- 生物应用：疾病风险预测（如根据SNP预测患病概率）、临床诊断模型
- 优点：输出概率、可解释性强、计算高效
- 局限：只能处理线性可分问题
LASSO回归（Least Absolute Shrinkage and Selection Operator）：
- 原理：在普通回归的基础上加入L1正则化，使部分系数变为0，实现特征选择
- 类比：像一位严格的编辑，不仅要文章写得准（拟合数据），还要尽量简洁（减少用词），把不重要的词直接删掉（系数变为0）
- 生物应用：高维基因数据的特征选择（从数万个基因中筛选出与疾病相关的关键基因）、构建稀疏预测模型
- 优点：自动特征选择、防止过拟合、模型可解释
- 局限：高度相关特征中只选一个
岭回归（Ridge Regression）：
- 原理：L2正则化，使系数尽量小但不为0
- 与LASSO的区别：LASSO做"选择"（删去不重要特征），岭回归做"收缩"（让所有特征都参与但权重更小）
- 生物应用：共线性严重的基因数据（如通路中的基因）
弹性网络（Elastic Net）：
- 原理：LASSO和岭回归的结合，同时具有L1和L2正则化
- 生物应用：高维基因数据，特别是特征数远大于样本数时（p >> n问题）