扩展方法

Elastic Net：
结合L1和L2惩罚：
$$\hat{\beta}{en} = \arg\min{\beta} |Y - X\beta|^2 + \lambda_1 |\beta|1 + \lambda_2 |\beta|_2^2 \tag{2-27}$$
优点：
- 保留LASSO的变量选择能力
- 像Ridge一样处理多重共线性，将相关变量同时选入或同时排除
- 当 $p > n$ 时，可以选择超过 $n$ 个变量
Group LASSO：
当变量有自然的分组结构时（如基因通路中一组基因），对整组进行选择和收缩：
$$\hat{\beta}{group} = \arg\min_{\beta} |Y - X\beta|^2 + \lambda \sum_{g=1}^{G} |\beta_g|2$$
其中 $\beta_g$ 是第 $g$ 组变量的系数向量。Group LASSO要么选择整组，要么完全排除整组。
SCAD（Smoothly Clipped Absolute Deviation）：
SCAD惩罚是为了解决LASSO的有偏性问题：
$$P{\lambda}(\beta) = \begin{cases} \lambda |\beta| & |\beta| \leq \lambda \ \frac{2a\lambda|\beta| - \beta^2 - \lambda^2}{2(a-1)} & \lambda < |\beta| \leq a\lambda \ \frac{(a+1)\lambda^2}{2} & |\beta| > a\lambda \end{cases}$$
其中 $a > 2$（通常取3.7）。SCAD对小的系数进行LASSO式收缩，但对大的系数几乎不收缩，从而减少了估计偏差。SCAD具有Oracle性质：能够以概率1正确选择变量，并且估计量与仅使用真实变量的Oracle估计量具有相同的渐近分布。
MCP（Minimax Concave Penalty）：
$$P_{\lambda}(\beta) = \lambda \int_0^{|\beta|} \left(1 - \frac{x}{\gamma\lambda}\right)+ dx$$
MCP也旨在减少LASSO的偏差，计算更简单。
贝叶斯LASSO：
将LASSO的L1惩罚解释为Laplace先验（双指数分布）：
$$p(\beta) = \frac{\lambda}{2} e^{-\lambda|\beta|}$$
然后通过MCMC方法从后验分布中抽样。贝叶斯LASSO的优点是可以自然地获得参数的不确定性估计（后验标准差），而不仅仅是一个点估计。
Dantzig Selector：
与LASSO类似，但约束形式不同：
$$\min |\beta|_1 \quad \text{s.t.} \quad |X^T(Y - X\beta)|\infty \leq \lambda$$
在某些理论条件下，Dantzig Selector具有与LASSO类似的性质。