使用 sklearn 的岭回归制作 L 曲线

Question

可视化岭回归解决方案的一种常用方法是绘制L 曲线，该曲线绘制平方误差之和与正则化参数的不同选择的岭惩罚的关系。这可以用sklearn吗？

Answer 1

这是一个纯粹的sklearn答案：

import numpy as np

from sklearn.linear_model import Ridge

alphas = np.logspace(-10, 10, 1000)

solution_norm = []

residual_norm = []

for alpha in alphas: 

    lm = Ridge(alpha=alpha)

    lm.fit(X, y)

    solution_norm += [(lm.coef_**2).sum()]

    residual_norm += [((lm.predict(X) - y)**2).sum()]

plt.loglog(residual_norm, solution_norm, 'k-')

plt.show()

whereX和y分别是你的预测变量和目标。

Answer 2

scikit-learn 中没有这样的内置功能，但是Yellowbrick库提供了这样的功能（使用pipor安装conda）；将 LassoCV 示例从他们的文档改编到您的 RidgeCV 案例给出：

import numpy as np

from sklearn.linear_model import RidgeCV

from yellowbrick.regressor import AlphaSelection

from yellowbrick.datasets import load_concrete

# Load the regression dataset

X, y = load_concrete()

# Create a list of alphas to cross-validate against

alphas = np.logspace(-10, 1, 40)

# Instantiate the linear model and visualizer

model = RidgeCV(alphas=alphas)

visualizer = AlphaSelection(model)

visualizer.fit(X, y)

visualizer.show()