①课程介绍

课程名称：Python3入门机器学习 经典算法与应用 入行人工智能
课程章节：9-5 ; 9-6
主讲老师：liuyubobobo

内容导读

• 第一部分 逻辑回归添加多项式
• 第二部分 逻辑回归添加正则化

②课程详细

第一部分 逻辑回归添加多项式

有些数据非线性，不是线性的决策边界能够分割的。这时候就要引入多项式回归来拟合非线性数据的决策边界
导入函数

import numpy as np
import matplotlib.pyplot as plt

创建数据

np.random.seed(666)
X = np.random.normal(0, 1, size=(200, 2))
y = np.array(X[:,0]**2 + X[:,1]**2  < 1.5 , dtype='int')

对数据进行可视化处理

plt.scatter(X[y==0,0], X[y==0,1])
plt.scatter(X[y==1,0], X[y==1,1])
plt.show()

进行逻辑化回归查看逻辑回归的结果

from nike.LogisticRegression import LogisticRegression
log_reg1 = LogisticRegression()
log_reg1.fit(X, y)

查看准确率

log_reg1.score(X, y)

0.605
可以看到拟合的不是很好
对该数据和建立的模型进行决策边界可视化
定义可视化函数

def plot_decision_boundary(model, axis):
    
    x0, x1 = np.meshgrid(
        np.linspace(axis[0], axis[1], int((axis[1]-axis[0])*100)).reshape(-1, 1),
        np.linspace(axis[2], axis[3], int((axis[3]-axis[2])*100)).reshape(-1, 1),
    )
    X_new = np.c_[x0.ravel(), x1.ravel()]

    y_predict = model.predict(X_new)
    zz = y_predict.reshape(x0.shape)

    from matplotlib.colors import ListedColormap
    custom_cmap = ListedColormap(['#EF9A9A','#FFF59D','#90CAF9'])
    
    plt.contourf(x0, x1, zz, linewidth=5, cmap=custom_cmap)

可视化决策边界

plot_decision_boundary(log_reg1,[-4, 4 ,-4, 4])
plt.scatter(X[y==0,0], X[y==0,1])
plt.scatter(X[y==1,0], X[y==1,1])
plt.show()

可以看到数据拟合地并不合适，究其原因在于开始的时候对数据的假设错了（线性数据）
接下来使用多项式回归
定义管道，和归一化处理

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import PolynomialFeatures
from sklearn.preprocessing import StandardScaler

def PolynomialLogisticRegression(degree):
    return Pipeline([
        ('poly',PolynomialFeatures(degree=degree)),
        ('std_scaler', StandardScaler()),
        ('log_reg', LogisticRegression())
    ])

调用函数，创建模型

poly_log_reg = PolynomialLogisticRegression(degree=2)
poly_log_reg.fit(X, y)

查看准确率

poly_log_reg.score(X, y)

1.0
可以看到准确率非常的高，
可视化决策边界

plot_decision_boundary(poly_log_reg,[-4, 4 ,-4, 4])
plt.scatter(X[y==0,0], X[y==0,1])
plt.scatter(X[y==1,0], X[y==1,1])
plt.show()

第二部分 逻辑回归添加正则化

在使用逻辑回归多项式之后，就会出现新地问题，过拟合，这时候就需要为逻辑回归添加正则化，来调解数据的过拟合，可以使用学习曲线进行观察。
创建对象

import numpy as np
import matplotlib.pyplot as plt

np.random.seed(666)
X = np.random.normal(0, 1, size=(200, 2))
y =np.array(X[:,0]**2 + X[:,1] <1.5, dtype=int)
for _ in range(20):
    y[np.random.randint(200)] = 1

可视化随机数据

plt.scatter(X[y==0,0], X[y==0,1])
plt.scatter(X[y==1,0], X[y==1,1])
plt.show()

对数据进行分割以便于查看准确率

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=666)

直接使用多项式逻辑回归

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import PolynomialFeatures
from sklearn.preprocessing import StandardScaler

def PolynomialLogisticRegression(degree):
    return Pipeline([
        ('poly',PolynomialFeatures(degree=degree)),
        ('std_scaler', StandardScaler()),
        ('log_reg', LogisticRegression())
    ])

调用管道

Poly_reg = PolynomialLogisticRegression(degree=2)
Poly_reg.fit(X_train,y_train)
Poly_reg.score(X_test,y_test)

0.94
当dagree=2的时候准确率很不错，对新数据的泛化能力也很不错
可视化

plot_decision_boundary(Poly_reg, axis=[-4 ,4, -4, 4])
plt.scatter(X[y==0,0], X[y==0,1])
plt.scatter(X[y==1,0], X[y==1,1])
plt.show()

接下来模拟过拟合的情况，对多项式调整为20的

Poly_reg2 = PolynomialLogisticRegression(degree=20)
Poly_reg2.fit(X_train,y_train)
Poly_reg2.score(X_train,y_train)

可视化决策边界

plot_decision_boundary(Poly_reg2, axis=[-4 ,4, -4, 4])
plt.scatter(X[y==0,0], X[y==0,1])
plt.scatter(X[y==1,0], X[y==1,1])
plt.show()

可以看到数据有一些拟合过度了，接下来加入正则化参数C对过拟合的情况进行一些缓和
定义新的管道符

def PolynomialLogisticRegression(degree, C):
    return Pipeline([
        ('poly',PolynomialFeatures(degree=degree)),
        ('std_scaler', StandardScaler()),
        ('log_reg', LogisticRegression(C=C))
    ])

调用函数

Poly_reg4 = PolynomialLogisticRegression(degree=20, C=10, penalty='l2')
Poly_reg4.fit(X_train,y_train)
Poly_reg4.score(X_train,y_train)

进行可视化查看决策边界，以确定拟合的何不不合适

plot_decision_boundary(Poly_reg4, axis=[-4 ,4, -4, 4])
plt.scatter(X[y==0,0], X[y==0,1])
plt.scatter(X[y==1,0], X[y==1,1])
plt.show()

可以看到过拟合的情况得到了一部分的缓解

③课程思考

• 对于数据假设出错，就会使用错误的模型，就会导致准确率上不去，加入准确率一直上不去，可以试着从数据线性和非线性的两个角度考虑一下

• 有时候解决了一个问题就会相应的冒出一个新的问题，就像矛盾，矛盾的两个方面进行斗争，整合，共存，相互依赖，最后从旧的矛盾中诞生新的矛盾，这就是发展，我想算法的发展可能也会经理如此阶段。

④课程截图