K近邻算法(K Nearest Neighbors)

和K个样本哪个类别相似越多，则这个新的样本最有可能属于哪个类别。

1.1过程

(1)相似度计算：

欧拉距离：

distances=[sqrt(np.sum((x_train-x)**2))for x_train in X_train]

(2)进行排序，返回的是索引

nearest=np.argsort(distances)

k=6

topK_y=[y_train[i] for I in nearest[:k]]

(3)不同类别的点有多少个

from collections import Counter

votes=Counter(topK_y)

predict_y=votes.most_common(1)[0] //计算最多的一个元素

===========》则判断出新来的类别predict_y

1.2如何使用scikit-learn中的kNN？

(1)引包:from sklearn.neighbors import kNeighborsClassifier

(2)改造函数：kNN_classfier=KNeighborsClassifier(n_neighbors=6)

(3)kNN_classfier.fit(x_train,y_train)

(4)预测：y_predict=kNN_classfier.predict(x) 

(5)y_predict[0]  

1.3算法性能

分割原始模型成训练数据集和测试数据集：

训练数据集用于训练模型；测试数据集用于评测训练出来的模型怎么样。

（1）打乱：索引随机的排列：shuffle_index=np.random.permutation(len(X))

（2）设置测试数据集和训练数据集的比例，得到测试数据集和训练数据集的数据大小

test_radio=0.2

test_size=(int)(len(X)*test_radio)

test_indexes=shuffle_index[:test_size]

tain_indexes=shuffle_index[test_size:]

x_train=X[train_indexes]

y_train=Y[train_indexes]

x_test=X[test_indexes]

y_test=Y[test_indexes]

sklearn中的train_test_split:

from sklearn.model_selection import train_test_split

x_train, y_train, x_test,y_test=train_split_test(X,Y,test_size=0.2)

1.4超参数

超参数：在运行机器学习之前需要指定的参数。例如KNN中的K

模型参数：在模型过程中学习的参数

寻找knn中最好的k？

knn

距离：当p=1=》曼哈顿距离；当p=2=》欧拉距离…..则p就是超参数

搜索明可夫斯基距离相应的p：

明可夫斯基距离

1.5网格搜索GridSearch

导包：fromsklearn.model_selection import GridSearchCV

使用：grid_search=GridSearchCV(knn_clf,param_grid，njobs,verbose)

1.6数据归一化Feature Scaling

将所有的数据映射到同一尺度。

1.6.1最值归一化normalization

把所有数据映射到0-1之间（适用于分布有明显边界的情况；受outlier影响较大）

例如：同学考试成绩，图像像素

X[:,0]=(X[:,0]-np.min(X[:,0]))/(np.max(X[:,0]-np.min(X[:,0])))

1.6.2均值方差归一化standardization

把所有数据归一到均值为0方差为1的分布中。（适用于分布没有明显边界的情况；有可能存在极端数据值）

X [:,0]=(X [:,0]-np.mean(X[:,0]))/ np.std(X[:,0])

X[:,1]=(X[:,1]-np.mean(X[:,1]))/ np.std(X[:,1])

1.6.3Scikit-learn中使用Scaler

(1)导包：from sklearn.preprocessing import StandardScaler

(2)实例化：standardScaler=StandardScaler()

(3)fit：standardScaler.fit(x_train)

(4)均值：standardScaler.mean_

(5)方差：standardScaler.scale_

(6)归一化：

x_train =standardScaler.transform(x_train)

x_test_standard=standardScaler.transform(x_test)

作者：下雨天的小白鞋
链接：https://www.jianshu.com/p/4a3d14125ea6
。