一只菜鸡的决策树入门（二）

前期准备的基础理论，熵的计算，按照给定特征划分数据集，找出划分数据集的最优特征，但有些时候，数据集处理了所有属性，不过得到的类标签依然不是唯一的，书上说用之前KNN里面涉及的频次统计方法，遵从少数服从多数给该叶子节点分类，

import operatordef majorKind(dataList):majorFeat = {}for featVec in dataList.keys():if majorFeat[featVec] not in majorFeat:majorFeat[featVec] = 0majorFeat[featVec] += 1sortedMajorFeat = sorted(majorFeat.items(),key=operator.itemgetter(1),reverse=True)return sortedMajorFeat[0][0]

把这些肥料组合一下，开始种树：

def createMytree(dataSet,Labels):classList = [example[-1] for example in dataSet] #判断待分类数据集是否为同一类if len(dataSet) == classList.count(classList[0]):return classList[0]if len(dataSet[0]) == 1: #判断是否已无其他属性可分类return majorKind(classList) #选取频次最高的类标签最为该叶子节点的分类bestFeat = findbestfeature(dataSet) #划分数据集的最优特征bestFeatLabel = Labels[bestFeat]myTree = {bestFeatLabel:{}}del(Labels[bestFeat])subfeat = [example[bestFeat] for example in dataSet] #选取最优分类的属性做之后的分类特征uniqfeat = set(subfeat)for value in uniqfeat: #根据特征连续划分，得到的值插入myTree中subLabels = Labels[:]myTree[bestFeatLabel][value] = createMytree(splitdataset(dataSet,bestFeat,value),subLabels)return Mytree

一脸懵逼，哎

原文出处：https://blog.csdn.net/Oldog_1991/article/details/81236728