使用 log_loss/roc_auc_score 或执行 cross_val_score 并评分

Question

在探索 Scikit learn 中的一些分类模型时，我注意到执行交叉验证时获得的对数损失和 ROC AUC 分数始终低于在整个训练集上进行拟合和预测（用于检查过度拟合）时的分数，但事实并非如此对我来说有意义。具体来说，使用cross_validate我将评分设置为['neg_log_loss', 'roc_auc']，在对训练集执行手动拟合和预测时，我使用了度量函数log_loss'和roc_auc_score。为了尝试弄清楚发生了什么，我编写了一段代码来手动执行交叉验证，以便能够在各个折叠上手动调用度量函数并将结果与cross_validate . 正如你在下面看到的，即使这样我也得到了不同的结果！from sklearn.model_selection import StratifiedKFoldkf = KFold(n_splits=3, random_state=42, shuffle=True)log_reg = LogisticRegression(max_iter=1000)for train_index, test_index in kf.split(dataset, dataset_labels):    X_train, X_test = dataset[train_index], dataset[test_index]    y_train, y_test = dataset_labels_np[train_index], dataset_labels_np[test_index]    log_reg.fit(X_train, y_train)    pr = log_reg.predict(X_test)    ll = log_loss(y_test, pr)    print(ll)from sklearn.model_selection import cross_val_scorecv_ll = cross_val_score(log_reg, dataset_prepared_stand, dataset_labels, scoring='neg_log_loss',                            cv=KFold(n_splits=3, random_state=42, shuffle=True))print(abs(cv_ll))输出：4.7954818692750264.5601191705175345.589818973403791[0.409817 0.32309  0.398375]针对 ROC AUC 运行相同代码的输出为：0.86096695922726860.86785632399079380.8367147503682851[0.925635 0.94032  0.910885]为了确保代码编写正确，我还尝试使用代码'accuracy'作为交叉验证的评分和accuracy_score度量函数，结果是一致的：0.86115843270868820.86797274275979550.838160136286201[0.861158 0.867973 0.83816 ]有人可以解释一下为什么 log loss 和 ROC AUC 的结果不同吗？谢谢！

Answer 1

Log-loss 和 auROC 都需要概率预测，而不是硬类预测。所以改变

pr = log_reg.predict(X_test)

到

pr = log_reg.predict_proba(X_test)[:, 1]

（下标是为了获取正类的概率，并假设您正在进行二元分类）。