与 Cohen Kappa 的多标签注释器协议

Question

假设我想要对文档进行注释。每个文档都可以使用多个标签进行注释。在这个例子中，我有 2 个注释器（a 和 b），他们每个都标记了两个文档。from sklearn.metrics import cohen_kappa_scoreannotator_a = [     ["a","b","c"],    ["d","e"]]annotator_b = [    ["b","c"],    ["f"]]Annotator_a 用标签 a、b 和 c 标记文档 1。Annotator_b 用标签 b 和 c 标记文档 1。我尝试使用以下方法计算注释者协议：cohen_kappa_score(annotator_a, annotator_b)但这会导致错误：ValueError: You appear to be using a legacy multi-label data representation. Sequence of sequences are no longer supported; use a binary array or sparse matrix instead.关于如何计算此集合上的注释者协议的任何想法？

Answer 1

Cohen's Kappa 不支持多标签输入。除了使用 Cohen 的 Kappa，还可以使用 Krippendorff 的 Alpha。该度量支持评估者间的一致性、缺失值和非排他性主题。它在pypi上可用。