如何找到距离质心最近的“x”个元素

Question

我正在处理一个非常高维的数据集，并对其执行了 k 均值聚类。我正在尝试找到距离每个质心最近的 20 个点。数据集 (X_emb) 的尺寸为 10 x 2816。提供的是我用来查找距每个质心最近的单个点的代码。注释掉的代码是我发现的一个潜在的解决方案，但我无法使其准确工作。import numpy as npimport pickle as pklfrom sklearn.cluster import KMeansfrom sklearn.metrics import pairwise_distances_argmin_minfrom sklearn.neighbors import NearestNeighborsfrom visualization.make_video_v2 import make_video_from_numpyfrom scipy.spatial import cKDTreen_s_train = 10000df = pkl.load(open('cluster_data/mixed_finetuning_data.pkl', 'rb'))N = len(df)X = []X_emb = []for i in range(N):    play = df.iloc[i]    if df.iloc[i].label == 1:        X_emb.append(play['embedding'])        X.append(play['input'])X_emb = np.array(X_emb)kmeans = KMeans(n_clusters=10)kmeans.fit(X_emb)results = kmeans.cluster_centers_closest, _ = pairwise_distances_argmin_min(kmeans.cluster_centers_, X)# def find_k_closest(centroids, data, k=1, distance_norm=2):#     kdtree = cKDTree(data, leafsize=30)#     distances, indices = kdtree.query(centroids, k, p=distance_norm)#     if k > 1:#         indices = indices[:,-1]#     values = data[indices]#     return indices, values# indices, values = find_k_closest(results, X_emb)

Answer 1

您可以使用成对距离来计算每个点与 X_emb 中每个点的质心的距离，然后使用 numpy 查找最小 20 个元素的索引，最后从 X_emb 中获取它们

from sklearn.metrics import pairwise_distances

distances = pairwise_distances(centroids, X_emb, metric='euclidean')

ind = [np.argpartition(i, 20)[:20] for i in distances]

closest = [X_emb[indexes] for indexes in ind]

最接近的形状为（质心数 x 20）

Answer 2

您可以NearestNeighbors通过以下方式从 sklearn 获取课程：

from sklearn.neighbors import NearestNeighbors

def find_k_closest(centroids, data):

    nns = {}

    neighbors = NearesNieghbors(n_neighbors=20).fit(data)

    for center in centroids:

        nns[center] = neighbors.kneighbors(center, return_distance=false)

    return nns

nns 字典应包含中心作为键和邻居列表作为值