从头开始逻辑回归

Question

我正在 MNIST 数据集上使用梯度下降 + L2 正则化实现多项逻辑回归。我的训练数据是一个形状为（n_samples=1198，features=65）的数据框。在梯度下降的每次迭代中，我采用权重和输入的线性组合来获得 1198 次激活 (beta^T * X)。然后我通过 softmax 函数传递这些激活。但是，我对如何获得每个激活的 10 个输出类的概率分布感到困惑？我的权重是这样初始化的n_features = 65# init random weightsbeta = np.random.uniform(0, 1, n_features).reshape(1, -1)这是我当前的实现。def softmax(x:np.ndarray):     exps = np.exp(x)    return exps/np.sum(exps, axis=0)def cross_entropy(y_hat:np.ndarray, y:np.ndarray, beta:np.ndarray) -> float:    """    Computes cross entropy for multiclass classification      y_hat: predicted classes, n_samples x n_feats    y: ground truth classes, n_samples x 1    """    n = len(y)    return - np.sum(y * np.log(y_hat) + beta**2 / n)    def gd(X:pd.DataFrame, y:pd.Series, beta:np.ndarray,       lr:float, N:int, iterations:int) -> (np.ndarray,np.ndarray):        """    Gradient descent    """    n = len(y)    cost_history = np.zeros(iterations)        for it in range(iterations):                activations = X.dot(beta.T).values                y_hat = softmax(activations)                        cost_history[it] = cross_entropy(y_hat, y, beta)                        # gradient of weights        grads = np.sum((y_hat - y) * X).values                # update weights        beta = beta - lr * (grads + 2/n * beta)            return beta, cost_history

Answer 1

在多项式 Logistic 回归中，您需要为每个类提供一组单独的参数（在您的情况下为像素权重）。然后，实例属于某个类别的概率被估计为该类别的实例得分的 softmax 函数。softmax 函数确保所有类别的估计概率之和为 1。