R语言 判别分析

#判别分析 用以判别个体所属群体的一种统计方法 判别分析重点是两类群体的判别方法

#主要判别分析方法 有距离判别 贝叶斯判别 费歇判别法

1、关键点：

#贝叶斯判别 贝叶斯判别式假定对研究对象已有一定的认识 这种认识常用先验概率来描述

#当取得样本后 就可以用样本来修正已经有的先验概率分布 得出后验概率分布

#然后通过后验概率分布 进行各种统计推断

#实际上就是使平均误判损失（误判概率与误判损失的结合）ECM达到极小的过程

2、案例分析

（一）两个总体的贝叶斯判别分析

#1.载入数据
TrnX1<-matrix(
  c(24.8, 24.1, 26.6, 23.5, 25.5, 27.4,-2.0, -2.4, -3.0, -1.9, -2.1, -3.1),ncol=2)
TrnX2<-matrix(
  c(22.1, 21.6, 22.0, 22.8, 22.7, 21.5, 22.1, 21.4,
  -0.7, -1.4, -0.8, -1.6, -1.5, -1.0, -1.2, -1.3),
  ncol=2)
#2、载入两总体的贝叶斯判别函数  注 把贝叶斯判别函数存在了计算机的E盘R文件夹中
source("E:/R/discriminiant.bayes.R")
#3、协方差相同时的判别
discriminiant.bayes(TrnX1, TrnX2, rate=8/6,var.equal=TRUE)
#协方差不同时的判别
discriminiant.bayes(TrnX1, TrnX2, rate=8/6)

PS============================discriminiant.bayes.R========================

#两个总体判别的贝叶斯判别程序

#输入 TrnX1 TrnX2表示X1类 X2类训练样本 样本输入格式为数据框

#rate=p2/p1缺省时为1

#Tst为待测样本 其输入格式是数据框 为两个训练样本之和

#var.equal是逻辑变量 当其值为TRUE是表示认为两个总体的协方差相同 否则不同

#输出 函数的输出时1和2构成的一维矩阵 1表示待测样本属于X1类

discriminiant.bayes <- function
(TrnX1, TrnX2, rate = 1, TstX = NULL, var.equal = FALSE){
  if (is.null(TstX) == TRUE) TstX<-rbind(TrnX1,TrnX2)
  if (is.vector(TstX) == TRUE) TstX <- t(as.matrix(TstX))
  else if (is.matrix(TstX) != TRUE)
  TstX <- as.matrix(TstX)
  if (is.matrix(TrnX1) != TRUE) TrnX1 <- as.matrix(TrnX1)
  if (is.matrix(TrnX2) != TRUE) TrnX2 <- as.matrix(TrnX2)
  nx <- nrow(TstX)
  blong <- matrix(rep(0, nx), nrow=1, byrow=TRUE,
  dimnames=list("blong", 1:nx))
  mu1 <- colMeans(TrnX1); mu2 <- colMeans(TrnX2)
  if (var.equal == TRUE || var.equal == T){
  S <- var(rbind(TrnX1,TrnX2)); beta <- 2*log(rate)
  w <- mahalanobis(TstX, mu2, S)
  - mahalanobis(TstX, mu1, S)
  }
  else{
  S1 <- var(TrnX1); S2 <- var(TrnX2)
  beta <- 2*log(rate) + log(det(S1)/det(S2))
  w <- mahalanobis(TstX, mu2, S2)
  - mahalanobis(TstX, mu1, S1)
  }
  for (i in 1:nx){
  if (w[i] > beta)
  blong[i] <- 1
  else
  blong[i] <- 2
  }
  blong
}

（二）多个总体贝叶斯判别

X<-iris[,1:4]
G<-gl(3,50)
source("E:/R/distinguish.bayes.R")
distinguish.bayes(X,G)

PS：=============distinguish.bayes.R====================

#多个总体判别的贝叶斯判别程序

#输入 TrnX 表示训练样本 样本输入格式为数据框

#TrnG是因子变量 表示训练样本的分类情况

#输入变量p是先验概率 缺省值为1

#Tst为待测样本 其输入格式是数据框

#var.equal是逻辑变量 当其值为TRUE是表示认为两个总体的协方差相同 否则不同

#输出 函数的输出是数字构成的一维矩阵 1表示待测样本属于X1类

distinguish.bayes <- function
(TrnX, TrnG, p = rep(1, length(levels(TrnG))),
 TstX = NULL, var.equal = FALSE){
  if ( is.factor(TrnG) == FALSE){
  mx <- nrow(TrnX); mg <- nrow(TrnG)
  TrnX <- rbind(TrnX, TrnG)
  TrnG <- factor(rep(1:2, c(mx, mg)))
  }
  if (is.null(TstX) == TRUE) TstX <- TrnX
  if (is.vector(TstX) == TRUE) TstX <- t(as.matrix(TstX))
  else if (is.matrix(TstX) != TRUE)
  TstX <- as.matrix(TstX)
  if (is.matrix(TrnX) != TRUE) TrnX <- as.matrix(TrnX)
  nx <- nrow(TstX)
  blong <- matrix(rep(0, nx), nrow=1,
  dimnames=list("blong", 1:nx))
  g <- length(levels(TrnG))
  mu <- matrix(0, nrow=g, ncol=ncol(TrnX))
  for (i in 1:g)
  mu[i,] <- colMeans(TrnX[TrnG==i,])
  D <- matrix(0, nrow=g, ncol=nx)
  if (var.equal == TRUE || var.equal == T){
  for (i in 1:g){
  d2 <- mahalanobis(TstX, mu[i,], var(TrnX))
  D[i,] <- d2 - 2*log(p[i])
  }
  }
  else{
  for (i in 1:g){
  S <- var(TrnX[TrnG==i,])
  d2 <- mahalanobis(TstX, mu[i,], S)
  D[i,] <- d2 - 2*log(p[i])-log(det(S))
  }
  }
  for (j in 1:nx){
  dmin <- Inf
  for (i in 1:g)
  if (D[i,j] < dmin){
  dmin <- D[i,j]; blong[j] <- i
  }
  }
  blong
}