准确地理解data.table何时是对另一个data.table的引用

Question

我很难理解data.table..有些操作似乎“打破”了引用，我想确切地了解发生了什么。关于创建data.table从另一个data.table(经<-，然后通过以下方法更新表:=，原来的表也被修改了。这是预期的，如下所示：?data.table::copy和StackOverflow：pass-by-reference-the-operator-in-the-data-table-package下面是一个例子：library(data.table)DT <- data.table(a=c(1,2), b=c(11,12))print(DT)#      a  b# [1,] 1 11# [2,] 2 12newDT <- DT         # reference, not copynewDT[1, a := 100] # modify new DTprint(DT)           # DT is modified too.#        a  b# [1,] 100 11# [2,]   2 12但是，如果我插入一个非-:=之间的基础修改<-任务和:=上面的线，DT现在不再修改：DT = data.table(a=c(1,2), b=c(11,12))newDT <- DT         newDT$b[2] <- 200  # new operationnewDT[1, a := 100]print(DT)#      a  b# [1,] 1 11# [2,] 2 12所以看起来newDT$b[2] <- 200行在某种程度上破坏了引用。我猜想这会以某种方式调用一个副本，但我想完全了解R是如何处理这些操作的，以确保我不会在代码中引入潜在的bug。如果有人能向我解释这件事，我会非常感激的。

Answer 1

是的，它是在R中使用的<-(或=或->)的副本。整体对象。您可以使用tracemem(DT)和.Internal(inspect(DT))，如下所示。这个data.table特征:=和set()通过引用将它们传递给任何对象。因此，如果该对象以前被复制(通过subas签名)<-或显式copy(DT))然后是通过引用修改的副本。

DT <- data.table(a = c(1, 2), b = c(11, 12)) 

newDT <- DT 

.Internal(inspect(DT))

# @0000000003B7E2A0 19 VECSXP g0c7 [OBJ,NAM(2),ATT] (len=2, tl=100)

#   @00000000040C2288 14 REALSXP g0c2 [NAM(2)] (len=2, tl=0) 1,2

#   @00000000040C2250 14 REALSXP g0c2 [NAM(2)] (len=2, tl=0) 11,12

# ATTRIB:  # ..snip..

.Internal(inspect(newDT))   # precisely the same object at this point

# @0000000003B7E2A0 19 VECSXP g0c7 [OBJ,NAM(2),ATT] (len=2, tl=100)

#   @00000000040C2288 14 REALSXP g0c2 [NAM(2)] (len=2, tl=0) 1,2

#   @00000000040C2250 14 REALSXP g0c2 [NAM(2)] (len=2, tl=0) 11,12

# ATTRIB:  # ..snip..

tracemem(newDT)

# [1] "<0x0000000003b7e2a0"

newDT$b[2] <- 200

# tracemem[0000000003B7E2A0 -> 00000000040ED948]: 

# tracemem[00000000040ED948 -> 00000000040ED830]: .Call copy $<-.data.table $<- 

.Internal(inspect(DT))

# @0000000003B7E2A0 19 VECSXP g0c7 [OBJ,NAM(2),TR,ATT] (len=2, tl=100)

#   @00000000040C2288 14 REALSXP g0c2 [NAM(2)] (len=2, tl=0) 1,2

#   @00000000040C2250 14 REALSXP g0c2 [NAM(2)] (len=2, tl=0) 11,12

# ATTRIB:  # ..snip..

.Internal(inspect(newDT))

# @0000000003D97A58 19 VECSXP g0c7 [OBJ,NAM(2),ATT] (len=2, tl=100)

#   @00000000040ED7F8 14 REALSXP g0c2 [NAM(2)] (len=2, tl=0) 1,2

#   @00000000040ED8D8 14 REALSXP g0c2 [NAM(2)] (len=2, tl=0) 11,200

# ATTRIB:  # ..snip..

注意，即使是a向量被复制(不同的十六进制值表示向量的新副本)，尽管a没有改变。甚至整个b被复制，而不仅仅是更改需要更改的元素。对于大型数据来说，这是很重要的避免，以及为什么:=和set()被介绍给data.table.

现在，用我们的拷贝newDT我们可以参考修改：

newDT

#      a   b

# [1,] 1  11

# [2,] 2 200

newDT[2, b := 400]

#      a   b        # See FAQ 2.21 for why this prints newDT

# [1,] 1  11

# [2,] 2 400

.Internal(inspect(newDT))

# @0000000003D97A58 19 VECSXP g0c7 [OBJ,NAM(2),ATT] (len=2, tl=100)

#   @00000000040ED7F8 14 REALSXP g0c2 [NAM(2)] (len=2, tl=0) 1,2

#   @00000000040ED8D8 14 REALSXP g0c2 [NAM(2)] (len=2, tl=0) 11,400

# ATTRIB:  # ..snip ..

注意，所有3个十六进制值(列点的向量，以及2列中的每一列)都保持不变。因此，它确实是通过引用而修改的，根本没有副本。

或者，我们可以修改原始DT引用：

DT[2, b := 600]

#      a   b

# [1,] 1  11

# [2,] 2 600

.Internal(inspect(DT))

# @0000000003B7E2A0 19 VECSXP g0c7 [OBJ,NAM(2),ATT] (len=2, tl=100)

#   @00000000040C2288 14 REALSXP g0c2 [NAM(2)] (len=2, tl=0) 1,2

#   @00000000040C2250 14 REALSXP g0c2 [NAM(2)] (len=2, tl=0) 11,600

#   ATTRIB:  # ..snip..

这些十六进制值与我们看到的原始值相同。DT上面。类型example(copy)有关更多示例，请使用tracemem以及与.的比较data.frame.

顺便说一下，如果你tracemem(DT)然后DT[2,b:=600]你会看到一份报告。的前10行的副本。print方法可以。用invisible()或在函数或脚本中调用时，print方法不被调用。

所有这一切也适用于内部功能；即，:=和set()不要在写时复制，即使在函数中也是如此。如果需要修改本地副本，请调用x=copy(x)在函数开始的时候。但是，记住data.table适用于大数据(以及小数据的快速编程优势)。我们故意不想复制大对象(永远)。因此，我们不需要考虑通常的3*工作记忆因素的经验法则。我们试着只需要一个列那么大的工作记忆(即工作记忆系数为1/nol，而不是3)。

Answer 2

简单总结一下。

<-带着data.table就像基本；也就是说，在完成以下操作之前，将不进行复制。<-(例如更改列名或更改元素，如DT[i,j]<-v)。然后，它获取整个对象的副本，就像基一样。这就是所谓的抄写。我想，应该更好地称为“仿冒”！当您使用“特殊”时，它不会复制。:=运算符，或set*由data.table..如果您有大量数据，您可能希望使用它们。:=和set*不会复制data.table甚至在职能范围内。

给定此示例数据：

DT <- data.table(a=c(1,2), b=c(11,12))

以下只是“绑定”另一个名称DT2绑定到当前绑定到名称的相同数据对象。DT :

DT2 <- DT

这永远不会复制，也不会在基础上复制。它只是标记数据对象，以便R知道两个不同的名称(DT2和DT)指向同一个对象。所以R需要复制对象，如果两者都是副签名以后的事。

那是完美的data.table也是。这个:=不是为了这么做。因此，下面是一个故意的错误，因为:=不只是用于绑定对象名称：

DT2 := DT    # not what := is for, not defined, gives a nice error

:=是为了次签署参考一下。但你不像你在基地里那样使用它：

DT[3,"foo"] := newvalue    # not like this

你就这样用它：

DT[3,foo:=newvalue]    # like this

改变了DT参考一下。假设您添加了一个新列new通过引用数据对象，没有必要这样做：

DT <- DT[,new:=1L]

因为RHS已经改变了DT参考一下。额外的DT <-就是误解了什么:=的确如此。你可以把它写在那里，但它是多余的。

DT因引用而更改:=，即使在职能范围内：

f <- function(X){
    X[,new2:=2L]
    return("something else")}f(DT)   # will change DTDT2 <- DT
f(DT)   # will change both DT and DT2 (they're the same data object)

data.table是用于大型数据集的，请记住。如果你有20 GBdata.table在记忆中，你需要一个方法来做到这一点。这是一个非常慎重的设计决策data.table.

当然可以复制。您只需要告诉data.table，您肯定要复制您的20 GB数据集，方法是使用copy()职能：

DT3 <- copy(DT)   # rather than DT3 <- DTDT3[,new3:=3L]     # now, this just changes DT3 because it's a copy, not DT too.

为了避免复制，不要使用基类型分配或更新：

DT$new4 <- 1L                 # will make a copy so use :=attr(DT,"sorted") <- "a"      # will make a copy use setattr()

如果您希望确保您正在通过引用进行更新，请使用.Internal(inspect(x))然后看看成分的内存地址值(见MatthewDowle的答案)。

写字:=在……里面j这样你就可以参考按组..可以按组按引用添加新列。所以这就是为什么:=在里面是这样做的[...] :

DT[, newcol:=mean(x), by=group]