PHP：来自 ZipArchive::statIndex() 的 CRC 是否足够独特以用于检测许多

Question

如果我有多个 zip 文件并且我遍历每个 zip 文件的内容以查找唯一文件，那么对于不同 zip 中的同一个文件，CRC 值是否相同？ZipArchive 上的statindex方法返回一个数组，如下所示：Array(    [name] => foobar/baz    [index] => 3    [crc] => 499465816    [size] => 27    [mtime] => 1123164748    [comp_size] => 24    [comp_method] => 8)老实说，文件大小可能足以满足我的需求，但为了安全起见，我一直在寻找另一种检测唯一性的方法。据我所知，唯一的替代方法是提取然后使用文件哈希方法，但这比仅使用 ZipArchive 类提供的内容要慢得多。就我而言，我有一个由 30,000 个 zip 构建的大约 230,000 张图像的目录，每个 zip 中有大约 30 张图像，我想创建一个数据库，其中包含哪些图像来自哪个 zip，我知道会有很多重复。

Answer 1

不，32 位 CRC 太容易冲突了。考虑比较 CRC 和大小（最好还比较压缩大小和压缩方法）-如果所有 4 个都相同，则可以安全地假设相同的文件。

但是，您对“重复”的定义是什么？

• 两个图片文件可以具有相同的有效负载（实际照片）但具有不同的元数据（标题、评论...） - 在这种情况下，您需要自己对文件的部分进行哈希处理，因此元数据将被忽略。

• 两个图片文件可以描绘同一场景，但具有不同的尺寸（即 800x600 与 1600x1200）或不同的压缩（有损、无损、隔行...） - 在这种情况下，您必须直观地解释它们。

• 两个图片文件可能会导致呈现相同的显示，但具有不同的格式（即 PNG、TIFF、JPEG、WEBP...） - 在这种情况下，您需要比较它们的呈现位图。

如您所见：提取/解压缩文件将使您能够更精确地操作，首先使用您最喜欢的软件来检测重复项。

Answer 2

两阶段方法

据我所知，CRC 是一个 32 位无符号整数（4,294,967,295 个值）。对于较大的文件，例如图像，我们可以假设它具有平坦的随机分布。我会将它与 the 结合起来size以获得一个唯一的字符串：

$stat = $zip->statIndex($index);

$str = $stat["crc"] . $stat["size"];

如果所有 ZIP 文件的压缩方法都相同，您可以添加压缩大小：

$stat = $zip->statIndex($index);

$str = $stat["crc"] . $stat["size"] . $stat["comp_size"];

这将使得两个不同的图像产生相同的字符串的可能性很小，但就像真正的散列一样，仍然有一个非常小的变化，它将为两个不同的图像返回相同的字符串。

我不认为这是可以接受的。

但是，如果两个图像返回相同的字符串，您仍然可以更仔细地检查它们以检查它们是否确实相同。您可以从一个更好的hashes 开始，但为什么不简单地进行逐字节比较呢？通过这种方式，您实际上可以绝对确定图像的独特性。

当然，这会比仅仅依靠统计数据慢，但我认为你必须同意这比对错误识别的图像进行很小的更改要好。

所以在这里我的方法是做的一个粗略的检查crc和size第一。如果这些相同，那么我实际上会比较这些文件以确保它们确实相同。这样我就不会假设两个图像是相同的，因为它们的crs/size's 是相同的，而当它们不同时。