ThreadLocal<ByteArrayOutputStream> 导致 OutOfMemory

Question

当我的类结构像这样时，我最终会遇到 OutOfMemory 错误。DataHandler由8个线程的固定池调用（没有外部线程池管理。固定池创建一次，执行一次，如果一个线程死亡，则不创建新线程）。一次，多个线程调用 DataHandler，但由于 byteArrayOutputStreamBuffer 是 threadLocal，每个线程都有自己的本地缓冲区。每个线程获取数据，调用 HandleData()，一旦完成，重复循环。传递的数据大小为 2 GB。因此，预计占用的总内存最多为（2 GB + 字节数组流的大小）* 线程数。数组流的最大大小应为 4 GB（由于调整内存大小而导致数据翻倍）。所以预期的总堆为 6*8 = 48 GB。堆被配置为处理更多（我已经尝试过高达 300 GB），但这个问题仍然存在。public class DataHandler {    private static ThreadLocal<ByteArrayOutputStream> byteArrayOutputStreamBuffer =        new ByteArrayOutputStream();    void HandleData(byte[] data) {        ByteArrayOutputStream byteArrayOutputStream = byteArrayOutputStreamBuffer.get();        File tempFile = new File(getFileName());        try (FileOutputStream fileOutputStream = new FileOutputStream(tempFile)) {            byteArrayOutputStream.write(data);            fileOutputStream.write(byteArrayOutputStream.toByteArray());        } finally {            byteArrayOutputStream.reset();        }    }}如果我删除中间的 ByteArrayOutputStream，则没有 OOM。我试图找到一个解释为什么 ByteArrayOutputStream 会导致 OOM。编辑：我看到 toByteArray() 也会增加 2 GB，所以总数为 64 GB。

Answer 1

AByteArrayOutputStream最多可以容纳Integer.MAX_VALUE - 8字节（比 2Gb 少 8 个字节），因为它将数据存储在单个 中byte[]，并且数组长度限制为该值。

如果您尝试放入更多数据，它会抛出一个OutOfMemomoryError.

由于您输入了这么多数据，因此可能会发生这种情况。

ByteArrayOutputStream在这种情况下你不能使用。

但你为什么需要它？为什么不将 存储FileOutputStream在 ThreadLocal 中？