哪种方法限制内存使用：对于大型 blob，SqlReader.GetBytes

Question

我想确定如何限制从本地数据库检索 blob 并通过块将其传输到第三方 Web 服务的作业内的内存使用量。使用 SqlDataReader，我似乎有两个选择：创建一个方法，该方法使用带有偏移量的 GetBytes 来检索返回 byte[] 的 blob 的一部分。然后，该方法的调用者将负责发出 Web 请求来传输该块。创建一个使用 GetStream 的方法，并向 ReadAsync 发出多个请求以填充 byte[] 缓冲区，并使用此缓冲区发出 Web 请求，直到传输文档。我更喜欢选项 1，因为它限制了该方法的责任，但是如果我使用偏移量调用 GetBytes，它会将整个偏移量加载到内存中还是 sql server 能够仅返回请求的小块？如果我使用选项 2，那么该方法将有两个职责：从数据库加载一个块并发出 Web 请求以将文档存储在其他地方。// option 1public async Task<Tuple<int, byte[]>> GetDocumentChunk(int documentId, int offset, int maxChunkSize){    var buffer = new byte[maxChunkSize];    string sql = "SELECT Data FROM Document WHERE Id = @Id";    using (SqlConnection connection = new SqlConnection(ConnectionString))    {        await connection.OpenAsync();        using (SqlCommand command = new SqlCommand(sql, connection))        {            command.Parameters.AddWithValue("@Id", documentId);            using (SqlDataReader reader = await command.ExecuteReaderAsync(CommandBehavior.SequentialAccess))            {                if (await reader.ReadAsync())                {                    int bytesRead = (int)reader.GetBytes(0, offset, buffer, 0, maxChunkSize);                    return new Tuple<int, byte[]>(bytesRead, buffer);                }            }        }    }    return new Tuple<int, byte[]>(0, buffer);}//option 2public async Task<CallResult> TransferDocument(int documentId, int maxChunkSize){    var buffer = new byte[maxChunkSize];    string sql = "SELECT Data FROM Document WHERE Id = @Id";    using (SqlConnection connection = new SqlConnection(ConnectionString))    {        await connection.OpenAsync();        using (SqlCommand command = new SqlCommand(sql, connection))        {            command.Parameters.AddWithValue("@Id", documentId);            using (SqlDataReader reader = await command.ExecuteReaderAsync(CommandBehavior.SequentialAccess))            {                using (Stream uploadDataStream = reader.GetStream(0))                {            }        }    }}

Answer 1

使用选项 1，您将向源发出许多请求以获取数据，并且GetBytes不会在 SQL 服务器上“搜索”流（如果确实如此，我会感到惊讶），这将是一个非常低效的解决方案。

IAsyncEnumerable

使用选项 2，您可以获得流并按需处理它，因此您将发出单个数据库请求，并获得异步 I/O 的所有好处。

使用C# 8 IAsyncEnumerablePreview将完美地解决您的问题，但到目前为止它还处于阶段。

复制到异步

如果您可以获得需要将内容上传到的流，那么您可以使用CopyToAsync。但我假设每个块都将在单独的请求中上传。如果是这样，您可以引入一个组件，它会像 a 一样发出嘎嘎声，但当数据库流在其上调用 CopyToAsync()Stream时，它实际上会将内容上传到网站：

class WebSiteChunkUploader : Stream

{

     private HttpClient _client = new HttpClient();

     public override bool CanWrite => true;

     public override bool CanRead => false;

     public override async Task WriteAsync(byte[] buffer, int offset, int count, CancellationToken cancellationToken) =>

         await _client.PostAsync("localhost", new ByteArrayContent(buffer,offset, count));

}

老好 IEnumerable

不幸的是你不能与yield return混合。但是，如果您决定使用阻塞 api 读取流，例如，那么您可以使用旧的 good 重写它：IEnumerableasync/awaitReadyield return

public IEnumerable<Tuple<byte[],int>> TransferDocument(int documentId, int maxChunkSize)

{

    string sql = "SELECT Data FROM Document WHERE Id = @Id";

    var buffer = new byte[maxChunkSize];

    using (SqlConnection connection = new SqlConnection(ConnectionString))

    {

        connection.Open();

        using (SqlCommand command = new SqlCommand(sql, connection))

        {

            command.Parameters.AddWithValue("@Id", documentId);

            using (SqlDataReader reader = command.ExecuteReader(CommandBehavior.SequentialAccess))

            using (Stream uploadDataStream = reader.GetStream(0))

            {

                while(var bytesRead = uploadDataStream.Read(buffer, 0, maxChunkSize)) > 0)

                   yield return Tuple(buffer, bytesRead);

            }

        }

    }

}

...

async Task DoMyTransfer() 

{

  foreach(var buffer in TransferDocument(1, 10000)) {

    await moveBytes(buffer)

  }

}

在这种情况下，您不会与 DB 和 fancy 进行异步 IO Tasks，但我想您无论如何都需要限制此上传操作，以免连接导致数据库过载。