BiqQuery 在 Apache Beam 中插入重试策略

Question

Apache Beam API 具有以下 BiqQuery 插入重试策略。如果我指定retryTransientErrors数据流作业的行为如何？shouldRetry提供来自 BigQuery 的错误，我可以决定是否应该重试。在哪里可以找到 BigQuery 的预期错误？BiqQuery 插入重试策略alwaysRetry - 始终重试所有失败。neverRetry - 从不重试任何失败。retryTransientErrors - 重试所有失败，已知的持续性错误除外。shouldRetry - 如果应该重试此失败，则返回 true。背景当我的 Cloud Dataflow 作业将非常旧的时间戳（从现在开始超过 1 年）插入 BigQuery 时，出现以下错误。 jsonPayload: {  exception:  "java.lang.RuntimeException: java.io.IOException: Insert failed: [{"errors":[{"debugInfo":"","location":"","message":"Value 690000000 for field timestamp_scanned of the destination table fr-prd-datalake:rfid_raw.store_epc_transactions_cr_uqjp is outside the allowed bounds.You can only stream to date range within 365 days in the past and 183 days inthe future relative to the current date.","reason":"invalid"}],在第一个错误之后，Dataflow 尝试重试插入，但它总是因相同的错误而被 BigQuery 拒绝。它没有停止，所以我将retryTransientErrors添加到 BigQueryIO.Write 步骤，然后重试停止了。

Answer 1

如果我指定 retryTransientErrors，数据流作业的行为如何？

所有错误都被视为暂时性错误，除非 BigQuery 表示错误原因是“无效”、“无效查询”、“未实施”之一

shouldRetry 提供来自 BigQuery 的错误，我可以决定是否应该重试。在哪里可以找到 BigQuery 的预期错误？

你不能，因为调用者看不到错误。我不确定这是否是故意的，或者 Apache Beam 是否应该公开错误以便用户可以编写自己的重试逻辑。