使用 Lambda/Python 将多个文件上传到 S3

Question

因此，我正在编写一个由 DynamoDB Streams 中的事件触发的 Lambda 函数，并且我想将这些事件写入 S3（以创建数据湖）。但此代码仅上传相同的 json 文件。如何将多个文件上传到 s3 而不覆盖这个文件？   import boto3   import json      s3 = boto3.client('s3')      def lambda_handler(event, context):            bucket ='bto-history'     dynamodb = boto3.resource('dynamodb')     tableUsers = dynamodb.Table('Users')            jsonToUpload = event['Records']        uploadFile = bytes(json.dumps(jsonToUpload).encode('UTF-8'))          jsonToUpload = "userUpdate" + ".json"        s3.put_object(Bucket=bucket, Key=jsonToUpload, Body=uploadFile)             return {       'statusCode': 200,       'body': event       }

Answer 1

您没有说，但我猜测您正在编写一个由 DynamoDB Streams 中的事件触发的 Lambda 函数，并且您希望将这些事件写入 S3。

如果您想在 S3 中维护多个文件/对象，那么您需要为它们提供唯一的密钥。写入 userUpdate.json 将简单地使用该密钥覆盖任何现有对象（除非您启用了版本控制，我认为您没有启用版本控制）。

因此，每次都创建一个唯一的对象键。您可以插入以毫秒（或其他）为单位的时间戳，这可能是唯一的。或者您可以插入 UUID。

值得一问：为什么要将 DynamoDB Streams 事件存储在 S3 中？

Answer 2

event['Records']是一个需要迭代的列表。

每个条目都包含有关 dynamodb 事件的信息。