Amazon S3是AWS（亚马逊云科技）提供的一种强大且成本低的对象存储服务，这项服务不仅可以将数据从源存储桶复制到不同区域的目标存储桶，还可以用于跨账户数据迁移或向数据湖添加新的存储桶。本文将介绍如何AWS S3如何批量复制文件到另一个S3，快速在AWS区域内或跨区域复制现有数据。
一、创建两个AWS S3存储桶
1、使用账户信息登录AWS管理控制台。在搜索栏中输入S3，然后从结果中选择S3。
2、在AWS S3控制台的左侧导航窗格中，选择存储桶，然后选择创建存储桶。
3、为源存储桶输入一个全局唯一的描述性名称。选择要在其中创建存储桶的AWS区域。在本示例中，选择了中国（北京）cn-north-1区域。
4、启用存储桶版本控制。AWS S3复制的源和目标S3存储桶都需要使用存储桶版本控制。
5、可以为其余选项保留默认值。导航到页面底部，然后选择创建存储桶。
6、重复上述步骤，创建另一个S3存储桶作为目标存储桶。对于S3 Same-Region Replication（S3SRR），这个新的存储桶可以与源存储桶位于同一AWS区域；而对于S3 Cross-Region Replication（S3CRR），它可以位于不同的AWS区域。确保为目标S3存储桶启用存储桶版本控制，并为新存储桶指定唯一名称。
二、在AWS S3存储桶上创建S3复制配置1、从S3存储桶列表中，选择源S3存储桶。控制台将带进入S3存储桶登录页面。
2、在S3存储桶登录页面上，可以查看所选S3存储桶的对象、属性、权限、指标、管理和访问点，并在管理选项卡的复制规则下，选择创建复制规则。
3、输入复制规则名称，并确保在状态部分下选择已启用。如果禁用了复制规则将无法运行。
注意：AWS S3会尝试根据所有复制规则复制对象。但是，如果有两个或更多规则具有相同的目标存储桶，则会根据优先级最高的规则复制对象。数字越小，优先级越高。可以选择在复制配置页面上编辑每条复制规则的优先级。
4、通过定义筛选器类型（前缀或标签）来缩小复制范围，或者选择复制整个存储桶。例如，如果只想复制包括前缀Finance的对象，请指定该范围。
5、通过选择浏览AWS S3按钮并输入整个存储桶名称，选择创建的目标存储桶。
6、从同一个源存储桶创建新的复制规则时，请确保与此配置关联的AWS Identity and Access Management（IAM）角色有足够的权限在新目标存储桶中写入新对象。可以选择创建新的IAM角色或选择具有正确权限集的现有IAM角色。
7、（可选）如果对象使用AWS S3托管加密密钥（SSE-S3）或AWSKeyManagementService（AWSKMS）进行加密，请指定加密选项。AWS S3复制支持SSE-S3（默认加密）、AWSKMS服务器端加密（SSE-KMS）和使用客户提供的密钥进行服务器端加密（SSE-C）。如果选择AWSKMS加密，请提供AWSKMS密钥以在源存储桶中解密并在目标存储桶中重新加密。为了节省AWSKMS成本，可以启用AWS S3存储桶密钥。
8、（可选）在目标存储桶上为复制的对象选择S3存储类。考虑根据工作负载选择成本较低的存储类别。例如，可以选择Intelligent-Tiering来优化访问模式不可预测或不断变化的数据的存储成本；如果复制的对象很少被访问，但需要在几毫秒内检索，则可以选择GlacierInstant Retrieval，或者选择GlacierDeep Archive来归档很少需要访问的数据。
9、选择需要的任何其他复制选项：
- 复制时间控制（RTC）：AWS S3 RTC可帮助满足合规性和业务要求，因为它提供在15分钟内复制99.99%的对象的SLA。可以启用S3 RTC以及S3 CRR和S3 SRR。默认情况下，复制指标和通知处于启用状态；
- 复制指标和通知：对于非RTC规则，可以选择复制指标和通知，它们提供了详细的指标，用于跟踪复制规则的待处理字节、待处理操作、失败操作和复制延迟的每分钟进度；
- 删除标记复制：选择删除标记复制意味着源存储桶上的删除内容将复制到目标存储桶。如果想使源存储桶和目标存储桶保持同步，则应启用此功能，但如果目标是防止意外或恶意删除，则不应启用此功能；
- 副本修改同步：要在两个AWS S3存储桶之间建立双向复制，请创建双向复制规则（A到B，B到A），并同时为源和目标S3存储桶中的复制规则启用副本修改同步。这将帮助在副本和源对象之间保持标签、ACL和对象锁定设置等对象元数据的同步；
使用AWS S3批量复制功能复制现有对象时，不支持S3 RTC、复制指标和通知以及副本修改同步。配置复制后，选择保存。
10、在AWS S3存储桶的新复制配置中创建第一条规则或向现有配置添加新的目标AWS区域时，可以选择为该复制规则启用现有对象复制。要复制现有对象，请选择是，复制现有对象，然后选择提交。
在创建批量操作作业页面上，可以查看S3批量操作作业设置，如作业运行选项、AWS S3完成报告的范围和权限。
1、设置作业运行选项。如果希望AWS S3批量复制作业立即运行，则可以选择准备就绪后自动运行作业。如果要等待作业准备就绪后再运行，则可以保存批量操作清单以查看要复制的对象列表。
2、设置批量操作清单选项。AWS S3生成的清单文件使用与复制配置相同的源存储桶、前缀和标签，可列出所有符合复制条件的对象版本。建议始终选择保存批量操作清单，这样就可以在复制开始之前查看对象列表。可以将清单保存在相同或不同的AWS账户中，但清单文件必须与源存储桶存储在同一AWS区域。该清单文件与源存储桶位于同一AWS账户中。
3、为了提高安全性，请使用AWS S3托管密钥（SSE-S3）或AWS Key Management Service密钥（SS3-KMS）对清单文件进行加密。
4、只要AWS S3批量操作成功处理了至少一个对象，AWS S3就会在批量复制作业完成、失败或取消后生成完成报告。完成报告包含每项任务的附加信息，包括对象密钥名称和版本、状态、错误代码以及对任何错误的描述。建议选择“为所有任务生成完成报告”，这样就可以查看使用此作业复制的所有对象的状态。
5、确保与此批量复制作业关联的IAM角色有足够的权限代表执行AWS S3批量操作。查看配置，然后选择保存，将被重定向到“批量操作”主页。
6、选择新作业的作业ID以查看作业配置。还可以跟踪批量复制作业的状态。
四、使用现有复制配置复制现有对象除了按照上一步所述为新的复制规则创建复制作业外，还可以为S3存储桶中的现有复制规则创建S3批量复制作业。为此，请返回AWS S3控制台主页。
1、在控制台主页的左侧导航窗格中，选择批量操作，然后选择创建作业。
2、在创建作业页面上，选择要在其中创建批量复制作业的AWS区域。必须在源AWS S3存储桶所在的同一AWS区域中创建作业。
3、提供要复制的对象的列表。可以以AWS S3清单报告或CSV文件的形式添加用户生成的清单。清单需要包含需要复制的所有对象版本。AWS S3还可以使用源存储桶上的现有S3复制配置为生成清单。
注意：在此示例中，我们选择使用SAWS S3复制配置创建清单，让AWS S3代表我们生成清单，并选择源存储桶。如果选择让AWS S3为生成清单，还将看到其他筛选条件（例如对象创建日期和复制状态），可以缩小作业范围。
4、选择下一步以转至选择操作页面。
5、如果在上一页选择了使用AWS S3复制配置创建清单，则唯一的“操作”选项是复制。这是因为复制是使用S3生成的清单时允许的唯一操作。选择复制，然后选择下一步。
6、配置其他选项：
- 输入描述，为作业的用途提供最佳定义；
- 选择优先级以指明此作业相对于在账户中运行的其他作业的相对优先级。数字越大，优先级越高。例如，优先级为2的作业将优先于优先级为1的作业。
7、选择是否要生成完成报告。
8、选择有效的批量操作IAM角色以授予AWS S3代表执行操作的权限。必须将批量复制IAMpolicy附加到批量操作IAM角色。
9、向批量复制作业添加作业标签，然后选择下一步以查看作业配置。
10、在审阅页面上，选择编辑进行更改，然后选择下一步保存更改并返回审阅页面。作业准备就绪后，选择创建作业。
11、创建批量复制作业后，批量操作会处理清单。如果成功，它会将作业状态更改为等待确认运行。必须先确认作业的详细信息，然后才能运行作业。作业成功后，批量操作页面的顶部会显示一个横幅。
1、从AWS S3存储桶列表中，选择要配置为复制源的S3存储桶。控制台将带进入S3存储桶登录页面。
2、查看所选AWS S3存储桶的对象、属性、权限、指标、管理和访问点。
3、在管理选项卡的复制规则下，选择查看复制配置。
4、在源存储桶的复制配置主页上，选择创建复制作业以转到AWS S3批量操作的创建作业页面。重复上述步骤，使用现有复制配置创建批量复制作业。
相关推荐：
(本文由美国主机侦探原创，转载请注明出处“美国主机侦探”和原文地址！)
微信扫码加好友进群
主机优惠码及时掌握
QQ群号：938255063
主机优惠发布与交流
