测试性能和批量数据填充：基于控制台的 DynamoDB 读取和写入以及 S3 导入

介绍

DynamoDB 是 Amazon 高度可扩展的 NoSQL 数据库，在处理海量数据方面拥有卓越的性能和灵活性。本文将探讨如何通过控制台充分利用 DynamoDB 的强大功能，使用 S3 导入功能读取、写入和填充大型数据集。我们将逐步讲解整个过程，从生成示例 CSV 文件到验证 DynamoDB 表是否已成功填充。

生成和准备数据

首先创建一个包含模拟数据的 CSV 文件。您可以使用TableConvert等在线工具来创建文件结构。我们的 CSV 文件包含 id、first_name、last_name、home_airport、subscriber、ip_address 和 last_flight 等字段。

以下是 CSV 中的数据示例：

id,first_name,last_name,home_airport,subscriber,ip_address,last_flight

1,John,Doe,JFK,Yes,192.168.1.1,2023-08-14
2,Jane,Smith,LAX,No,10.0.0.1,2023-08-10
3,Michael,Johnson,SFO,Yes,172.16.0.1,2023-08-12
4,Emily,Williams,ORD,No,192.168.0.1,2023-08-09
5,David,Brown,DEN,Yes,192.168.2.1,2023-08-11
6,Susan,Miller,ATL,Yes,192.168.3.1,2023-08-13
7,Robert,Jones,DFW,No,10.0.0.2,2023-08-08
8,Linda,Davis,MIA,Yes,172.16.1.1,2023-08-06
9,William,Anderson,LAS,No,192.168.0.2,2023-08-07
10,Amy,Martin,SEA,Yes,192.168.4.1,2023-08-05
11,Mark,Thompson,BOS,Yes,192.168.5.1,2023-08-04
12,Karen,White,PDX,No,10.0.0.3,2023-08-03
13,James,Clark,PHX,Yes,172.16.2.1,2023-08-02
14,Nancy,Lee,IAH,No,192.168.0.3,2023-08-01
15,Charles,Hall,SAN,Yes,192.168.6.1,2023-07-31

将 CSV 数据上传到 S3

接下来，我们需要创建一个 S3 存储桶来存放我们的 CSV 文件。

请按照以下步骤操作：

a.登录 AWS 管理控制台并导航到 S3 服务。

b.导航到 Amazon S3 并单击“创建存储桶”。

c. 为存储桶提供一个唯一的名称，并选择“美国东部（弗吉尼亚北部）”区域 (us-east-1)。

d.接受默认设置并创建存储桶。

e. 将之前生成的 CSV 文件上传到新创建的 S3 存储桶。

将数据导入 DynamoDB

现在，让我们将 S3 存储桶中的 CSV 文件中的数据导入 DynamoDB 表。

方法如下：

a.访问 DynamoDB 控制台。

b.返回 DynamoDB 页面并单击“从 S3 导入”选项。

c. 配置导入设置，例如源 S3 URL、S3 存储桶所有者（选择“此 AWS 账户”）、导入文件压缩（无压缩）、导入文件格式（CSV）、CSV 标头（使用源文件的第一行）和 CSV 分隔符（逗号）。

d.继续指定表详细信息，包括表名、分区键（id）以及可选的排序键（last_flight）。

e. 使用默认值配置表设置。

f. 检查您的设置并点击“导入”以启动数据导入过程。

验证数据填充

要确认数据填充是否成功，请按照以下步骤操作：

a.返回 DynamoDB 控制台并导航到“表”部分。

b. 选择您要导入数据的表。

c.选择“探索表格项目”来查看填充的数据。

d.您现在可以选择单个项目来探索 JSON 格式的数据。

结论

在本文中，我们探讨了使用 AWS 管理控制台在 Amazon DynamoDB 中测试性能并填充大量记录的过程。通过创建 CSV 文件、将其上传到 S3 存储桶，然后将数据导入 DynamoDB 表，我们演示了一种简化的数据存储和检索方法。DynamoDB 与其他 AWS 服务的无缝集成使其成为高效管理大规模数据集的强大选择。随着您继续探索 DynamoDB 的功能，您将发现它在提升应用程序可扩展性和性能方面的潜力。