はじめに

こんにちは、Shunです。

これまでプレビュー版だったAWS Certified Data Engineer – Associate（以降、DEA）が2024年3月12日より一般受験可能となりました。

AWS Certified Data Analytics – Specialtyが2024年4月9日に廃止となるので、それまでにDEAを取得し、幻のAWS13冠エンジニアになろうと目論んでいます。

※編集部注）筆者がAWS12冠を取得した経緯や勉強方法は下記の記事でご覧ください。

試験概要

公式サイトの試験概要には、以下の記載があります。

AWS Certified Data Engineer – Associate は、コアデータ関連の AWS サービスに関するスキルと知識や、データの取り込みと変換、プログラミングの概念を適用しながらのデータパイプラインのオーケストレート、データモデルの設計、データライフサイクルの管理、データ品質の確保といった能力を検証します。
出典: AWS Certified Data Engineer – Associate

合格点

DEAの合格点は1000点満点中、720点以上です。

基礎レベルは700点、アソシエイトレベルは720点、プロフェッショナルおよびスペシャリティレベルは750点が合格点です。

AWSでは、問題の難易度に応じた配点が設定されているため、正答率が72%を超えていても必ずしも合格となるわけではありません。

試験のスコアとレポート

料金

2024年4月1日から試験料が上がります。受験を考えている方は、値上げ前の3月中に受験することをお勧めします。

2024年4月1日以前の試験料

試験の種類	JPY
Foundational	11,000 円
Associate	15,000 円
Professional	30,000 円
Specialty	30,000 円

2024年4月1日以降の試験料

試験の種類	JPY
Foundational	15,000 円
Associate	20,000 円
Professional	40,000 円
Specialty	40,000 円

試験内容

試験内容は以下の4つの分野に分けられます。

• 第1分野: データの取り込みと変換 (採点対象コンテンツの 34%)
• 第2分野: データストア管理 (採点対象コンテンツの 26%)
• 第3分野: データ運用とサポート (採点対象コンテンツの 22%)
• 第4分野: データセキュリティとガバナンス (採点対象コンテンツの 18%)

各分野での対象スキルをいくつかピックアップし、以下にご紹介します。

以下で挙げるものは対象知識やスキルの一部に過ぎませんので、詳細な内容を全て確認したい方は、公式の試験ガイドを参照してください。

• AWS Certified Data Engineer – Associate (DEA-C01) 試験ガイド

第1分野: データの取り込みと変換

1.1: データの取り込みを行う

• ストリーミングソースからのデータの読み取り (Kinesis、MSK、DynamoDB Streams、DMS、Glue、Redshift)
• バッチソースからのデータの読み取り (S3、Glue、EMR、DMS、Redshift、Lambda、AppFlow)

1.2: データを変換して処理する

• パフォーマンスニーズに合わせてコンテナの使用を最適化 (EKS、ECS)
• 要件に基づくデータ変換サービスの実装 ( EMR、 Glue、Lambda、Redshift)

1.3: データパイプラインをオーケストレーションする

• オーケストレーションサービスを使用してデータ ETL パイプラインのワークフローを構築 (Lambda、EventBridge、MWAA、Step Functions、Glue ワークフロー)
• 通知サービスを使用したアラートの送信 (SNS、SQS)

1.4: プログラミングの概念を応用する

• 同時実行性とパフォーマンスのニーズを満たすための Lambda 関数の設定
• Git コマンドを使用した、リポジトリの作成、更新、複製、分岐などの アクションの実行
• SAMを使用したサーバーレス データパイプラインのパッケージ化およびデプロイ (Lambda、Step Functions、DynamoDB)

第2分野: データストア管理

2.1: データストアを選択する

• 特定のコストとパフォーマンスの要件に適したストレージサービスの実装 (Redshift、EMR、Lake Formation、RDS、DynamoDB、Kinesis Data Streams、MSK)
• 特定のアクセスパターンと要件に適したストレージサービスの設定 (Redshift、EMR、Lake Formation、RDS、DynamoDB)

2.2: データカタログシステムを理解する

• データカタログを使用したデータソースのデータの利用
• データカタログの構築と参照 (Glue Data Catalog、Apache Hive メタストア)

2.3: データのライフサイクルを管理する

• S3とRedshiftの間でデータを移動するためのロードおよびアンロード操作の実行
• S3 データのストレージ階層を変更するための S3 ライフサイクルポリシーの管理

2.4: データモデルとスキーマの進化を設計する

• Redshift、DynamoDB、Lake Formationのスキーマの設計
• データ特性の変化への対処
• スキーマ変換の実行 (SCTやDMS Schema Conversion)

第3分野: データ運用とサポート

3.1: サービスを使用してデータ処理を自動化する

• データパイプラインのオーケストレーション (MWAA、Step Functions)
• サービスの機能を使用してデータを処理 (EMR、Redshift、Glue)

3.2: サービスを使用してデータを分析する

• のサービスとツール (Glue DataBrew、QuickSight) を使用してデータを視覚化
• データの検証とクリーニング (Lambda、Athena、QuickSight、Jupyter Notebook、SageMaker Data Wrangler)

3.3: データパイプラインの保守とモニタリングを行う

• 監査とトレーサビリティを促進するためのログ記録およびモニタリング ソリューションのデプロイ
• CloudTrail を使用した API コールの追跡
• サービスによるログの分析 (Athena、EMR、OpenSearch Service、CloudWatch Logs Insights、ビッグデータ アプリケーションログ)

3.4: データ品質を確保する

• データ処理時にデータ品質チェックを実行する
• データ品質ルールの定義 (Glue DataBrew)

第4分野: データセキュリティとガバナンス

4.1: 認証メカニズムを適用する

• アクセス用の IAM ロールのセットアップ (Lambda、API Gateway、CLI、CloudFormation)
• ロール、エンドポイント、サービスへの IAM ポリシーの適用 (S3 Access Points、PrivateLink)

4.2: 認可メカニズムを適用する

• アプリケーションとデータベースの認証情報の保存 (Secrets Manager、Systems Manager Parameter Store)
• データベースユーザー、グループ、ロールにデータベースへのアクセス権と権限を付与する (Redshift)

4.3: データ暗号化とマスキングを実行する

• 暗号化キーを使用してデータを暗号化または復号化 (KMS)

4.4: 監査用のログを準備する

• サービスを使用してログを分析 (Athena、CloudWatch Logs Insights、OpenSearch Service)

4.5: データプライバシーとガバナンスを理解する

• データ共有のアクセス許可を付与 (Redshiftのデータ共有)
• PII 識別の実装 (Lake FormationによるMacie)

DEAのサンプル問題

AWSの試験では、20問のサンプル問題が提供されています。

AWS Certified Data Engineer – Associate 公式練習問題集

以下の赤枠の箇所からアクセスし、公式練習問題集を解くことができます。

まとめ

試験ガイドを詳しく調べると、対象となる知識やスキルの範囲が非常に広いことに気づきました。

しかしながら、DEAはアソシエイトレベルに位置づけられており、プロフェッショナルレベルの試験に比べると、知識の深さよりも、さまざまなサービスやユースケースに対する幅広い理解を問われます。

馴染みのないサービスなどは、AWS Black Beltなどで知識を補完し、試験に臨みたいと思います！

最後まで読んでいただきありがとうございます！