AWS MWAA Serverlessを実際に使ってみた

2025.12.19
AWS MWAA Serverlessを実際に使ってみた
この記事をシェアする

はじめに

こんにちは、Cloud Buildersのzumiです。本日はアドベントカレンダー19日目です!私ごとですが、本日弊社の忘年会があり、改めて1年の終わりを実感します。

本日は最近実装されたMWAA serverlessを実際に触ってみます。

従来のMWAAでは環境の起動に時間がかかり、最小構成でも月額数百ドルのコストが発生していましたが、Serverless版では使った分だけの課金、インフラ管理不要、そして数分でのワークフロー実行開始が可能になりました。

本記事では、MWAA Serverlessを実際に使ってみて、どのように動作するのか、何ができるのかを手を動かしながら確認していきます。

この記事でやること

  1. 他のAWSサービスとの比較 – EventBridge、Step Functionsとの違い
  2. CDKでインフラ構築 – IAMロール、S3バケットの準備
  3. ワークフロー作成と実行 – 段階的に2つのパターンを試す
    • Step 1: シンプルなS3操作
    • Step 2: タスクの依存関係

MWAA Serverless vs 他のAWSオーケストレーションサービス

AWSには複数のワークフローサービスがあります。それぞれの特徴と使い分けを整理します。

EventBridge(イベント駆動)

向いているケース

  • S3にファイルが来たらLambda実行、といった単純な連携
  • スケジュール実行だけで十分な場合
  • AWSサービス間の簡単なイベントルーティング

特徴

  • 設定が簡単で学習コスト低
  • 料金が安い
  • 複雑な依存関係には向かない

Step Functions(ステートマシン)

向いているケース

  • ビジネスロジックのワークフロー(承認フロー、注文処理など)
  • 条件分岐が多い処理
  • 視覚的なフロー図で設計・管理したい場合

特徴

  • JSONでワークフロー定義
  • 視覚的なUIで状態管理
  • エラーハンドリングが柔軟
  • データパイプラインには少し複雑

MWAA Serverless(Airflow)

向いているケース

  • データパイプライン(ETL、バッチ処理)
  • 複雑なタスク依存関係がある場合
  • スケジュール実行+過去データの再実行(バックフィル)が必要
  • Airflowの豊富なオペレーター(1000+)を活用したい

特徴

  • YAMLでワークフロー定義(Pythonライクな表現も可能)
  • タスクの依存関係を直感的に記述
  • リトライ・タイムアウト設定が柔軟
  • 学習コストは中〜高

MWAA(従来版)vs MWAA Serverless

従来のMWAAとServerless版の違いを整理します。

MWAA Serverlessの良い点

✅ コスト面

  • 実行時間分だけの従量課金
  • アイドル時間の課金なし
  • 開発環境や検証環境で大幅にコスト削減
  • 断続的なワークフローに最適

✅ 運用面

  • 環境構築が不要(数秒で開始)
  • インフラのスケーリング管理不要
  • メンテナンスウィンドウなし
  • Airflowバージョンのアップグレードが自動

✅ 権限管理

  • ワークフローごとに細かくIAM権限を設定可能
  • 最小権限の原則を実現しやすい
  • セキュリティ要件が厳しい環境に最適

MWAA Serverlessの制約・注意点

❌ カスタマイズ制限

  • カスタムPythonパッケージのインストール不可
  • Amazon Provider Packageのオペレーターのみ利用可能
  • プラグインやカスタムオペレーターが使えない
  • 独自のOperatorが必要な場合は従来版を選択

❌ ネットワーク制限

  • VPC内のリソースへの直接アクセス不可
  • プライベートサブネットのRDSやElastiCacheに接続できない
  • VPCエンドポイント経由のアクセスも現状不可
  • オンプレミス連携には工夫が必要

❌ 実行環境の制御

  • Worker数やスペックの調整不可
  • 同時実行数の上限が不明瞭
  • 大規模並列処理には向かない可能性
  • リソース不足時の挙動が予測しづらい

❌ 料金面の注意

  • 常時稼働するワークフローは従来版の方が安い場合あり
  • 1日中動くDAGなら従来版の固定料金が有利
  • 実行時間が長い処理ではコスト増の可能性

どちらを選ぶべきか

MWAA Serverlessを選ぶべき場合

  • スケジュール実行(1日数回程度)のバッチ処理
  • 検証・開発環境
  • 基本的なAWSサービス(S3、Lambda、Glue等)のみ利用
  • とにかく早く始めたい
  • 運用工数を最小化したい

従来版MWAAを選ぶべき場合

  • 24時間稼働の連続処理
  • カスタムPythonライブラリが必須
  • VPC内リソースへの直接アクセスが必要
  • 本番環境の大規模ワークフロー
  • Worker数やリソースを細かく制御したい

アーキテクチャ概要

今回構築する環境の全体像です:

┌─────────────────────────────────────────────────────┐
│ SageMaker Unified Studio                               │
│  ├─ MWAA Serverless Workflows                        │
│  │   ├─ step1-simple-s3                             │
│  │   └─ step2-with-dependencies                     │
│  └─ Airflow UI (監視・管理)                          │
└─────────────────────────────────────────────────────┘
         ↓ AssumeRole
┌─────────────────────────────────────────────────────┐
│ IAM Roles (ワークフロー実行用)                        │
│  ├─ mwaa-serverless-step1-role                      │
│  └─ mwaa-serverless-step2-role                      │
└─────────────────────────────────────────────────────┘
         ↓ Access
┌─────────────────────────────────────────────────────┐
│ AWS Resources                                         │
│  └─ S3 Buckets                                      │
│      └─ データバケット                              │
└─────────────────────────────────────────────────────┘

重要なポイント

  1. SageMaker Unified Studio: MWAA ServerlessはこのUI経由で管理
  2. IAM Roles: ワークフローごとに細かく権限を分離(Step1用とStep2用)
  3. S3:データを格納

Step 0: CDKでインフラ構築

まずは土台となるインフラをCDKで構築します。

プロジェクトのセットアップ

# プロジェクト作成
mkdir cdk-mwaa-serverless
cd cdk-mwaa-serverless
npm init -y
npm install aws-cdk-lib constructs

# CDK初期化
npx cdk init app --language typescript

主要なリソース

CDKスタックで以下を作成します:

1. S3バケット

// データ用
const dataBucket = new s3.Bucket(this, 'DataBucket', {
  bucketName: `mwaa-serverless-data-${this.account}`,
  removalPolicy: cdk.RemovalPolicy.DESTROY,
  autoDeleteObjects: true,
});

2. IAMロール(2つ)

各ワークフローに専用のロールを作成し、最小権限の原則を実践します:

const step1Role = new iam.Role(this, 'Step1Role', {
  roleName: 'mwaa-serverless-step1-role',
  assumedBy: new iam.CompositePrincipal(
    new iam.ServicePrincipal('sagemaker.amazonaws.com'),
    new iam.ServicePrincipal('airflow-serverless.amazonaws.com'),
    new iam.ServicePrincipal('datazone.amazonaws.com')
    // ... 他のサービスプリンシパル
  ),
});

// S3権限を付与
workflowBucket.grantRead(step1Role);
dataBucket.grantReadWrite(step1Role);

// CloudWatch Logs権限
step1Role.addToPolicy(new iam.PolicyStatement({
  actions: ['logs:CreateLogGroup', 'logs:CreateLogStream', 'logs:PutLogEvents'],
  resources: [`arn:aws:logs:${this.region}:${this.account}:log-group:/aws/mwaa-serverless/*`],
}));

ポイント:

  • airflow-serverless.amazonaws.com だけでなく、SageMaker Unified Studio経由のアクセスのため複数のサービスプリンシパルが必要

デプロイ

# 環境変数設定(.envファイル)
AWS_PROFILE=your-profile
AWS_REGION=ap-northeast-1

# デプロイ
npm run build
cdk deploy

デプロイが完了すると、CloudFormationスタックから以下の出力が得られます:

  • S3バケット名(データ用)
  • IAMロールARN(2つ)

Step 1: シンプルなS3操作

最初は最もシンプルなワークフローから始めます。

目的

  • MWAA Serverlessの基本的な動作を理解する
  • S3リスト取得の基本操作を実行する

ワークフロー作成(GUI)

1. Amazon MWAAからサーバレスワークフローを選択する

2. ワークフロー作成をクリックするとmazon SageMaker Unifird Studioの設定画面が表示されるので、セットアップする

3. サイドバーからWorkflowsを選択し Create new worlflow からworkflowを作成する

  • 名前: step1-simple-s3
  • 実行ロール: mwaa-serverless-step1-role
  • 定義タイプ: ビジュアルエディタ

タスク1: S3CreateObject

オペレーター検索で S3CreateObjectOperator を検索

設定項目:

  • Task ID: s3CreateTestFile
  • s3_bucket: mwaa-serverless-data-211125722434 (デプロイ時の出力値)
  • s3_key: manualTest/test.txt
  • data: Hello from GUI!
  • replace: true

タスク2: S3ListOperator

設定項目:

  • Task ID: s3ListOperator
  • bucket: mwaa-serverless-data-211125722434
  • prefix: manualTest/

設定後タスク同士を繋げる

5. 完成したYAML定義

GUIで作成したワークフローのYAML定義はこのようになります:

mwaa_serverless_test:
  dag_id: step1-simple-s3
  tasks:
    s3CreateTestFile:
      operator: airflow.providers.amazon.aws.operators.s3.S3CreateObjectOperator
      data: Hello from GUI!
      s3_key: manualTest/test.txt
      s3_bucket: mwaa-serverless-data-211125722434
      replace: false
      encrypt: false
    s3ListOperator:
      dependencies:
        - s3CreateTestFile
      operator: airflow.providers.amazon.aws.operators.s3.S3ListOperator
      bucket: mwaa-serverless-data-211125722434
      prefix: manualTest/
  • トップレベルは mwaa_serverless_test: (ワークフロー名)
  • dag: ブロックは不要(GUIの簡易フォーマット)
  • default_args や schedule_interval も省略可能
  • タスク定義がシンプルで分かりやすい

ワークフロー実行

1. 実行開始

保存(Save)し実行(Run)する

2. 実行状態の確認

何度か失敗してますが一番上が実行中のものです

最初は queued 状態になり、数十秒でワーカーが起動して running になります。(1分近くかかることもある)

3. S3バケットの確認


Step 2: タスクの依存関係

次は、より複雑な依存関係を持つワークフローを作成します。

目的

  • 複数タスクの順次実行
  • S3KeySensor(ファイル待機)の動作確認

ワークフローの流れ


ワークフロー作成

新しいワークフロー

  • 名前: step2-with-dependencies
  • 実行ロール: mwaa-serverless-step2-role

タスク構成

タスク1: create_test_file (S3CreateObject)
s3_bucket: mwaa-serverless-data-211125722434
s3_key: test2/sample-{{ ds }}.txt
data: Hello from MWAA Serverless! Created at {{ ts }}
replace: true
タスク2: check_file_exists (S3KeySensor)
bucket_name: mwaa-serverless-data-211125722434
bucket_key: test2/sample-{{ ds }}.txt
timeout: 300
poke_interval: 10
dependencies: [create_test_file]

Sensorとは?

  • ファイルの存在を定期的にチェック(poke_interval秒ごと)
  • タイムアウトまで待機(timeout秒)
  • ファイルが見つかったら次のタスクへ
タスク3: list_test_files (S3ListOperator)
bucket: mwaa-serverless-data-211125722434
prefix: test2/
dependencies: [check_file_exists]
タスク4: delete_test_file (S3DeleteObjectsOperator)
bucket: mwaa-serverless-data-211125722434
keys: 
  - test2/sample-{{ ds }}.txt
dependencies: [list_test_files]

注意: keys は配列で指定しますが、GUIでは文字列として入力します(後述のYAML参照)。

完成したYAML定義

GUIで作成したワークフローのYAML定義:

dag:
  dag_id: step2-with-dependencies
  default_args:
    owner: airflow
    retries: 2
    retry_delay: 60
  schedule_interval: null
  tasks:
    create_test_file:
      operator: airflow.providers.amazon.aws.operators.s3.S3CreateObjectOperator
      s3_bucket: mwaa-serverless-data-211125722434
      s3_key: test2/sample-{{ ds }}.txt
      data: Hello from MWAA Serverless! This is a test file created at {{ ts }}
      replace: true
      aws_conn_id: aws_default
    
    check_file_exists:
      dependencies:
        - create_test_file
      operator: airflow.providers.amazon.aws.sensors.s3.S3KeySensor
      bucket_name: mwaa-serverless-data-211125722434
      bucket_key: test2/sample-{{ ds }}.txt
      aws_conn_id: aws_default
      timeout: 300
      poke_interval: 10
    
    list_test_files:
      dependencies:
        - check_file_exists
      operator: airflow.providers.amazon.aws.operators.s3.S3ListOperator
      bucket: mwaa-serverless-data-211125722434
      prefix: test2/
      aws_conn_id: aws_default
    
    delete_test_file:
      dependencies:
        - list_test_files
      operator: airflow.providers.amazon.aws.operators.s3.S3DeleteObjectsOperator
      bucket: mwaa-serverless-data-211125722434
      keys: test2/sample-{{ ds }}.txt
      aws_conn_id: aws_default

ポイント:

  • Step2では dag: ブロックを使用(より従来のAirflow形式)
  • default_args で共通設定(owner、retries、retry_delay)
  • schedule_interval: null で手動実行モード
  • Sensorの timeout と poke_interval で待機動作を制御
  • keys はYAMLでは文字列として記述(配列形式ではない)

実行と結果

1. 実行開始(一番上)

2. 実行途中

実行タスク自体は数秒で終わるのですが、Queuedの待ち時間が長い(4分以上実行にかかった)

3. S3での確認

ワークフロー完了後、test/sample-2025-12-17.txt が削除されていることを確認。

学んだこと

✅ Sensorで外部リソースの待機ができる ✅ タスクが順番通りに実行される ✅ エラーが発生した場合、後続タスクは実行されない(依存関係が保たれる) ✅ CloudWatch Logsで各タスクの詳細ログが確認できる


料金について

MWAA Serverless の料金体系

完全従量課金制

  • ワークフロー実行時間のみ課金
  • アイドル時間は無料
  • 環境維持費用なし

料金(ap-northeast-1)

  • ワークフロー実行: $0.18 / 実行時間(分)
  • ワーカー起動: $0.12 / vCPU時間
  • S3ストレージ: 標準料金

今回の実験コスト

Step 1: 約1分実行 = $0.18
Step 2: 約2分実行 = $0.36

合計: 約 $0.54 + S3料金(数セント)
→ 1回のテスト実行で約 $0.60

従来版MWAAとのコスト比較

従来版MWAA(最小構成 mw1.small)

  • 月額基本料金: 約 $300
  • 環境が起動している間は常に課金
  • Worker数に応じて追加料金
  • 使わなくても料金発生

MWAA Serverless

  • 月額基本料金: $0
  • 実行時のみ課金
  • 使わなければ無料

コスト例(1日1回、5分のバッチ処理)

【従来版MWAA】
月額: $300(固定)

【MWAA Serverless】
1実行: $0.18 × 5分 = $0.90
月額: $0.90 × 30日 = $27

→ 約92%のコスト削減!

コスト例(24時間常時稼働)

【従来版MWAA】
月額: $300〜(Worker数による)

【MWAA Serverless】
1ヶ月: $0.18 × 60分 × 24時間 × 30日 = $7,776

→ 従来版の方が圧倒的に安い

結論

  • 断続的な実行: Serverlessが有利(最大95%削減)
  • 常時稼働: 従来版が有利

まとめ

MWAA Serverlessを使ってみて

素晴らしかった点

  • ✅ 即座に開始できる: 環境構築不要、数秒で実行開始
  • ✅ コスト効率: 断続的な処理なら従来版の1/10以下
  • ✅ 運用負荷ゼロ: スケーリング・メンテナンス完全自動
  • ✅ 柔軟な権限管理: ワークフローごとにIAMロール分離可能
  • ✅ Airflowの機能: 豊富なオペレーター、リトライ、バックフィル

制約・注意点

  • ⚠️ カスタマイズ不可: 独自Pythonパッケージ・オペレーター使えず
  • ⚠️ VPC制限: プライベートサブネットのリソースにアクセス不可
  • ⚠️ 常時稼働は高コスト: 24時間動かすなら従来版の方が安い
  • ⚠️ 新しいサービス: ドキュメント・事例が少ない
  • ⚠️ オペレーターパラメータの癖: 慣れが必要
  • ⚠️ 実行開始までの時間:サーバレスのため想定より実行開始後のQueued状態が長い

選択ガイド 

MWAA Serverlessを選ぶべきケース

  • 1日数回のスケジュールバッチ
  • 開発・検証環境
  • ETL/データパイプライン(基本的なAWSサービスのみ)
  • とにかく早く試したい
  • 運用コストを最小化したい

従来版MWAAを選ぶべきケース

  • 24時間常時稼働
  • カスタムPythonライブラリ必須
  • VPC内リソース(RDS、ElastiCache等)への直接アクセス必要
  • 大規模本番環境
  • Workerリソースを細かく制御したい

EventBridge/Step Functionsを選ぶべきケース

  • 単純なイベント駆動(EventBridge)
  • ビジネスロジックのワークフロー(Step Functions)
  • Airflowほどの機能は不要

次のステップ

今回は基本的な機能を試しましたが、さらに以下のような活用方法があります:

MWAA Serverlessで試せること

  • スケジュール実行(Cron式で定期実行)
  • バックフィル(過去データの再実行)
  • より複雑な依存関係(Fan-out/Fan-in)
  • Glue/Athena/EMRとの連携
  • CloudWatch Alarms連携

本番環境で使いたくなったら

  • 制約が問題になる場合は従来版MWAAへの移行を検討
  • YAMLファイルはそのまま使える(一部調整必要)
  • IAM権限設計はServerlessで学んだことが活かせる

興味がある方はぜひ試してみてください!


参考リンク


おわりに

MWAA Serverlessは、Airflowを気軽に始められる画期的なサービスです。

ただ利用できる機能に制約があり、従来のMWAAからの移行はまだ現状では難しい可能性があります。

データパイプラインを試したことのない方は、ぜひ試してみてもらえれば幸いです。

この記事をシェアする
著者:zumi
zumiです。まだまだaws学び中。仕事の中で生かせる技術の検証や、深掘りしたい内容を試します。IoT周りを触りたい今日この頃