AWS MWAA Serverlessを実際に使ってみた
目次
はじめに
こんにちは、Cloud Buildersのzumiです。本日はアドベントカレンダー19日目です!私ごとですが、本日弊社の忘年会があり、改めて1年の終わりを実感します。
本日は最近実装されたMWAA serverlessを実際に触ってみます。
従来のMWAAでは環境の起動に時間がかかり、最小構成でも月額数百ドルのコストが発生していましたが、Serverless版では使った分だけの課金、インフラ管理不要、そして数分でのワークフロー実行開始が可能になりました。
本記事では、MWAA Serverlessを実際に使ってみて、どのように動作するのか、何ができるのかを手を動かしながら確認していきます。
この記事でやること
- 他のAWSサービスとの比較 – EventBridge、Step Functionsとの違い
- CDKでインフラ構築 – IAMロール、S3バケットの準備
- ワークフロー作成と実行 – 段階的に2つのパターンを試す
- Step 1: シンプルなS3操作
- Step 2: タスクの依存関係
MWAA Serverless vs 他のAWSオーケストレーションサービス
AWSには複数のワークフローサービスがあります。それぞれの特徴と使い分けを整理します。
EventBridge(イベント駆動)
向いているケース
- S3にファイルが来たらLambda実行、といった単純な連携
- スケジュール実行だけで十分な場合
- AWSサービス間の簡単なイベントルーティング
特徴
- 設定が簡単で学習コスト低
- 料金が安い
- 複雑な依存関係には向かない
Step Functions(ステートマシン)
向いているケース
- ビジネスロジックのワークフロー(承認フロー、注文処理など)
- 条件分岐が多い処理
- 視覚的なフロー図で設計・管理したい場合
特徴
- JSONでワークフロー定義
- 視覚的なUIで状態管理
- エラーハンドリングが柔軟
- データパイプラインには少し複雑
MWAA Serverless(Airflow)
向いているケース
- データパイプライン(ETL、バッチ処理)
- 複雑なタスク依存関係がある場合
- スケジュール実行+過去データの再実行(バックフィル)が必要
- Airflowの豊富なオペレーター(1000+)を活用したい
特徴
- YAMLでワークフロー定義(Pythonライクな表現も可能)
- タスクの依存関係を直感的に記述
- リトライ・タイムアウト設定が柔軟
- 学習コストは中〜高
MWAA(従来版)vs MWAA Serverless
従来のMWAAとServerless版の違いを整理します。
MWAA Serverlessの良い点
✅ コスト面
- 実行時間分だけの従量課金
- アイドル時間の課金なし
- 開発環境や検証環境で大幅にコスト削減
- 断続的なワークフローに最適
✅ 運用面
- 環境構築が不要(数秒で開始)
- インフラのスケーリング管理不要
- メンテナンスウィンドウなし
- Airflowバージョンのアップグレードが自動
✅ 権限管理
- ワークフローごとに細かくIAM権限を設定可能
- 最小権限の原則を実現しやすい
- セキュリティ要件が厳しい環境に最適
MWAA Serverlessの制約・注意点
❌ カスタマイズ制限
- カスタムPythonパッケージのインストール不可
- Amazon Provider Packageのオペレーターのみ利用可能
- プラグインやカスタムオペレーターが使えない
- 独自のOperatorが必要な場合は従来版を選択
❌ ネットワーク制限
- VPC内のリソースへの直接アクセス不可
- プライベートサブネットのRDSやElastiCacheに接続できない
- VPCエンドポイント経由のアクセスも現状不可
- オンプレミス連携には工夫が必要
❌ 実行環境の制御
- Worker数やスペックの調整不可
- 同時実行数の上限が不明瞭
- 大規模並列処理には向かない可能性
- リソース不足時の挙動が予測しづらい
❌ 料金面の注意
- 常時稼働するワークフローは従来版の方が安い場合あり
- 1日中動くDAGなら従来版の固定料金が有利
- 実行時間が長い処理ではコスト増の可能性
どちらを選ぶべきか
MWAA Serverlessを選ぶべき場合
- スケジュール実行(1日数回程度)のバッチ処理
- 検証・開発環境
- 基本的なAWSサービス(S3、Lambda、Glue等)のみ利用
- とにかく早く始めたい
- 運用工数を最小化したい
従来版MWAAを選ぶべき場合
- 24時間稼働の連続処理
- カスタムPythonライブラリが必須
- VPC内リソースへの直接アクセスが必要
- 本番環境の大規模ワークフロー
- Worker数やリソースを細かく制御したい
アーキテクチャ概要
今回構築する環境の全体像です:
┌─────────────────────────────────────────────────────┐
│ SageMaker Unified Studio │
│ ├─ MWAA Serverless Workflows │
│ │ ├─ step1-simple-s3 │
│ │ └─ step2-with-dependencies │
│ └─ Airflow UI (監視・管理) │
└─────────────────────────────────────────────────────┘
↓ AssumeRole
┌─────────────────────────────────────────────────────┐
│ IAM Roles (ワークフロー実行用) │
│ ├─ mwaa-serverless-step1-role │
│ └─ mwaa-serverless-step2-role │
└─────────────────────────────────────────────────────┘
↓ Access
┌─────────────────────────────────────────────────────┐
│ AWS Resources │
│ └─ S3 Buckets │
│ └─ データバケット │
└─────────────────────────────────────────────────────┘
重要なポイント
- SageMaker Unified Studio: MWAA ServerlessはこのUI経由で管理
- IAM Roles: ワークフローごとに細かく権限を分離(Step1用とStep2用)
- S3:データを格納
Step 0: CDKでインフラ構築
まずは土台となるインフラをCDKで構築します。
プロジェクトのセットアップ
# プロジェクト作成
mkdir cdk-mwaa-serverless
cd cdk-mwaa-serverless
npm init -y
npm install aws-cdk-lib constructs
# CDK初期化
npx cdk init app --language typescript
主要なリソース
CDKスタックで以下を作成します:
1. S3バケット
// データ用
const dataBucket = new s3.Bucket(this, 'DataBucket', {
bucketName: `mwaa-serverless-data-${this.account}`,
removalPolicy: cdk.RemovalPolicy.DESTROY,
autoDeleteObjects: true,
});2. IAMロール(2つ)
各ワークフローに専用のロールを作成し、最小権限の原則を実践します:
const step1Role = new iam.Role(this, 'Step1Role', {
roleName: 'mwaa-serverless-step1-role',
assumedBy: new iam.CompositePrincipal(
new iam.ServicePrincipal('sagemaker.amazonaws.com'),
new iam.ServicePrincipal('airflow-serverless.amazonaws.com'),
new iam.ServicePrincipal('datazone.amazonaws.com')
// ... 他のサービスプリンシパル
),
});
// S3権限を付与
workflowBucket.grantRead(step1Role);
dataBucket.grantReadWrite(step1Role);
// CloudWatch Logs権限
step1Role.addToPolicy(new iam.PolicyStatement({
actions: ['logs:CreateLogGroup', 'logs:CreateLogStream', 'logs:PutLogEvents'],
resources: [`arn:aws:logs:${this.region}:${this.account}:log-group:/aws/mwaa-serverless/*`],
}));ポイント:
airflow-serverless.amazonaws.comだけでなく、SageMaker Unified Studio経由のアクセスのため複数のサービスプリンシパルが必要
デプロイ
# 環境変数設定(.envファイル)
AWS_PROFILE=your-profile
AWS_REGION=ap-northeast-1
# デプロイ
npm run build
cdk deployデプロイが完了すると、CloudFormationスタックから以下の出力が得られます:
- S3バケット名(データ用)
- IAMロールARN(2つ)
Step 1: シンプルなS3操作
最初は最もシンプルなワークフローから始めます。
目的
- MWAA Serverlessの基本的な動作を理解する
- S3リスト取得の基本操作を実行する
ワークフロー作成(GUI)
1. Amazon MWAAからサーバレスワークフローを選択する

2. ワークフロー作成をクリックするとmazon SageMaker Unifird Studioの設定画面が表示されるので、セットアップする



3. サイドバーからWorkflowsを選択し Create new worlflow からworkflowを作成する


- 名前:
step1-simple-s3 - 実行ロール:
mwaa-serverless-step1-role - 定義タイプ: ビジュアルエディタ
タスク1: S3CreateObject
オペレーター検索で S3CreateObjectOperator を検索
設定項目:
- Task ID:
s3CreateTestFile - s3_bucket:
mwaa-serverless-data-211125722434(デプロイ時の出力値) - s3_key:
manualTest/test.txt - data:
Hello from GUI! - replace:
true

タスク2: S3ListOperator
設定項目:
- Task ID: s3ListOperator
- bucket:
mwaa-serverless-data-211125722434 - prefix:
manualTest/

設定後タスク同士を繋げる

5. 完成したYAML定義
GUIで作成したワークフローのYAML定義はこのようになります:
mwaa_serverless_test:
dag_id: step1-simple-s3
tasks:
s3CreateTestFile:
operator: airflow.providers.amazon.aws.operators.s3.S3CreateObjectOperator
data: Hello from GUI!
s3_key: manualTest/test.txt
s3_bucket: mwaa-serverless-data-211125722434
replace: false
encrypt: false
s3ListOperator:
dependencies:
- s3CreateTestFile
operator: airflow.providers.amazon.aws.operators.s3.S3ListOperator
bucket: mwaa-serverless-data-211125722434
prefix: manualTest/
- トップレベルは
mwaa_serverless_test:(ワークフロー名) dag:ブロックは不要(GUIの簡易フォーマット)default_argsやschedule_intervalも省略可能- タスク定義がシンプルで分かりやすい
ワークフロー実行
1. 実行開始
保存(Save)し実行(Run)する

2. 実行状態の確認
何度か失敗してますが一番上が実行中のものです


最初は queued 状態になり、数十秒でワーカーが起動して running になります。(1分近くかかることもある)
3. S3バケットの確認


Step 2: タスクの依存関係
次は、より複雑な依存関係を持つワークフローを作成します。
目的
- 複数タスクの順次実行
- S3KeySensor(ファイル待機)の動作確認
ワークフローの流れ

ワークフロー作成
新しいワークフロー
- 名前:
step2-with-dependencies - 実行ロール:
mwaa-serverless-step2-role
タスク構成
タスク1: create_test_file (S3CreateObject)
s3_bucket: mwaa-serverless-data-211125722434
s3_key: test2/sample-{{ ds }}.txt
data: Hello from MWAA Serverless! Created at {{ ts }}
replace: true

タスク2: check_file_exists (S3KeySensor)
bucket_name: mwaa-serverless-data-211125722434
bucket_key: test2/sample-{{ ds }}.txt
timeout: 300
poke_interval: 10
dependencies: [create_test_file]

Sensorとは?
- ファイルの存在を定期的にチェック(
poke_interval秒ごと) - タイムアウトまで待機(
timeout秒) - ファイルが見つかったら次のタスクへ
タスク3: list_test_files (S3ListOperator)
bucket: mwaa-serverless-data-211125722434
prefix: test2/
dependencies: [check_file_exists]
タスク4: delete_test_file (S3DeleteObjectsOperator)
bucket: mwaa-serverless-data-211125722434
keys:
- test2/sample-{{ ds }}.txt
dependencies: [list_test_files]
注意: keys は配列で指定しますが、GUIでは文字列として入力します(後述のYAML参照)。
完成したYAML定義
GUIで作成したワークフローのYAML定義:
dag:
dag_id: step2-with-dependencies
default_args:
owner: airflow
retries: 2
retry_delay: 60
schedule_interval: null
tasks:
create_test_file:
operator: airflow.providers.amazon.aws.operators.s3.S3CreateObjectOperator
s3_bucket: mwaa-serverless-data-211125722434
s3_key: test2/sample-{{ ds }}.txt
data: Hello from MWAA Serverless! This is a test file created at {{ ts }}
replace: true
aws_conn_id: aws_default
check_file_exists:
dependencies:
- create_test_file
operator: airflow.providers.amazon.aws.sensors.s3.S3KeySensor
bucket_name: mwaa-serverless-data-211125722434
bucket_key: test2/sample-{{ ds }}.txt
aws_conn_id: aws_default
timeout: 300
poke_interval: 10
list_test_files:
dependencies:
- check_file_exists
operator: airflow.providers.amazon.aws.operators.s3.S3ListOperator
bucket: mwaa-serverless-data-211125722434
prefix: test2/
aws_conn_id: aws_default
delete_test_file:
dependencies:
- list_test_files
operator: airflow.providers.amazon.aws.operators.s3.S3DeleteObjectsOperator
bucket: mwaa-serverless-data-211125722434
keys: test2/sample-{{ ds }}.txt
aws_conn_id: aws_defaultポイント:
- Step2では
dag:ブロックを使用(より従来のAirflow形式) default_argsで共通設定(owner、retries、retry_delay)schedule_interval: nullで手動実行モード- Sensorの
timeoutとpoke_intervalで待機動作を制御 keysはYAMLでは文字列として記述(配列形式ではない)
実行と結果
1. 実行開始(一番上)

2. 実行途中
実行タスク自体は数秒で終わるのですが、Queuedの待ち時間が長い(4分以上実行にかかった)


3. S3での確認
ワークフロー完了後、test/sample-2025-12-17.txt が削除されていることを確認。

学んだこと
✅ Sensorで外部リソースの待機ができる ✅ タスクが順番通りに実行される ✅ エラーが発生した場合、後続タスクは実行されない(依存関係が保たれる) ✅ CloudWatch Logsで各タスクの詳細ログが確認できる
料金について
MWAA Serverless の料金体系
完全従量課金制
- ワークフロー実行時間のみ課金
- アイドル時間は無料
- 環境維持費用なし
料金(ap-northeast-1)
- ワークフロー実行: $0.18 / 実行時間(分)
- ワーカー起動: $0.12 / vCPU時間
- S3ストレージ: 標準料金
今回の実験コスト
Step 1: 約1分実行 = $0.18
Step 2: 約2分実行 = $0.36
合計: 約 $0.54 + S3料金(数セント)
→ 1回のテスト実行で約 $0.60
従来版MWAAとのコスト比較
従来版MWAA(最小構成 mw1.small)
- 月額基本料金: 約 $300
- 環境が起動している間は常に課金
- Worker数に応じて追加料金
- 使わなくても料金発生
MWAA Serverless
- 月額基本料金: $0
- 実行時のみ課金
- 使わなければ無料
コスト例(1日1回、5分のバッチ処理)
【従来版MWAA】
月額: $300(固定)
【MWAA Serverless】
1実行: $0.18 × 5分 = $0.90
月額: $0.90 × 30日 = $27
→ 約92%のコスト削減!
コスト例(24時間常時稼働)
【従来版MWAA】
月額: $300〜(Worker数による)
【MWAA Serverless】
1ヶ月: $0.18 × 60分 × 24時間 × 30日 = $7,776
→ 従来版の方が圧倒的に安い
結論
- 断続的な実行: Serverlessが有利(最大95%削減)
- 常時稼働: 従来版が有利
まとめ
MWAA Serverlessを使ってみて
素晴らしかった点
- ✅ 即座に開始できる: 環境構築不要、数秒で実行開始
- ✅ コスト効率: 断続的な処理なら従来版の1/10以下
- ✅ 運用負荷ゼロ: スケーリング・メンテナンス完全自動
- ✅ 柔軟な権限管理: ワークフローごとにIAMロール分離可能
- ✅ Airflowの機能: 豊富なオペレーター、リトライ、バックフィル
制約・注意点
- ⚠️ カスタマイズ不可: 独自Pythonパッケージ・オペレーター使えず
- ⚠️ VPC制限: プライベートサブネットのリソースにアクセス不可
- ⚠️ 常時稼働は高コスト: 24時間動かすなら従来版の方が安い
- ⚠️ 新しいサービス: ドキュメント・事例が少ない
- ⚠️ オペレーターパラメータの癖: 慣れが必要
- ⚠️ 実行開始までの時間:サーバレスのため想定より実行開始後のQueued状態が長い
選択ガイド
MWAA Serverlessを選ぶべきケース
- 1日数回のスケジュールバッチ
- 開発・検証環境
- ETL/データパイプライン(基本的なAWSサービスのみ)
- とにかく早く試したい
- 運用コストを最小化したい
従来版MWAAを選ぶべきケース
- 24時間常時稼働
- カスタムPythonライブラリ必須
- VPC内リソース(RDS、ElastiCache等)への直接アクセス必要
- 大規模本番環境
- Workerリソースを細かく制御したい
EventBridge/Step Functionsを選ぶべきケース
- 単純なイベント駆動(EventBridge)
- ビジネスロジックのワークフロー(Step Functions)
- Airflowほどの機能は不要
次のステップ
今回は基本的な機能を試しましたが、さらに以下のような活用方法があります:
MWAA Serverlessで試せること
- スケジュール実行(Cron式で定期実行)
- バックフィル(過去データの再実行)
- より複雑な依存関係(Fan-out/Fan-in)
- Glue/Athena/EMRとの連携
- CloudWatch Alarms連携
本番環境で使いたくなったら
- 制約が問題になる場合は従来版MWAAへの移行を検討
- YAMLファイルはそのまま使える(一部調整必要)
- IAM権限設計はServerlessで学んだことが活かせる
興味がある方はぜひ試してみてください!
参考リンク
おわりに
MWAA Serverlessは、Airflowを気軽に始められる画期的なサービスです。
ただ利用できる機能に制約があり、従来のMWAAからの移行はまだ現状では難しい可能性があります。
データパイプラインを試したことのない方は、ぜひ試してみてもらえれば幸いです。