Snowflakeを触ってみた — 注目したい3つの特徴
目次
こんにちは。クラウドビルダーズのRyojiです。
AWS のデータ系サービス(Redshift / Athena / Glue 等)を触っているエンジニアの視点で、噂の Snowflake を初めて触ってみました。本記事では「ストレージとコンピュートの分離」「ゼロコピークローン」「Time Travel」の3つの特徴を、実測値とAWSサービスとの比較を交えて紹介します。
この記事の要約
- Snowflake を AWS 東京リージョンの無料トライアルで触り、3つの代表的な特徴を実測ベースで検証した
- Result Cache はウェアハウスを起動しないことを実測で確認できた(コンピュートクレジット消費ゼロ)
- Time Travel の
AT(OFFSET)には「直近の変更に対しては想定と違う結果が返る」という地味なハマりどころがあった
Snowflake とは?
Snowflake はクラウドネイティブなデータウェアハウス(DWH)サービスです。AWS / Azure / GCP のいずれの上にも展開でき、AWS で言えば Redshift と並ぶポジションにあります。
ただし、内部設計は Redshift とはかなり違います。特徴的なのは以下の3点です。
- ストレージとコンピュートが完全に分離されている — Redshift RA3 も同じ方向ですが、Snowflake は思想として最初からこの構造
- ゼロコピークローン — テーブルやDBを物理コピーなしで瞬時に複製できる
- Time Travel — 過去の任意の時点のデータを SELECT 文で見られる
本記事では、これらをトライアルアカウントで実際に触ってみた感想を、AWSサービスとの対比を交えて書いていきます。
検証環境
| 項目 | 内容 |
|---|---|
| アカウント | Snowflake 無料トライアル(30日 / $400クレジット) |
| クラウド/リージョン | AWS / Asia Pacific (Tokyo) ap-northeast-1 |
| エディション | Standard |
| クライアント | Snowsight(Web UI) |
| 検証データ | SNOWFLAKE_SAMPLE_DATA.TPCH_SF1.ORDERS(約150万行) |
検証用に以下のリソースを作成しました。
CREATE DATABASE IF NOT EXISTS POC_DB;
CREATE SCHEMA IF NOT EXISTS POC_DB.PUBLIC;
CREATE WAREHOUSE IF NOT EXISTS POC_WH_XS
WITH
WAREHOUSE_SIZE = 'XSMALL'
AUTO_SUSPEND = 60
AUTO_RESUME = TRUE
INITIALLY_SUSPENDED = TRUE;AUTO_SUSPEND = 60— 60秒アイドルで自動的に停止してクレジット消費を止めるAUTO_RESUME = TRUE— クエリ実行時に自動的に再開INITIALLY_SUSPENDED = TRUE— 作成と同時に課金されないよう、最初は止めておく
なお、無料トライアルの $400 クレジットは、XS〜S サイズのウェアハウスで本検証を回す程度では数十クレジットしか消費せず、十分余裕があります。
特徴A: ストレージとコンピュートの分離
ウェアハウスの起動・サスペンドが速い
Snowflake で SQL を実行するには「ウェアハウス」というコンピュートリソースが必要です。AWS の Redshift クラスタや Athena のクエリエンジンに相当しますが、決定的に違うのは起動・停止が秒単位で完結することです。
XS サイズのウェアハウスで、150万行の ORDERS テーブルを集計するクエリを実行しました。
SELECT
O_ORDERPRIORITY,
COUNT(*) AS order_count,
SUM(O_TOTALPRICE) AS total_price,
AVG(O_TOTALPRICE) AS avg_price
FROM SNOWFLAKE_SAMPLE_DATA.TPCH_SF1.ORDERS
GROUP BY O_ORDERPRIORITY
ORDER BY O_ORDERPRIORITY;実測結果(1回計測のため数値はあくまで参考値):
| 計測条件 | 所要時間 |
|---|---|
| 初回(INITIALLY_SUSPENDED から起動 + クエリ) | 1,172 ms |
| 2回目(Result Cache ヒット) | 102 ms |
| サスペンド → 再開 + クエリ実行(Result Cache OFF) | 793 ms |
興味深いのは、「INITIALLY_SUSPENDED からの初回起動 (1,172ms)」より「一度起動してから手動サスペンドした後の再開 (793ms)」の方が速い点です。一度動かしたウェアハウスのメタデータが何らかの形でキャッシュされている可能性がありますが、本検証では深掘りしていません。実運用で「初回ラグが気になる」場合はウォームアップ用の軽量クエリを流す手があるかもしれません。
Redshift Provisioned のクラスタ起動は数分単位、Redshift Serverless でも初回応答に数秒かかることを考えると、サスペンドから1秒以内に集計結果が返ってくる感覚は新鮮でした。AUTO_SUSPEND を短く設定しておけば「使っていない時間はほぼ課金されない」運用が現実的に可能です。
ストレージとコンピュートが分離しているから、Result Cache はウェアハウス不要
ストレージとコンピュートが分離されている設計の恩恵は、起動の速さだけではありません。クエリ結果をクラウドサービス側に持っておけば、ウェアハウスを使わずに結果を返せる仕組みが自然に成立します。これが Snowflake の Result Cache です。
2回目の102msは Result Cache のヒットですが、これは単なるアプリケーションレベルのキャッシュではなく、ウェアハウスを一切起動しない特徴があります。
INFORMATION_SCHEMA.QUERY_HISTORY で詳細を見てみると、それが明確に分かります。
SELECT
QUERY_TEXT,
WAREHOUSE_NAME,
BYTES_SCANNED,
CREDITS_USED_CLOUD_SERVICES,
TOTAL_ELAPSED_TIME AS duration_ms
FROM TABLE(POC_DB.INFORMATION_SCHEMA.QUERY_HISTORY())
WHERE QUERY_TEXT ILIKE '%TPCH_SF1.ORDERS%'
ORDER BY START_TIME DESC;| クエリ | WAREHOUSE_NAME | BYTES_SCANNED | CREDITS_USED_CLOUD_SERVICES |
|---|---|---|---|
| 通常のクエリ | POC_WH_XS | 42,282,736(≈42MB) | 0.000052 |
| Result Cache ヒット | NULL | 0 | 0.000016 |
WAREHOUSE_NAME = NULL は「ウェアハウスを使っていない」ことを意味します。つまりウェアハウスのコンピュートクレジットは消費していません。ただし、クラウドサービス層では CREDITS_USED_CLOUD_SERVICES = 0.000016 と微小に消費しているので、完全にゼロというわけではない点には注意です。
Athena の Query Result Reuse はクエリ単位で結果を再利用する機能ですが、Snowflake の Result Cache はクエリ結果が24時間保持され、同じクエリで同じデータ(基礎テーブルに変更がない場合)なら何度でもキャッシュヒットします。
サイズを倍にしても、データ量が小さければ恩恵は薄い
「サイズを上げれば速くなる」は単純な話ではありません。XS(1クレジット/h)と S(2クレジット/h)で同じクエリを比較してみました。
| 計測条件 | XS | S |
|---|---|---|
| 起動 + クエリ実行 | 793 ms(※サスペンド後の再開) | 879 ms(※INITIALLY_SUSPENDED からの起動) |
| ウォーム状態 + クエリ実行 | — | 391 ms |
※ XS と S では起動状態の前提が違うため、厳密な比較ではありません。それでも、サイズを倍にしても起動時間込みでは XS と大差ないという傾向は読み取れます。
S はウォーム状態だと391msまで縮みますが、これは XS の再開 (793ms) のおおむね半分。150万行レベルではコンピュート時間より起動時間の方が支配的ということです。料金は S が XS の倍なので、ワークロードの規模に対してサイズを選ばないとコスパが悪くなります。
なお、ミリ秒オーダーの数値はクラウド側の状態でも揺らぐので、上記の値はあくまで「単発計測の参考値」と思ってください。
同じデータに対して複数ウェアハウスを並列起動できる
これが Snowflake のストレージ/コンピュート分離の真骨頂です。XS と S を 同時に起動して同じデータを処理 できます。
SHOW WAREHOUSES LIKE 'POC_WH_%';| name | state | size |
|---|---|---|
| POC_WH_S | STARTED | Small |
| POC_WH_XS | STARTED | X-Small |
両方が同時に STARTED 状態。Redshift Provisioned だとクラスタ1つに対してワークロードを集約する必要があり、「BI 部隊のクエリで ETL バッチが遅くなる」のような問題が起きがちです。Snowflake では用途別にウェアハウスを使い分けられ、ストレージは共通なのでデータ複製コストもかからないのがありがたい設計です。
特徴B: ゼロコピークローン
その前に — 150万行のデータが 46MB に収まる
検証 B/C では、サンプルDBは読み取り専用のため、事前に自DBに ORDERS テーブルをコピーしてから使います。
CREATE OR REPLACE TABLE POC_DB.PUBLIC.ORDERS AS
SELECT * FROM SNOWFLAKE_SAMPLE_DATA.TPCH_SF1.ORDERS;コピー後にサイズを確認すると、150万行のテーブルが46.40 MBに収まっていました。Snowflake は内部的にカラムナ形式 + 圧縮で保持しているため、同じデータを S3 に CSV で置けば数百MB、Parquet で置いても100MB前後になることを考えると、かなりコンパクトです。AWS で「データレイクのフォーマットは Parquet にしておけば圧縮効くから安心」と思っている身としては、Snowflake 内部の圧縮率の高さは驚きでした。
ゼロコピークローンの実測
CREATE TABLE ... CLONE でテーブルを瞬時に複製できます。先ほどコピーした自DBの ORDERS テーブルに対して実行します。
CREATE OR REPLACE TABLE ORDERS_CLONE CLONE ORDERS;実測してみると、150万行・46MBのテーブルで以下のような結果でした。
| 操作 | 所要時間 |
|---|---|
| CREATE TABLE AS SELECT(CTAS、データを物理コピー) | 2,000 ms |
| CREATE TABLE … CLONE | 1,600 ms |
正直、「ゼロコピーなんだから一瞬で終わるはず」と期待していた身としては、1.6秒という数字には少し拍子抜けしました。CTAS との差も400ms程度しかなく、時間的なメリットは小規模テーブルだとあまり感じられません。
ただし、ゼロコピークローンの本質は 時間ではなくストレージ にあります。クローン直後にテーブルサイズを確認してみました。
SELECT
TABLE_NAME,
ROW_COUNT,
ROUND(BYTES / (1024*1024), 2) AS size_mb
FROM POC_DB.INFORMATION_SCHEMA.TABLES
WHERE TABLE_SCHEMA = 'PUBLIC';| table_name | row_count | size_mb |
|---|---|---|
| ORDERS | 1,500,000 | 46.40 |
| ORDERS_CLONE | 1,500,000 | 46.40 |
両方とも46.40MBと表示されますが、これは「論理サイズ」です。Snowflake のゼロコピークローンの理論上、実際の物理ストレージは共有されており、新規消費はゼロになるはずです。ただし、これを実測で確認するには ACCOUNT_USAGE.TABLE_STORAGE_METRICS を見る必要があり、このビューは反映に数十分〜数時間の遅延があります(本検証では時間の都合で物理実消費の数値確認まではしていません)。
論理サイズの観点では、クローン側に対して変更を加えると、その差分だけが反映される挙動が確認できます。試しに10,000行を INSERT したところ:
| table_name | row_count | size_mb |
|---|---|---|
| ORDERS | 1,500,000 | 46.40 |
| ORDERS_CLONE | 1,510,000 | 46.71 |
ORDERS_CLONE が +0.31MB だけ増えました。10,000行分の純粋なデータサイズ相当です。これは RDS のスナップショット復元(物理コピーが発生する)とは決定的に違います。
CLONE の真価は数百GB〜TB級のテーブルで発揮されます。CTAS だと数分〜数時間かかる規模のテーブルでも、CLONE なら数秒〜数十秒で終わり、ストレージ消費もゼロ。本番DBを丸ごとクローンして開発検証に使うといった運用が現実的になります。
スケール感を表でまとめておきます(小規模は本検証、それ以外は推測です):
| データ規模 | CTAS の時間 | CLONE の時間 | CLONE 後のストレージ消費(理論値) |
|---|---|---|---|
| 小規模(150万行 / 46MB、本検証) | 2 秒 | 1.6 秒 | ほぼゼロ |
| 中規模(数億行 / 数GB) | 数分〜十数分 | 数秒〜数十秒 | ほぼゼロ |
| 大規模(数十億行 / 数百GB〜TB) | 数十分〜数時間 | 数十秒〜分単位 | ほぼゼロ |
中規模・大規模はあくまで本検証のスケールから推測した目安です。本番運用で性能を見積もるなら、自社データで一度測ってみるのが確実です。
特徴C: Time Travel
過去の任意の時点のデータを SELECT 文で見られる機能です。AWS の RDS PITR(Point In Time Recovery)はテーブルを「復元する」ものですが、Time Travel は復元せずに過去をクエリできる点が決定的に違います。
実運用での主なユースケースは以下のような場面です。
- 誤って
UPDATEやDELETEを実行してしまった時のロールバック - 特定時点のスナップショットに対する A/B テストの再現
- 「先月末時点でこのテーブルはどんな状態だったか」というデータ監査
- データパイプライン障害時の事前状態への巻き戻し
過去のテーブル状態に SELECT する
150万行の ORDERS テーブルで試してみます。
-- 1. 現在の総額(基準値)
SELECT SUM(O_TOTALPRICE) AS total_price_now FROM ORDERS;
-- → 226,829,306,447.46
-- 2. 全行を UPDATE(破壊的変更)
UPDATE ORDERS SET O_TOTALPRICE = O_TOTALPRICE + 100;
-- 3. 60秒前の状態の総額を取得
SELECT SUM(O_TOTALPRICE) AS total_price_60s_ago
FROM ORDERS AT(OFFSET => -60);
-- → 226,829,306,447.46(基準値と一致 = UPDATE前の状態)UPDATE 後にもかかわらず、AT(OFFSET => -60) で過去をクエリすると変更前の値が返ってきました。150万行レベルでも遅延を感じない速度で動作します。
DROP したテーブルを UNDROP で復元
誤ってテーブルを削除しても、1コマンドで復活できます。
DROP TABLE TIME_TRAVEL_TEST;
UNDROP TABLE TIME_TRAVEL_TEST;
SELECT * FROM TIME_TRAVEL_TEST; -- 全行残っているRDS で DROP TABLE をやらかしたときの絶望感を経験したことがあれば、この機能の威力が分かるかと思います。AWS だとスナップショットからの復元になり、時間もコストも別物です。
ハマりどころ — AT(OFFSET) は「現在時刻からの相対指定」
実は最初に Time Travel を試した時、思った通りの結果が返らないシーンがありました。タイムラインで示すとこうです。
T = 0 秒 ステップ1: 現在の総額 SELECT(基準値 = 226,829,306,447.46)
T = 15 秒 ステップ2: 全行 UPDATE 実行
T = 20 秒 ステップ3: AT(OFFSET => -10) で「10秒前」を SELECT
→ 期待: 基準値が返る
→ 実際: UPDATE後の値(226,979,306,447.46)が返ったAT(OFFSET => -10) は「現在時刻から10秒前」を意味します。ステップ3 を実行した時点で「10秒前」が T=10 秒 となり、ここは UPDATE 完了後の時点だったため、結果として UPDATE後の値が返ってきた、というわけです。
特定の操作の 直前 の状態を確実に取りたい場合は、BEFORE(STATEMENT => '<query_id>') を使うのが正解です。
-- query_id は QUERY_HISTORY などから取得
SELECT * FROM ORDERS BEFORE(STATEMENT => '01c5xxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx');これは Snowflake 公式ドキュメントにも書かれていますが、「過去をクエリできる」というシンプルな説明だけ読むと、AT(OFFSET) の相対指定の挙動には気づきにくいと感じました。
テーブル全体を Time Travel で復元する
上記のハマりどころを踏まえた上で、CREATE OR REPLACE と組み合わせるとテーブル全体のロールバックができます。「巻き戻したい操作よりも十分前」のオフセットを指定するのがポイントです。
CREATE OR REPLACE TABLE ORDERS AS
SELECT * FROM ORDERS AT(OFFSET => -60);これで ORDERS テーブルが60秒前の状態に巻き戻ります。150万行のテーブルでも実測で149msで完了しました。CTAS(同じ150万行のコピー)が2,000ms かかったことと比べると桁違いに速いのですが、これは Time Travel の参照が物理コピーではなくメタデータ操作で完結するためと考えられます(4章で見た CLONE と同じ仕組みです)。
本番運用での誤操作ロールバックが、現実的な選択肢になります。
Standard エディションの制約
Time Travel の保持期間は Standard エディションで 最大1日(24時間) です。Enterprise 以上で最大90日まで延長できます。本番運用で「数日前の状態に戻したい」というケースに対応するなら、Enterprise エディションが必要になります。
触ってみて戸惑った点
最後に、戸惑った点も書いておきます。
- Snowsight のクエリ実行はカーソル位置の1文だけ — AWS の Athena クエリエディタは複数クエリを一度に流せますが、Snowsight はカーソル位置の1文だけが実行されます。
CREATE文とSHOW文を続けて書いて Run を押しても、カーソル位置の1文しか実行されず「あれ、テーブル作られてない」となりがちです。複数まとめて実行するにはCmd + Aで全選択するか「Run All」を使う必要があります。 - 結果ペインは最後のクエリしか表示しない — 複数クエリを連続実行しても、結果として見えるのは最後の1つだけ。各クエリの実行時間や、
CREATE TABLE AS SELECTがどのくらいかかったかを見たい時はINFORMATION_SCHEMA.QUERY_HISTORYを別途引く必要があります。 - クレジット消費が直感的に見えない — ウェアハウスのコンピュート消費(XS なら1クレジット/h で秒単位課金)と、クラウドサービス層の消費(
CREDITS_USED_CLOUD_SERVICES)は別計算です。「このクエリで結局いくら消費したか」を1画面で把握する手段が標準では用意されておらず、UI で総コストを直感的に追いにくい印象でした。 - ウェアハウスサイズ選定の経験頼み — XS で十分なのか M が必要なのか、データサイズとクエリパターンから経験で決める必要があります。本検証でも「XS と S で大差ないなら、いつ S や M を使うべきか」のラインが見えづらく、ベンチマークしないと判断しづらいと感じました。「とりあえず M」だと無駄に課金されます。
- 権限モデル(ロール)の学習コスト — 本検証ではずっと
ACCOUNTADMINロールで操作しましたが、本番運用ではロールを設計してGRANTで権限を渡す仕組みになります。AWS IAM とは思想がかなり違うようで、本格運用の前にこの部分は別途学習が必要そうです(本記事の範囲では深掘りしていません)。
コスト感メモ
Snowflake の料金は クレジット消費 で計算されます。
- ウェアハウスのコンピュート: サイズに応じてクレジット/時間(XS=1, S=2, M=4, L=8, …)。秒単位課金で、最小60秒
- ストレージ: GB/月単位
- クラウドサービス: 通常は無料枠内、本検証で見た 0.00001〜0.00009 程度の微小消費
AUTO_SUSPEND を短く設定すれば、アイドル時間の課金は最小化できます。本検証では3つの機能を一通り触って、無料トライアルの $400 クレジットに対して消費は1桁クレジット程度で済みました。
Standard と Enterprise の主な違いは Time Travel の保持期間(1日 vs 90日)、マルチクラスタウェアハウス、データマスキング等です。本番運用で Time Travel を本格的に使うなら Enterprise が現実的です。
さいごに
Snowflake を初めて触ってみて、AWS のデータ系サービスと比べたときの感想を3つの特徴ごとにまとめます。
- ストレージ/コンピュート分離: 「秒単位での起動・停止」「並列起動」が本当に効くのは、複数ワークロードを抱えるチームでしょう。Redshift Provisioned から移行する場合、運用イメージが変わると思います
- ゼロコピークローン: 小規模では時間メリットを感じにくいですが、ストレージのほうが本質。大規模になればなるほど効いてきます
- Time Travel: 「過去をクエリできる」体験は AWS のデータサービスではなかなか味わえません。誤操作からの復旧という運用安心感は強い
「Snowflake が AWS のサービスを完全に置き換える」というよりは、「データウェアハウスのワークロードに特化した時、これらの特徴が刺さるかどうか」という見方をするとよさそうです。AWS エンジニアであれば、まずは無料トライアルでこの3つの特徴だけでも触ってみると、判断材料が大きく増えると思います。