AWS SageMaker Canvas で機械学習に入門してみる
目次
はじめに
こんにちは。shumpeiです。
AWS SageMaker はAWSが提供する機械学習サービスです。SageMaekrにはいくつかのサービスがあるのですが、その中の1つに SageMaker Canvas というものがあります。SageMaker Canvas はノーコードで機械学習モデルを構築し、予測を生成することが可能です。
本記事では、機械学習初心者が aws 公式で公開されている下記のハンズオン記事を参考に、SageMaker Canvasを使って機械学習モデルの作成に挑戦してみたいと思います。
概要
このハンズオンは出荷の到着予定時刻を予測できる機械学習モデルを構築するというユースケースとなっています。リージョンは米国東部 (バージニア北部) で実施します。基本的には参考のハンズオンに沿った手順で進めていきます。
SageMaker Studio ドメインを設定する
最初に SageMakerを使用するのに必要になる SageMaker Studioドメインを取得します。
ハンズオン記事内で用意されているCloudFormationテンプレートを利用して設定していきます。

通常は記事内に添付されているCloudFormationスタックリンクからCloudFromationスタックを実行すると作成できるようなのですが、実行してみたところ下記のようなエラーが発生してしまいスタック作成が正常に実施できませんでした。
Resource handler returned message: "Invalid request provided: Invalid AppType [KernelGateway]. This AppType has been deprecated." (RequestToken: 67658bb8-0a95-8e37-141d-8b36a0289b9c, HandlerErrorCode: InvalidRequest)エラー内容を調べたところ、SageMaker Studio の新しいバージョンで KernelGateway という AppType が非推奨になったために発生しているようでした。用意されているCloudFormationテンプレートのコードの中から AppType で KernelGateway を使用している下記の部分を削除します。
DataScienceApp:
Type: AWS::SageMaker::App
DependsOn: StudioUserProfile
Properties:
AppName: instance-event-engine-datascience-ml-t3-medium
AppType: KernelGateway
DomainId: !GetAtt StudioDomain.DomainId
ResourceSpec:
InstanceType: ml.t3.medium
SageMakerImageArn: !FindInMap
- RegionMap
- !Ref 'AWS::Region'
- datascience
UserProfileName: !Ref UserProfileName
DataWranglerApp:
Type: AWS::SageMaker::App
DependsOn: StudioUserProfile
Properties:
AppName: instance-event-engine-datawrangler-ml-m5-4xlarge
AppType: KernelGateway
DomainId: !GetAtt StudioDomain.DomainId
ResourceSpec:
InstanceType: ml.m5.4xlarge
SageMakerImageArn: !FindInMap
- RegionMap
- !Ref 'AWS::Region'
- datawrangler
UserProfileName: !Ref UserProfileName上記は特定のカーネル (DataScience と DataWrangler) を事前に起動しておくといった設定のようで、削除してもハンズオンの流れに支障はなさそうです。
テンプレートでスタックを再実行していきます。修正後は成功したので進めていきたいと思います。

SageMaker Canvas にログイン
SageMaker Canvasにログインできるか確認してみます。
マネジメントコンソールから SageMaker Canvas にアクセスします。

SageMaker Canvasが起動しコンソール画面が開けばOKです。
データセットを S3 バケットにアップロード
ハンズオン記事内に使用するデータがあるのであらかじめダウンロードしておきます。
SageMaker Canvas 作成時に作られたS3バケット内にデータをアップロードします。
(バケット名は sagemaker-<your-Region>-<your-account-id> です)

SageMaker Canvas のセットアップ
SageMaker Canvas にデータセットをインポートします。
画面左の「Datasets」を選択し、tabular dataset を作成します。
「import data」を選択し、データ形式はCSVなので「Tabuler」を選びます。

データソースはS3を選択し、先ほどデータを格納したS3バケット内のデータを選択します。

エラーが出てしまいました。データスキームが一致しないためデータセットが作成できないようです。

ハンズオンの流れでは2つのデータをdatasetsにインポートして、データセットの結合をするという手順なのですが、現在のSageMaker Canvasでは仕様が変わったためか手順通りに進めらないようでした。
そのため下記のような流れで2つのデータのスキームを揃えて、データセットを作成していきたいと思います。
- Data Wrangler にデータをインポート
- Data Wrangler の work flow でデータを結合
- 結合したデータを使ったデータセットを作成
Data Wrangler にデータをインポート
データスキームを揃えていくために、SageMaker Canvas コンソールから DataWranglerを使用していきます。
画面左の「DataWrangler」を選択し、data flows を作成します。
「import and prepaer」を選択し、データタイプは「Tabuler」を選びます。

データソースはS3を選択し、先ほどデータを格納したS3バケット内のデータを選択します。
この時点では2つのデータの内1つだけを選択します。

インポートしていきます。

インポートすると Data Wrangler で data flows が作成できました。
作成できた data flows に先ほど追加していないもう一方のデータをimportします。
画面右上から「import」を選択します。(その後のimportまでは先ほどと同様です)

2つのデータをインポートすると下記のようになります。

Data Wrangler の work flow でデータを結合
2つのデータセットを結合します。

結合タイプが Inner で、結合列が [ProductId] (プロダクト ID) であることを確認して「add」します。

これでデータの結合が完了です。
結合したデータを使ったデータセットを作成
Data Wrangler の画面からCanvas datasetにエクスポートすることで、Datasetの作成ができるようなので実施していきます。

Datasetsの画面を見てみるとデータセットが作成できました。

これでSageMakaer Canvasのセットアップは完了です。
機械学習モデルの構築
画面左の「My models」を選択し、モデルを作成します。
「Create new model」を選択し、データタイプ「Tabuler」を選びます。

モデルを作成します。モデルネームは「ShippingForecast」にします。

モデルの作成は「Select → Build → Analyze → Predict → Deploy」と進んでいくようです。
各項目で細かく調整・設定を行いモデルを作成していきます。
Select
データセットを選択します。先ほど作成したデータセットを選びましょう。

Build
ここでは予測で使用するデータカラムとモデルのタイプを選択します。
Target columnは「AcutualShippingDays」、Model typeは「Numeric model type」にします。

ここではデータセット内の各列の欠損値、不一致値、固有値、平均値、中央値などのデータセット統計値が確認できます。これらの統計値参考にモデルに応じて必要な列を調整していきます。
今回のハンズオンでは下記の列は不要なようなので解除しておきます。
→ [XShippingDistance]、[YShippingDistance]、[ProductID] (プロダクト ID)、[OrderID] (オーダー ID)
画面右上の「Quick Build」からビルドします。
Analyze
ビルドが完了すると分析が可能になります。

クイックビルドで構築したモデルは、出荷日数を実際の値から +/- 1.162 の範囲で予測することができるようです。
「Overview」ではターゲット列を予測する際の各入力列の推定重要度が表示されます。
ExpectedShippingDays 列は値が高く、予測に与える影響は大きいことがわかります。
「Scoreling」では回帰直線の適合度を表すプロットが表示されます。

詳細なメトリクス等も確認できるので、ビルドしたモデルのパフォーマンス分析が可能になっています。
Predict
モデルで予測をしていきます。

「Manual」を選択し今回作成したデータセットを選んで予測をしていきます。
予測が完了すると「All Jobs」に表示されます。
予測のプレビューを見ることができたり、CSV ファイルでのダウンロードも可能です。
ここまでで一通りハンズオンを実施することができました。
リソースをクリーンアップ
ハンズオン終了後のリソース削除の際に注意点があります。CloudFormationを削除する前に起動しているSageMakerの停止をする必要があります。これを実施しないとCloudFormationを削除時にエラが出てしまいます。SageMkaer Studioのコンソールから起動しているインスタンスを停止してから行なってください。

まとめ
今回は公式ハンズオンを参考にSageMakerに入門してみました。モデル作成の部分など説明が不十分であるかと思いますが、元のハンズオン記事にはより詳しく説明があるのであわせて参照していただければと思います。SageMakerのアップデートもあり現在はハンズオン手順通りに進めることができないため、本記事がこれから同様のSageMaker Canvas のハンズオンを実施する方の参考になれば幸いです。
