人を笑わせるAIをつくってみる AWS Summit 直前Special 電笑戦のモデルをつくる

https://github.com/aws-samples/bokete-denshosen
(もしこのブログを見て実施される方で、GitHubアカウントをお持ちの方は上記のリポジトリからForkしてください)
- 実施環境（Region）はN.Virginia, Oregon, Ohio, TokyoなどSageMakerが利用可能な環境であればどこでも

自分が作成したモデルで作成したボケて

ハンズオン実施内容

{{< message_box color="warning" >}}
当日は、AWS SA針原さんを始め、AWSのエンジニアの方々のサポートがあったためできました。
また上記のGitHub リポジトリには2022年5月26日現在手順がありませんが、今後追加される可能性があります。
{{< /message_box >}}

はじめ
- 私の場合は、SageMaker Domainを作成していなかったため、SageMaker Instanceを起動しました
  - Notebook instanceから新規ml.m5.xlargeを指定
  - IAM Roleは新規、S3はAnyを指定
  - Public Repoで以下のGithubを指定
    - https://github.com/aws-samples/bokete-denshosen
  - Notebook instanceがInServiceになったら、Open JupyterLabから開く。
  - set kernelはこのファイルに記載されているものに従う
    - https://github.com/aws-samples/bokete-denshosen/blob/main/notebook/keras_baseline/bokete_keras_on_sagemaker.ipynb

おわり
- 作成したリソースを残しつつ、モデルを削除したくない場合は predictor.delete_endpoint() をSageMaker上で実施
  - 再度起動するときに、Deploy Modelからやり直せばOK.
- Processing, Trainingは放置しても自動で削除
- NotebookはインスタンスをStoppedになってDelete.
- Inference > Models と S3 にある学習データ、CloudWatch logs に作成されるロググループの削除も忘れずに.

注意事項

SageMakerのクォータはAWSサポートに確認が必要

AWSコンソールでは上限緩和（VPCの数など）を確認が可能ですが、SageMakerは確認ができません
- 自分が今回4つ申請したSageMakerの上限緩和申請のうち、一つは既に適用済みとのことで...AWSサポートさまにはお手数おかけしましたm(_ _)m

Tips

Jupyter Notebookの冗長になる出力を短縮

何もしなければ出力がつらつらと長くなります

左側のバーを選択することで出力が短縮されます

Python3.6のライブラリ警告

途中で実行すると赤く表示されるので驚きました
- Python3.6で利用されるAWS boto3ライブラリは2022年5月30日までのサポートとなるので警告が表示されます

ただし実行したS3へのオブジェクトコピー処理は以下のように成功しているので問題ありません

まとめ

今回、SageMakerをちゃんと触ることになって、今まで自分があまり触れてこなかったサービスですので非常に参考になりました。
また、SageMaker＝機械学習サービスというざっくりとしたイメージしか持っていないままイベントに参加はまずいと思って、
事前にどのような機能があるのかAWS Docsを見た上でイベントに臨んだので、少しは説明されている内容に付いていくことができました。

機械学習は中身を知らなくても利用できるようになってきたとは思いますが、
そこはエンジニアなので、やはり基礎を抑えるためにも改めて数式と戦ってみようと思いました。

このようなテンプレートを公開して個人でできるようになっているのはすごいなと改めて思いました。

人を笑わせるAIをつくってみる AWS Summit 直前Special 電笑戦のモデルをつくる

AWS エバンジェリストシリーズ AWSの基礎を学ぼう

前提で必要になりそうだと思った知識

GAN

Seq2Seq

Long short-term memory

RNN

CNN

vgg16

resnet50

AWS Web Servicesの機械学習サービス（Sagemakerのみ抜粋）

SageMaker Studio

SageMaker Canvas

SageMaker Ground Truth Plus

SageMaker Training Compiler

SageMaker Studio Universal Notebook

SageMaker Serverless Endpoints

SageMaker Inference Recommender

SageMaker Model Registry

SageMaker Projects

SageMaker Model Building Pipelines

SageMaker ML Lineage Tracking

SageMaker Data Wrangler

SageMaker Feature Store

SageMaker Clarify

SageMaker Edge Manager

SageMaker Ground Truth

Amazon Augmented AI（Amazon A2I）

SageMaker Studio Notebooks

SageMaker Experiments

SageMaker Debugger

SageMaker Autopilot

SageMaker Model Monitor

SageMaker Neo

SageMaker Elastic Inference

Reinforcement Learning

Preprocessing

Batch Transform

SageMaker Studio Lab

SageMaker JumpStart

座学パート

ボケて

ハンズオンパート