SageMaker

本記事では、SageMaker Canvasを初めて利用する中で遭遇した課題と、その解決策について述べる。SageMaker Canvasの学習のために以下のAWS公式ハンズオンを試していた際、データエクスポート時にS3バケットの取り扱いに関する問題が発生したた。また解決もできたので解決方法についてこの記事にまとめる。aws.amazon.com 発生した課題：S3バケットへのアクセスエラー Canvasで利用可能なデフォルトのS3 Bucket 解決策1：CanvasのデフォルトS3バケット設定を変更する（未検証） 解決策2：バケット名に「sagemaker-」を含めたバケットを利用する（検…

AWS SageMaker vs GCP Vertex AI: クラウド機械学習プラットフォームの比較分析 1. サービス概要 AWS SageMaker AWS SageMakerは、機械学習（ML）モデルの開発、トレーニング、デプロイを統合的にサポートするフルマネージドMLプラットフォームです。データサイエンティストや開発者が効率的にMLワークフローを実装できるように設計されています。 AWS SageMakerの主な特徴 フルマネージドなML環境 Jupyter Notebookの統合。 AutoML機能 SageMaker Autopilotを活用した自動モデル生成。 分散学習とスケー…

概要 弥生R&D室のsiidaです。R&D室ではSageMakerを使用して機械学習 (ML) のプロジェクトを進めています。SageMakerはMLのための様々な機能が搭載されたサービスであり、データ分析からモデル訓練、ひいてはワークフローの構築まで、SageMakerの中で完結させることができます。 今回はこれまでに投稿してきたSageMakerの使い方記事をまとめました。いわゆるAI/MLを活用したPoCの範囲で扱うSageMakerの基本的な機能を一通り網羅しています。 sagemaker

はじめに こんにちは。弥生R&D室のsiidaです。R&D室ではSageMakerを使用して機械学習 (ML) のプロジェクトを進めています。SageMakerはMLのための様々な機能が搭載されたサービスであり、データ分析からモデル訓練、ひいてはワークフローの構築まで、SageMakerの中で完結させることができます。 SageMakerにはProcessingJobという機能があり、こちらはコマンドをジョブの形でサーバ上から実行できるというものです。重い計算を実行したり、再現性のある実験を行うために有用な機能ですが、実はPythonラッパーで簡単に実行することができます。今回はそのラッパーに…

はじめに こんにちは。弥生R&D室のsiidaです。R&D室ではSageMakerを使用して機械学習 (ML) のプロジェクトを進めています。SageMakerはMLのための様々な機能が搭載されたサービスであり、データ分析からモデル訓練、ひいてはワークフローの構築まで、SageMakerの中で完結させることができます。 SageMakerは元々JupyterLabのIDEを備えていましたが、こちらはNotebookの実行に最適化されたIDEであるため、データ分析であればともかくモデリングやMLシステムの構築には不向きな点がありました。 そこでCode Editorの出番です。こちらはVSCod…

はじめに こんにちは。弥生R&D室のsiidaです。R&D室ではSageMakerを使用して機械学習 (ML) のプロジェクトを進めています。SageMakerはMLのための様々な機能が搭載されたサービスであり、データ分析からモデル訓練、ひいてはワークフローの構築まで、SageMakerの中で完結させることができます。 今回はこれまでSageMakerを使ったことがない方向けに、SageMakerのはじめかたについて紹介したいと思います。 SageMakerというと様々なML向けの機能を内包した大きなサービスではありますが、今回はSageMaker Studioを用い、データ分析でおなじみのJ…

TL;DR CARTA MARKETING FIRMのデータサイエンスチームは、8年間にわたり機械学習基盤を進化させてきました。Luigi、AWS SageMaker、Prefectと変遷する中で、「データサイエンティストが最も付加価値を生み出す部分に集中し、時間を費やすことができる基盤」という目標に着実に近づいています。 Luigiでは開発環境構築や運用負荷が高く、柔軟性に欠けていました。 SageMakerではインフラ構築の複雑さやStep Functionsの制約が課題でした。 Prefectの導入により、Pythonのみでインフラからバッチ処理まで記述可能になり、A/Bテストの実施が容…