SageMaker

SREの林です。今回は社内の面白い取り組みを紹介します。 その名も"MLOps勉強会"です。 MLOps勉強会の発足の経緯 MLOps勉強会での学び MLOpsが事業に貢献できるかは慎重に考える Amazon SageMaker への興味 まとめ Photo by Markus Winkler on Unsplash databricks.com "MLOps"が何かは上記のリンク先が詳しいですが、一部を引用すると以下の通りです。 MLOps stands for Machine Learning Operations. MLOps is a core function of Machine …

タダです. 小ネタですが,SageMaker Notebook Instance から Amazon OpenSearch Service(Elasticsearch)への接続をする機会がありどうやってやるのかなと思って調べたり検証したので,この記事にまとめます. TL;DR まとめ TL;DR SageMaker Notebook Instance にはセキュリティグループの設定ができるので,Amazon OpenSearch Service のセキュリティグループで HTTPS の接続を許可してあげれば接続ができるようになりました. まとめ やったことはないといえ，本当に小ネタでした.

Amazon Sagemaker Processing を実際にサンプルデータを用いて動かす方法を解説します。 記事中のコード↓ github.com Amazon Sagemaker Processingとは Sagemaker Processing はAWSの機械学習マネージドサービスSageMakerの中で、データの処理・モデルの評価などの役割を担うサービスになっています。 https://aws.amazon.com/jp/blogs/news/amazon-sagemaker-processin-fully-managed-data-processing-and-model-eval…

みらい翻訳の西山です。社内ではlisaと呼ばれてます。機械翻訳エンジン研究開発チームのエンジニアリングマネージャーをしています。 さて、突然ですが、みなさんディープラーニングしてますか？ご自宅にGPUはありますか？ 筆者も週末に趣味で文書を分類したりしているのですが、家にあるGPUはNVIDIA GeForce RTX 2080Tiで、バッチサイズを小さくする必要があったりと、少々物足りません*1。 そこで頼りにしたいのがAmazon EC2等の仮想コンピューティング環境ですが、GPUが利用できるサーバーインスタンスは一般に高額で、「必要な時に起動＆用が済んだら直ちに終了」を徹底しないと利用金…

はじめに こちらは APN Ambassadors（AWS Ambassadors）によるアドベントカレンダー「Japan APN Ambassador Advent Calendar 2021」での20日目の記事となります。 AWS Ambassadors の詳細については、下記の記事をご覧ください。 APN Ambassadorsってなんだ？2021年度版 本記事では AWS re:Invent 2021 にて発表された「Amazon SageMaker Canvas」（以下、SageMaker Canvas）の簡単な動作検証を実施してみたいと思います。 SageMaker Canvas …

この記事は、Retty Advent Calender 2021 Part1の13日目の記事です。 adventar.org はじめに Rettyの広告コンテンツ開発チームで機械学習エンジニアをしている本川です。 私のチームでは、機械学習の実験・開発環境としてAmazon SageMakerを使用しています。 SageMakerのnotebookインスタンスでは、jupyter notebook or jupyter labを使用して開発を行いますが、デバッグなどを行う場合にブラウザ上でのUIのみでは使いにくく感じることもあります。 そこでVSCodeなどで開発を行うために、SageMaker…

みなさんこんにちは。機械学習チームのたかぱい（@takapy0210）です。 2021年もあと1ヶ月となりましたね。皆様いかがお過ごしでしょうか。 ...さて12月といえば、毎年恒例のアドベントカレンダーの季節ですね！ というわけで、2021年もコネヒト Advent Calendarが始まります！🎉 初日となる本エントリでは、機械学習チームで使用しているSageMaker*1の機能である、Processing*2について、活用事例とともにご紹介しようと思います。 目次 SageMaker Processingとは? SKLearnProcessor / PySparkProcessor Pr…

記事一覧 [paiza開発日誌] みんなは何問解けた？IT業界力を問う『IT謎解き』問題解説 - その１ - (2022-08-06) [メルカリエンジニアリング] 【Merpay Tech Fest 2022】体験型ワークショップのご紹介 (2022-08-05) [RareJob Tech Blog] Android アプリのプロキシ設定について (2022-08-05) [Fenrir Engineers] MLOps への道① 〜Amazon SageMaker で線形回帰を行う〜 (2022-08-05) [GA technologies GROUP Tech Blog] 物件検索基…

原因は、sagemaker training jobはtrainという名前のスクリプトファイルを最初に実行するが、そのファイルの改行コードがCRLFになっていたため。LFにしたら直った。 参考： stackoverflow.com

通常、SageMaker PipelinesからTrainingJobを実行した場合、以下の方法でログを見る。 SageMakerStudio＞SageMaker resourcesでProjectを選択＞Pipelineを選択＞Pipeline Executionを選択＞Stepを選択＞Logsタブを選択＞「View logs in CloudWatch console」をクリック＞表示されているLog Streamをクリック ただし、SageMaker PipelinesからManaged Spot Training Jobを実行した場合、途中でJobが中断・再開されることがある。その場合…

本記事は 技術書著者Week 最終日の記事です。 📕 5日目 ▶▶ 本記事 小西秀和です。 今回は当社で書籍を執筆したことがある人がブログ記事を投稿する企画「技術書著者Week」ということで記事を書きました。 はじめに私が今までに執筆してきた本について紹介します。 いずれもAWSについて書いた本で、最近の3冊についてはAWS認定に関する書籍となっています。 このAWS認定に関連する本の中でも私は主に練習問題を作ることが多かったため、今回は仮想試験と題して非常に興味があるけど敷居が高くて触れないAWS Ground Stationについて座学した内容を元に練習問題を作成してみました。 誤解の無い…

更新履歴💡 2022-07-25：初版作成 コネヒトでは Tech vision の1つに 1 to 1 AI というStrategyを掲げているように、今後パーソナライズやレコメンデーションなどの分野に積極的にチャレンジしていくため、機械学習エンジニアの採用を強化しています。 それに伴い、コネヒトにおける 機械学習の活用事例 今後どんなチャレンジをしていく予定なのか 機械学習エンジニアの働き方 などについて、より多くの方に知っていただきたいと思い本資料を公開しました。 （※資料中のリンクについては、speakerdeckページの説明欄や本記事の後半にも記載しております） 本資料を読んでより詳…

SageMakerの各種インスタンスタイプ毎のQuota初期値一覧は以下にある。 docs.aws.amazon.com 大体が初期値0になっていて申請しないと起動出来ないのは厳しい。。EC2インスタンスの方はQuotaかなり緩い印象なのになぁ。 SageMaker マネージドスポットトレーニングの項目の以下の値はtypoで、逆が正しいと思われる。 トレーニングジョブ全体のインスタンス数：4 トレーニングジョブあたりのインスタンス数：20

今日の積み上げ AWS Builders Online オンデマンド視聴 AWS のインフラを管理する方法 〜管理でおこりがちな問題を AWS CDK で解決してみましょう〜 インフラをコードで管理するサービス・ツール AWS CloudFormation AWS Serverless Application Model (AWS SAM) AWS Cloud Development Kit (AWS CDK) AWS CDKの特徴 使い慣れたプログラミング言語でリソース定義が可能 わずかなコードで、必要なリソースの作成、関連付けが可能 デプロイ前にプロビジョニングするリソース構成のテストが可…

現在の自分のAWSアカウントのService quotasは以下の方法で確認出来る。 以下のページを開く https://console.aws.amazon.com/servicequotas/home AWS servicesをクリック 検索ボックスに「Amazon SageMaker」を入力し、Amazon SageMakerのリンクをクリック 一覧で上限値を確認する。例えば、spot training jobの上限値を知りたければ検索ボックスに「spot training job」と入力すると各インスタンスタイプ毎の上限値とデフォルト値が表示される Quota上限変更申請はこの画面から…

SageMaker Hyperparameter Tuning JobでWarm Startを実行してみます 本文中のコードです github.com 目次 目次 データセット・モデル SageMaker Hyperparameter Tuningについて Estimator作成 学習データの準備 学習スクリプト Estimatorクラスの作成 親Tuning Jobを実行 メトリクスの設定 探索パラメータの設定 Turning jobの作成 子Tuning Jobを実行 Warm Start 設定 探索パラメータの設定 Turning Jopの作成 結果の確認 まとめ 参考 データセット・モ…

新しいプロジェクトを以下の手順に従って作成しようとしたが、「次のページでは、プロジェクト名と簡単な説明を入力し、「Create Project」を選択します。」の手順で「Create Project」ボタンが非活性になっておりクリックできず困った。 catalog.us-east-1.prod.workshops.aws ボタンの上の方には「Error getting the details of Service Catalog Provisioning Parameters. Error message: ValidationException: Access denied while as…